Video Question Answering: Explorando los límites de la información textual y los modelos abiertos
Jueves 29/2, 13h
Seminario
El Laboratorio de Inteligencia Artificial de la Escuela de Negocios de UTDT tiene el agrado de invitar al seminario “Video Question Answering: Explorando los límites de la información textual y los modelos abiertos”, a cargo de Prof. Thamar Solorio, Mohamed bin Zayed University of Artificial Intelligence.
Biografía:
Thamar Solorio es profesora del departamento de PNL de MBZUAI. También es profesora titular de Ciencias de la Computación en la Universidad de Houston. Es la directora y fundadora del RiTUAL Lab. Sus intereses de investigación incluyen el multilingüismo y la PNL de bajos recursos, así como la extracción de información y, más recientemente, los problemas del lenguaje y la visión. Recibió un premio CAREER de la Fundación Nacional de Ciencias (NSF) por su trabajo sobre atribución de autoría y recibió el premio ABIE Líder Emergente 2014 en honor a Denice Denton. Acaba de completar dos mandatos como miembro electa de la junta directiva del Capítulo Norteamericano de la Asociación de Lingüística Computacional (NAACL) y fue copresidenta del PC de NAACL 2019. Es editora en jefe de la iniciativa ACL Rolling Review (ARR) y miembro del consejo asesor de ARR. Su investigación ha sido financiada por NSF y ADOBE.
Abstract:
Video Question Answering (vQA) aborda el problema de responder preguntas que pueden resolverse viendo un vídeo corto, de aproximadamente un minuto. Las soluciones actuales para vQA consisten en una disposición compleja de grandes modelos de visión y lenguaje, con una capacitación integral generalmente costosa y/o basada en interfaces (APIs) de modelos cerrados. El uso de modelos cerrados es un ejercicio interesante, pero no tenemos la capacidad de realizar análisis de errores ni espacio para inspeccionar el modelo en busca de posible contaminación en el conjunto de entrenamiento. Aun así, todavía existe una enorme brecha en el rendimiento de estas soluciones sofisticadas en comparación con el rendimiento humano. Mi grupo ha estado explorando la adaptación de soluciones state-of-the-art a problemas de vQA con modelos de dominio abierto y recursos computacionales reducidos. En particular, nos hemos centrado en generar representaciones textuales más ricas de los videos. Durante esta charla presentaré nuestros resultados recientes y las lecciones aprendidas en estos esfuerzos.
Video Question Answering (vQA) aborda el problema de responder preguntas que pueden resolverse viendo un vídeo corto, de aproximadamente un minuto. Las soluciones actuales para vQA consisten en una disposición compleja de grandes modelos de visión y lenguaje, con una capacitación integral generalmente costosa y/o basada en interfaces (APIs) de modelos cerrados. El uso de modelos cerrados es un ejercicio interesante, pero no tenemos la capacidad de realizar análisis de errores ni espacio para inspeccionar el modelo en busca de posible contaminación en el conjunto de entrenamiento. Aun así, todavía existe una enorme brecha en el rendimiento de estas soluciones sofisticadas en comparación con el rendimiento humano. Mi grupo ha estado explorando la adaptación de soluciones state-of-the-art a problemas de vQA con modelos de dominio abierto y recursos computacionales reducidos. En particular, nos hemos centrado en generar representaciones textuales más ricas de los videos. Durante esta charla presentaré nuestros resultados recientes y las lecciones aprendidas en estos esfuerzos.
Además, sobre el final de la charla presentaremos oportunidades para estudiantes interesados en estudios de posgrado en inteligencia artificial. La MBZUAI tiene departamentos de procesamiento de lenguaje natural, aprendizaje automático, visión por computadora y robótica.
Thamar Solorio es profesora del departamento de PNL de MBZUAI. También es profesora titular de Ciencias de la Computación en la Universidad de Houston. Es la directora y fundadora del RiTUAL Lab. Sus intereses de investigación incluyen el multilingüismo y la PNL de bajos recursos, así como la extracción de información y, más recientemente, los problemas del lenguaje y la visión. Recibió un premio CAREER de la Fundación Nacional de Ciencias (NSF) por su trabajo sobre atribución de autoría y recibió el premio ABIE Líder Emergente 2014 en honor a Denice Denton. Acaba de completar dos mandatos como miembro electa de la junta directiva del Capítulo Norteamericano de la Asociación de Lingüística Computacional (NAACL) y fue copresidenta del PC de NAACL 2019. Es editora en jefe de la iniciativa ACL Rolling Review (ARR) y miembro del consejo asesor de ARR. Su investigación ha sido financiada por NSF y ADOBE.