La UGR y el Consorcio IFMIF-DONES retan a la IA a responder preguntas científicas sin sacar los datos de su entorno
La competición internacional, dotada con hasta 20.000 dólares en premios, busca desarrollar modelos de lenguaje especializados capaces de trabajar con pocos recursos y sin recurrir a servidores externos
La Universidad de Granada (UGR) y el Consorcio IFMIF-DONES España han puesto en marcha una competición internacional que plantea un reto a la comunidad científica: conseguir una Inteligencia Artificial capaz de responder con solvencia a preguntas altamente especializadas utilizando recursos limitados y sin que los datos abandonen el entorno donde se generan.
La iniciativa, denominada IEEE CIS Technical Challenge on Domain-Specific Question Answering with LLMs, está organizada por el Instituto Andaluz Interuniversitario en Data Science and Computational Intelligence (DaSCI) de la UGR en colaboración con el Consorcio IFMIF-DONES España, y cuenta con financiación de la IEEE Computational Intelligence Society (IEEE CIS), que destinará hasta 20.000 dólares en premios.
El reto comenzó el pasado 28 de septiembre y permanecerá abierto durante dos meses. Los equipos pueden inscribirse hasta el 1 de noviembre y presentar sus soluciones hasta el 30 de noviembre. Durante los primeros días, más de una veintena de participantes ya se habían registrado en la plataforma de la competición.
IA especializada con recursos limitados
La competición parte de una dificultad concreta: aunque los grandes modelos de lenguaje (LLM) son capaces de redactar textos, resumir documentos o responder a consultas generales, su rendimiento puede disminuir cuando deben enfrentarse a conocimiento técnico muy especializado.
A ello se suma que algunas de las soluciones más potentes dependen de grandes modelos comerciales alojados en la nube. Este planteamiento no siempre resulta adecuado para infraestructuras científicas críticas, centros de investigación o empresas que trabajan con documentación confidencial y que no pueden enviar sus datos a servidores externos.
“Tenemos modelos fantásticos, pero cuando tienen que resolver preguntas muy técnicas y específicas de un dominio pueden quedarse cortos, sobre todo si los recursos computacionales son limitados”, explica Isaac Triguero, director del Instituto DaSCI y responsable de la competición.
El investigador señala además que no siempre es posible recurrir a proveedores en la nube, bien por falta de recursos económicos o computacionales o porque las organizaciones no quieren que sus datos permanezcan al alcance de terceros.
Un modelo que cabe en una sola GPU
Para reproducir este escenario, todos los equipos deberán trabajar con el mismo modelo abierto y de tamaño moderado: OLMo, desarrollado por el Allen Institute for AI y diseñado para poder ejecutarse en una única tarjeta gráfica (GPU).
Las soluciones se ejecutarán en servidores de la Universidad de Granada, sin conexión a Internet y con un tiempo de cómputo limitado. De este modo, tanto las preguntas como los documentos utilizados como referencia permanecerán dentro del entorno de evaluación.
El objetivo no es incrementar la potencia de cálculo, sino encontrar formas eficientes de adaptar el modelo a un ámbito concreto. Entre las técnicas que pueden utilizar los participantes figuran el ajuste fino eficiente, la ingeniería de prompts, los grafos de conocimiento y el modelado difuso.
Preguntas sobre IFMIF-DONES e inteligencia artificial
Las soluciones serán evaluadas mediante un banco de 100 preguntas y respuestas elaborado por personas expertas en dos ámbitos: la instalación IFMIF-DONES, el acelerador de partículas que se construye en Escúzar (Granada) para ensayar materiales destinados a futuros reactores de fusión, y la literatura científica especializada en inteligencia artificial.
Las cuestiones abarcarán desde la recuperación de datos concretos hasta tareas de razonamiento comparativo, causal o predictivo. Las preguntas no serán publicadas y los participantes solo dispondrán de una muestra de 25 ejemplos.
Personal experto de IFMIF-DONES e investigadores del Instituto DaSCI han dedicado cerca de un año a preparar y etiquetar este banco de pruebas.
Dos fases para valorar las soluciones
La competición se desarrollará en dos fases. En la primera, de carácter automático, el código presentado por cada equipo se ejecutará sobre preguntas ocultas y los resultados se reflejarán en una clasificación online.
Según Triguero, el objetivo no será únicamente obtener una determinada puntuación, sino valorar también la innovación y la calidad de las soluciones.
Por ello, las propuestas mejor clasificadas, en torno a una veintena, accederán a una segunda fase. En ella, paneles de expertos de cada ámbito analizarán la calidad de las respuestas, mientras que un comité científico evaluará la innovación técnica de las propuestas.
La clasificación final se dará a conocer el 14 de diciembre. La competición contempla 9.000 dólares para el primer clasificado, 5.000 para el segundo, 3.000 para el tercero y 1.500 dólares para el cuarto y quinto.
La competición de la Red de Cátedras Telefónica reunirá a estudiantes de áreas STEM que optarán a 23.000 euros en premios y a cuatro plazas para la final nacional
La Diputación de Granada distingue la trayectoria de la Universidad en investigación, docencia y programas de intervención dirigidos a este colectivo
