Investigadores de Microsoft, USC y UC Davis han presentado un enfoque innovador en el ámbito de la inteligencia artificial, denominado BeMyEyes, que permite a modelos de lenguaje solamente textuales, como GPT-4 y DeepSeek-R1, realizar tareas visuales sin requerir una costosa reentrenamiento. Este sistema funciona conectando modelos visuales pequeños a potentes modelos de lenguaje a través de una conversación natural, similar a describir una foto a un amigo por teléfono. El modelo visual examina imágenes y proporciona descripciones que el modelo de lenguaje utiliza para razonar y resolver problemas complejos basados en esas observaciones.

Los resultados de este enfoque son sorprendentes: al equipar a DeepSeek-R1 con un modelo visual de apenas 7 mil millones de parámetros, los investigadores lograron que superara a GPT-4o, el sistema multimodal de última generación de OpenAI, en diversos puntos de referencia desafiantes. Este hallazgo desafía la creencia común de que se necesitan enormes y costosos modelos multimodales para obtener buenos resultados en tareas que combinan visión y lenguaje.

A diferencia de la tradición de desarrollar modelos multimodales gigantes que procesan texto e imágenes de manera nativa, BeMyEyes opta por la colaboración entre agentes especializados. Un agente que percibe, es decir, el modelo visual pequeño, extrae información visual y la describe, mientras que el agente que razona, o el modelo de lenguaje potente, interpreta estas descripciones y aplica un razonamiento sofisticado para resolver tareas.

Este modelo modular aporta varias ventajas significativas. En primer lugar, permite una mayor eficiencia de costos, ya que solo es necesario ajustar o entrenar pequeños modelos visuales para nuevas tareas, en vez de reentrenar modelos de lenguaje completos. Además, brinda flexibilidad, ya que se pueden incorporar nuevos modelos de lenguaje a medida que están disponibles sin la necesidad de un reentrenamiento extenso. El cambio hacia dominios especializados, como la imagenología médica, se facilita al sustituir únicamente el modelo de percepción.

El éxito de BeMyEyes se atribuye también a la capacidad de los modelos para interactuar a través de conversaciones múltiples. Esta dinámica permite al modelo de razonamiento realizar preguntas de seguimiento y solicitar aclaraciones, lo que mejora significativamente la calidad de las respuestas y, por ende, el desempeño general del sistema. Los investigadores han implementado un proceso de entrenamiento que utiliza GPT-4o para generar diálogos sintéticos entre los modelos, permitiendo que estos últimos se conviertan en mejores colaboradores y comunicadores.

Los hallazgos de este enfoque tienen implicaciones profundas para el desarrollo de la inteligencia artificial. BeMyEyes muestra que un equipo bien coordinado de modelos especializados puede superar a los sistemas monolíticos, lo que sugiere que la construcción de modelos más grandes no siempre es la solución más efectiva. Además, este marco representa una oportunidad democratizadora para que la comunidad de código abierto acceda a capacidades multimodales avanzadas sin los significativos recursos que implican los modelos de gran escala.

A medida que se desarrollen nuevos modelos de lenguaje, podrán adquirir capacidades multimodales de forma rápida y efectiva a través de marcos como BeMyEyes, lo que plantea un futuro en el que la inteligencia artificial podría operar más como una sinfonía de modelos especializados en lugar de depender de un solo modelo generalista masivo. En este contexto, el mensaje es claro: a veces, la mejor solución no radica en construir un martillo más grande, sino en enseñar a las herramientas a trabajar en conjunto.
vía: AI Accelerator Institute