Epoch AI ha presentado un nuevo enfoque para evaluar la inteligencia artificial mediante un benchmark que pone a prueba la capacidad de estos modelos para identificar errores en el ensamblaje de muebles de IKEA. En este experimento, se compraron tres muebles de la famosa marca sueca y se montaron deliberadamente con errores, para luego ser analizados por diferentes modelos de IA.
Resultados sorprendentes en el Furniture Assembly Benchmark
Los resultados del Furniture Assembly Benchmark (FAB) han sido impresionantes. En noviembre de 2025, el modelo más avanzado, Claude 4.5, logró un 28% de aciertos en esta prueba. Sin embargo, para septiembre de 2026, el modelo GPT-6 Astra alcanzó un notable 80% de precisión, además de reducir el tiempo promedio de análisis a tres minutos por imagen, lo que representa una mejora significativa respecto a modelos anteriores que tardaban entre dos y diez veces más.
Metodología del experimento
La metodología utilizada en este benchmark es compleja. Los modelos de IA reciben una fotografía de un mueble parcialmente montado, junto con el manual de instrucciones de IKEA. Además, cuentan con herramientas para ampliar secciones de la imagen y un intérprete de Python que les ayuda a relacionar los diagramas del manual con las piezas visibles en la fotografía. La tarea de la IA es reconstruir los pasos del ensamblaje y detectar errores, como piezas mal colocadas.
Epoch AI incluso complicó el desafío al continuar el montaje después de introducir errores, lo que obligó a los modelos a ser más precisos en su análisis. Este enfoque no solo mide la capacidad de los modelos para identificar fallos, sino que también busca evaluar su razonamiento abstracto y su habilidad para conectar instrucciones con objetos del mundo real.
Limitaciones y sesgos en los modelos de IA
A pesar de los avances, el benchmark no evalúa la capacidad de los modelos para planificar y ejecutar el ensamblaje de un mueble desde cero. La IA puede identificar errores en un montaje existente, pero no puede manipular físicamente las piezas para resolver problemas en tiempo real. Esto subraya la distancia que aún existe entre la capacidad de razonamiento visual y la ejecución física.
Además, Epoch AI identificó sesgos en los diferentes modelos utilizados. Por ejemplo, los modelos Gemini y Qwen tendían a asumir que siempre había errores, mientras que otros, como los de OpenAI y Anthropic, a menudo validaban montajes incorrectos. Este hallazgo resalta la importancia de equilibrar la búsqueda de errores con la capacidad de reconocer montajes correctos.
Reflexiones sobre el futuro de la inteligencia artificial
El experimento de Epoch AI también plantea preguntas sobre cómo medimos el rendimiento de los modelos de IA en tareas complejas. A medida que se desarrollan nuevas metodologías de evaluación, se hace evidente que la inteligencia artificial puede resolver problemas difíciles, pero enfrenta desafíos en situaciones más ambiguas. Este fenómeno se relaciona con la paradoja de Moravec, que sugiere que la IA puede realizar tareas complejas con facilidad, mientras que las tareas simples pueden resultar problemáticas.
En conclusión, el avance en el benchmark de ensamblaje de muebles de IKEA no solo demuestra el progreso de la inteligencia artificial, sino que también resalta las limitaciones actuales y las áreas que requieren más investigación y desarrollo.
Fuente: Información elaborada a partir de la publicación original.
