Imagen vía Shutterstock.

Hace unos días Microsoft anunciaba que había desarrollado una Inteligencia Artificial capaz de leer un texto y responder a preguntas de comprensión del mismo, tal y como haría un ser humano. Para poner a prueba a esa IA el equipo de desarrolladores, de Microsoft Research Asia, utilizó una prueba conocida como SquAD, que se compone de preguntas sobre un conjunto de artículos de Wikipedia, concretamente más de 100.000 preguntas basadas en extractos de 536 párrafos de la popular enciclopedia online. Según los resultados de esa prueba, la IA de Microsoft había alcanzado una puntuación de 82.650 de respuestas exactas, frente al 82.304 obtenido por seres humanos de carne y hueso en ese mismo conjunto de respuestas. Un par de días después los investigadores de la empresa china de comercio electrónico Alibaba presentaron a su vez una IA que había obtenido una puntuación de 82.440.

Teniendo en cuenta las puntuaciones obtenidas respectivamente por las Inteligencias Artificiales y por los humanos, muchos son los medios que se han hecho eco de esta noticia afirmando que las máquinas ya pueden leer mejor que los seres humanos. James Vicent ha escrito un artículo en The Verge desmintiendo esta afirmación, o cuanto menos, matizándola de forma bastante sustanciosa.

En primer lugar, si nos atenemos estrictamente a las puntuaciones, parece difícil poner en duda que las Inteligencias Artificiales no hayan superado a los humanos. Sin embargo, lo único que se demuestra es que las máquinas son capaces de superar a los humanos en un tipo de lectura muy concreta y, por qué no decirlo, muy limitada, pero siguen quedándose muy atrás con respecto a los seres humanos a la hora de captar todo lo que hay detrás del lenguaje, algo que incluso los desarrolladores de estas Inteligencias Artificiales admiten.

Para empezar, James Vicent cuestiona la validez de la prueba. Es cierto que en SquAD se hacen toda clase de preguntas sobre los temas más diferentes, pero el objetivo final de la prueba no va mucho más allá de buscar la formulación exacta de la respuesta, que está siempre sí o sí, en alguna parte del texto. No es necesario comprender el significado del texto ni de sus oraciones una a una, basta con conocer las palabras y buscar estructuras gramaticales. Partiendo del análisis de pruebas ya resultas, la Inteligencia Artificial puede aprender cuáles son los métodos para encontrar las respuestas.

Sin embargo, aunque el método que use la IA para encontrar las respuestas tenga un alto porcentaje de éxito, una vez que se sabe cómo funciona es muy fácil engañar al sistema. Bastaría por ejemplo con preguntarle a la IA por un futbolista, en un texto en el que se habla de dos futbolistas, que se identifican solo por el número de la camiseta. Esto se debe simple y llanamente, no lo olvidemos, a que la IA no tiene una comprensión real del texto.

No hay que olvidar que, como señala el profesor y lingüista Yoav Goldberg en ese mismo artículo de The Verge, SQuAD no es una prueba escolar para medir la comprensión lectora sino una herramienta cuya función es orientar a los informáticos en el proceso de aprendizaje automático, y los resultados de esas pruebas se contrastan con pruebas hechas por humanos solo para evaluar el sistema, no para hacer una especie de competición con las habilidades humanas. Por ello, se obvian las preguntas de interpretación, ‒por ejemplo, qué ha motivado a tal personaje a hacer algo‒, algo que está presente incluso en los tests de comprensión más elementales. Goldberg pone en duda, además, el entusiasmo con que SquAD fue hecho por humanos.

Es más, el artículo de Microsoft en ningún momento plantea la posibilidad de que las máquinas tengan un nivel de comprensión lectora superior al de seres humanos. No van por ahí los tiros. Este tipo de Ingelitencia Artificial es en realidad un hito importante en el impulso de que los motores de búsqueda y de los asistentes inteligentes, en su interacción con las personas y su capacidad para proporcionar información de forma más natural e intuitiva, más parecido a la manera en la que las personas se comunican entre sí. Por ejemplo, en lugar de obtener una lista de enlaces en una consulta, el motor de búsqueda proporcionaría respuestas más específicas. O podrían analizar rápidamente la información que se encuentra en libros y documentos para proporcionar la información de una manera más comprensible, lo que permitiría encontrar información más fácilmente en documentos densos, ahorrando tiempo y esfuerzo.

El equipo de Microsoft está trabajando para mejorar el funcionamiento de su IA y que cada vez sea más capaz de inferior informaciones a partir de lo dicho en el texto. ¿Significa eso que algún día una máquina será capaz de leer mejor que un ser humano? Teniendo en cuenta que una IA es capaz de aprender de sus errores y ofrecer nuevas respuestas, ¿quién sabe? Lo que sí hay que tener en cuenta es que una máquina, por mucho que sea capaz de procesar datos muy por encima de un ser humano, difícilmente será capaz de comprender toda la complejidad y todos los matices del lenguaje.

Comentarios

comentarios