Apenas ha pasado año y medio desde que OpenAI desarrollara GPT-2, la red neural capaz de generar texto a partir de un pequeño fragmento, cuando se ha hecho público la creación de GPT-3, la siguiente iteración del sistema. A diferencia de GPT-2, que contaba con ‘1.5 billion’ (millardos, o millones de millones) de parámetros, GPT-3 contiene 175 millardos. Ciento setenta y cinco.

programar gpt-3

Evidentemente es una auténtica burrada proeza logro de la ingeniería informática debido a que el lenguaje humano es notablemente complejo. Si ya en su momento reconocimos la posibilidad de que un GPT-X dejase de lado a los escritores, haciendo imposible competir contra un algoritmo en redacción, ahora podríamos sumar a este grupo a los programadores. Con ustedes, el futuro:

En efecto, estamos viendo cómo GPT-3 entiende el lenguaje humano y es capaz de transformarlo a ‘lenguaje máquina’. Al menos al lenguaje HTML5 de programación básica. Es el mismo que usa tu navegador para mostrar información. La red neuronal no solo es capaz de identificar los conceptos clave del texto en ‘humano’, sino de realizar una traducción correcta a otro idioma.

El preprint, publicado hace unas semanas en Arxiv, deja completamente desfasado la versión de GPT-2 liberada en noviembre de 2019 y de la que se temía que ayudase a consolidar las noticias falsas. Es posible que una versión mejorada de GPT-3 no solo genere noticias falsas, sino páginas web enteras repletas de noticias falsas cruzadas con noticias reales para resultar creíbles.

Para lograr los 175 millardos de ‘parámetros’, que no son sino puntos de entrenamiento o datos de partida para el aprendizaje de la máquina, los datos han sido tomados de Common Crawl, un repositorio gratuito que dispone de millones de millones de páginas HTML a estudiar… si eres un algoritmo de aprendizaje automatizado.

Si GPT-2 era bueno generando texto, GPT-3 es fantástico traduciendo y entendiendo la complejidad del lenguaje humano. Hasta tal punto que es capaz de responder preguntas básicas. De hecho, el cierre del vídeo de arriba puede leerse “un botón con el color de pelo de Donald Trump”. Es evidente que GPT-3 entiende qué es el pelo, qué es un botón, y qué es el color, pero también que sabe buscar información que relacione estos conceptos.

Con sus limitaciones, que las tiene, esta nueva herramienta abre la puerta a un sinfín de aplicaciones. Pensemos en la utilidad de la calculadora en matemáticas. Lo que supuso respecto al cálculo manual y el tiempo que es capaz de ahorrar. Porque aunque sepas realizar la operación ‘567 por 345’, usar la calculadora para resolverla es muchísimo más rápido y contiene menos errores.

Es probable que dentro de unos años los programadores, en lugar de escribir un código completo básico, lo soliciten al GPT-X de turno. “Escríbeme un botón que permita registrarse a nuevos usuarios y loguearse a los ya registrados en base a las cookies que detectes en su dispositivo”. Y en cuestión de segundos se generará un código.

Lo verdaderamente llamativo de todo esto es que, en esencia, GPT-3 es ‘código entrenado’. No es descabellado pensar que dentro de unos años —quizá décadas, no pequemos de optimistas—, podamos solicitar al GPT-X de turno “genérame un GPT-Y con toda la información en castellano que puedas encontrar en internet durante 24 horas”. Y esperar. Aunque todo esto queda aún muy lejos, como podemos observar.

Las jirafas esféricas son un auténtico quebradero de cabeza. Al parecer, GPT-3 sabe más sobre el pelo de Trump que sobre biodiversidad y grandes mamíferos. Este tipo de errores serán frecuentes durante unas cuantas versiones, pero tal y como está desarrollado la red neural a día de hoy ya es lo suficientemente útil como para servir como herramienta auxiliar. Y eso ya es un avance.

Imágenes | Roman Synkevych

____________________________________________________________________________________________

   No olvides que puedes seguirnos en Facebook.

Comentarios

comentarios