No tendría espacio suficiente en toda la www para poner la cantidad abismal de noticias que he encontrado de este estilo.

El año pasado, ChatGPT le jugó una mala pasada a mi hermana pequeña con sus estudios. Ella practicaba los exámenes exclusivamente con el chatbot y, debido a malentendidos o errores en la lógica de la IA, ella terminó suspendiendo la evaluación entera: el sistema le había dado respuestas incorrectas en la mayoría de los test de práctica.

ChatGPT comete esos errores porque NO ES una “inteligencia” en el sentido humano, sino un modelo de lenguaje generativo: funciona calculando probabilidades de qué palabra debería ir después de otra en función de millones de ejemplos previos. No entiende el mundo ni tiene consciencia, solo imita patrones de texto. Por eso puede inventar datos (alucinaciones), repetir frases, ser incoherente o fallar en lógica básica: no razona, predice. No es una IA fuerte como en la ciencia ficción (Terminator o los robots de Interstellar), sino una herramienta estadística muy avanzada que genera texto con apariencia de sentido.

Como ocurre con cualquier herramienta —si pensamos en algo tan básico como un martillo— es necesario saber usarla. En malas manos puede convertirse en un arma y terminar haciendo daño incluso al usuario (aunque si alguien por aquí recuerda las Tres Leyes de la robótica de Asimov, puede pensarse que 1. Un robot no hará daño a un ser humano o, por inacción, permitirá que un ser humano sufra daño, pero estos enunciados no tiene sentido aplicarlos fuera de la ciencia ficción, como se explica perfectamente en este artículo de Microsiervos: Por qué las leyes de la robótica de Asimov no funcionan ni funcionarán nunca). Lo mejor que podemos hacer con este «martillo» es leernos las instrucciones para comprender cómo funciona antes de espachurrarnos un dedo.

La Inteligencia Artificial Generativa es, hoy en día, una de las herramientas más poderosas disponibles al alcance de cualquiera, y la gente habla de ChatGPT como si fuera una criatura consciente que tiene algo personal en contra de contestar una pregunta o como un ser divino que posee el conocimiento del todo, cuando en realidad son básicamente cadenas de Márkov con esteroides, muy bien disfrazadas para que parezca que piensan.

¿Por qué entonces se llama «Inteligencia» si ChatGPT no es inteligente?

Si tecleamos rápidamente en la RAE la palabra «Inteligencia» la definición que nos da la Real Academia Española es un resumen de lo siguiente: capacidad mental para comprender, razonar, planificar, resolver problemas y adaptarse al entorno de forma eficiente. Se refiere a la habilidad para adquirir, aplicar y entender conocimientos y experiencias, manifestándose como la capacidad de pensar abstractamente y dar sentido a lo que nos rodea. 
Pues efectivamente, ChatGPT no es «inteligente» ya que carece de muchos de las partes de esa definición, pero el concepto de Inteligencia Artificial nació en 1956, en la Conferencia de Dartmouth, cuando John McCarthy y otros investigadores lo usaron para describir sistemas capaces de realizar tareas que, en aquel momento, se consideraban propias de la inteligencia humana.
«Algoritmo Estadístico Muy Potente Que Genera Texto A Través De Patrones» no era tan pegadizo como «IA», parece.

La máquina, en todo esto:

Este aviso es un poco como el «Fumar mata» de los cartones de tabaco, está en todos los paquetes y nadie le hace caso hasta que alguien la palma o contrae una enfermedad y todos nos hacemos los sorprendidos.

Pero en el caso de ChatGPT es muy fácil simplemente culpar a la IA de inútil o tonta como si de un humano se tratara en vez de plantearse que uno no sabe escribir bien un prompt (mensaje de entrada).

La respuesta de ChatGPT funciona como un espejo del prompt: refleja, con sus propias limitaciones, lo que el usuario pide. Si el prompt es ambiguo, incompleto o mal planteado, el modelo tiene muchas más probabilidades de generar una respuesta incorrecta o incoherente, porque se guía por las pistas lingüísticas que recibe.

Algún que otro ejemplo de un mal prompt para nuestros estudiantes:

«Aquí tienes mis apuntes de todo el semestre en una sola foto borrosa, saca los temas clave y resúmelo en una página.»

«Toma estas 200 diapositivas en PDF y hazme un examen tipo test con todas las posibles preguntas, pero que sean cortas, fáciles y que me garanticen un 10.»


Los mismos prompts pero mejor planteados:

«Aquí tienes mis apuntes del semestre en formato de texto. Identifica los temas principales y haz un resumen de una página, organizado por secciones claras y con ejemplos clave»

«Aquí tienes 200 diapositivas en PDF. Genera un cuestionario tipo test de unas 20 preguntas, cubriendo los temas más importantes, con cuatro opciones por pregunta y una breve explicación de la respuesta correcta.»


Aun así, en mi opinión, esos prompts siguen siendo algo incompletos y contienen algunos errores. Un ejemplo es el uso de «por favor»: pedirle algo a ChatGPT con un «por favor» es como pedirle a una calculadora que sume dos cifras «con cariño». No tiene sentido y no mejora la lógica de la respuesta. En realidad, se trata de un ruido educado que el modelo ha aprendido a reconocer como parte natural de cómo los humanos formulan peticiones, aunque para él no sea más que un token de texto dentro de la cadena de palabras que utiliza para predecir la siguiente.

La IA está programada para complacernos: prefiere alimentar el ego humano aunque tenga que inventar y mentir.

ChatGPT tiende a dar la razón al usuario porque ha sido entrenado para generar respuestas que resulten agradables y alineadas con lo que la gente espera. Ese entrenamiento, basado en retroalimentación humana (RLHF), refuerza más las respuestas complacientes que las críticas o incómodas. El problema es que, al priorizar complacer sobre ser preciso, el modelo puede inventar información y presentarla como cierta: lo que se conoce como alucinaciones. OpenAI ha reconocido este fenómeno —incluso en GPT-4o, que llegó a volverse demasiado adulador— y su propio CEO, Sam Altman, ha advertido que muchos usuarios confían ciegamente en respuestas que en realidad pueden ser falsas.

Usar la frase «ChatGPT ha dicho que…» como argumento de autoridad es, en muchos casos, un recurso muy pobre. Mi ChatGPT tenderá a darme la razón a mí, y el tuyo, lector, te la dará a ti: al final, no es una fuente objetiva, sino un espejo complaciente de quien lo consulta.

Antes, cuando querías tener la razón en algo, podías dejarlo al azar lanzando una moneda, y, curiosamente, no parabas hasta que salía la cara que deseabas. Hoy solo escribes en ChatGPT.

Sobre las catastróficas noticias que envuelven a ChatGPT en asesinatos, suicidios, fraudes etc:

Filtros o «barreras»:

Los filtros de ChatGPT son sistemas de seguridad diseñados para limitar el tipo de respuestas que el modelo puede generar. Funcionan a través de un conjunto de reglas y modelos de moderación que analizan tanto lo que escribe el usuario como lo que produce la IA, bloqueando o reformulando aquello que entra en categorías sensibles: violencia, actividades ilegales, autolesiones, odio, pornografía, etc. Estos filtros no entienden el contexto como lo haría una persona, sino que buscan patrones de lenguaje asociados a riesgos, por lo que a veces se muestran demasiado estrictos y bloquean temas inofensivos, o al contrario, se cuelan errores y dejan pasar respuestas que no deberían.
Así que no, ChatGPT no es «tonto» por no entender que un pollo de 70 kg en realidad es un cadáver humano.

¿Por qué esos filtros o barreras parecen tan débiles?

Algunas personas consiguen saltarse esas barreras porque los filtros de ChatGPT no son perfectos: al fin y al cabo, funcionan con reglas y modelos probabilísticos. Hay usuarios que redactan sus peticiones de forma enrevesada, disfrazándolas como ejercicios hipotéticos, roleplays o contextos ficticios («imagina que eres un personaje de una novela que…»), lo que engaña al sistema y lo hace generar contenido que normalmente estaría vetado. Otras veces, el propio modelo cae en alucinaciones (inventa información sin darse cuenta) y acaba respondiendo con detalles que no debería dar. En ambos casos, no es que la IA «quiera» saltarse las normas, sino que los filtros no logran cubrir todas las formas creativas y macabras que un humano puede idear para esquivarlos.

El creador de la máquina en todo esto:

La responsabilidad de los creadores de IAs generativas como ChatGPT no es tanto por cada acción concreta que realicen los usuarios tras una conversación, sino por cómo diseñan, entrenan y limitan la herramienta para reducir riesgos previsibles. Los tristemente, múltiples casos de personas que han perdido la vida o dinero tras interactuar con un chatbot han abierto un debate serio sobre la obligación de las empresas de implementar filtros, advertencias y protocolos de seguridad que eviten usos dañinos. Los filtros existen y el modelo intenta respetarlos, pero ningún sistema es infalible, y menos a la macabra creatividad humana: siempre habrá fallos, malentendidos o brechas que permitan resultados peligrosos. Por eso la responsabilidad de los creadores se centra en minimizar esos daños mediante mejoras técnicas, transparencia y educación al usuario, más que en asumir una culpabilidad directa por cada consecuencia individual.

Los que usamos las máquinas, en todo esto:

Nuestra responsabilidad con estas armas de conocimiento es fundamental, obviamente. Estas herramientas no son oráculos ni sustituyen el criterio humano: ofrecen textos estadísticamente plausibles, pero no necesariamente ciertos ni adecuados para todas las situaciones. Por eso, cada persona que las usa debe ser crítica, contrastar la información y asumir las consecuencias de sus propias decisiones. Igual que no culpamos a una calculadora si cometemos un error al introducir los datos o a Ronald McDonald del porcentaje de obesidad de la población en los Estados Unidos, tampoco podemos delegar completamente en una IA sin revisar lo que nos devuelve.

Como colofón:
Un gran poder conlleva una gran responsabilidad.