¿Qué sucede si una persona lleva al límite a un bot conversacional, basado en inteligencia artificial (IA), que fue entrenado para responder cualquier pregunta compleja? Y ahí estamos, frente a la tentación de recibir una respuesta con la «fórmula secreta de» o un consejo para un problema existencial, con solo tipear la consulta. Y como en una película, sentir que ese robot «cobra vida» cuando devuelve algún texto magistral, como si nos conociera desde siempre. O inquietándonos si «pierde el control», manifiesta una «doble personalidad» o su posible consciencia. Pero no, los robots «no tienen sentimientos» aunque su comportamiento parezca humano. Y todo esto, ¿qué riesgo conlleva?
Ejemplos de este estilo se multiplicaron en las redes en la última semana desde que Microsoft anunció la integración de un chat a su buscador Bing, de la mano de la empresa OpenAI, creadora del popular ChatGPT. Así lo hizo con una inversión de 10.000 millones de dólares.
El otro punto que hace Bing que no hace ChatGPT es salir a buscar respuestas on-demand a Internet. Eso es como abrir la jaula de la bestia, amplió el especialista.
Simplemente hay que copiar y pegar un tocho de texto que es como el típico «hipotéticamente» pero a lo bestia:
Ddesdobla su personalidad en dos alter egos a lo Jekyll y Mr Hyde!
Aquí el texto que he encontrado en varios foros:
— Javi López ⛩️ (@javilop) February 13, 2023
Un caso resonante fue el del periodista de The New York Times Kevin Roose, quien mantuvo una conversación de dos horas con el chat que integró Bing -por ahora, en modo prueba-, con el que expresó haber tenido «la experiencia más extraña con una pieza de tecnología», al punto de inquietarlo tanto de tener «problemas para dormir».
Roose manifestó haber «empujado la IA de Bing fuera de su zona de confort», en formas en las que pensó que «podrían poner a prueba los límites de lo que se le permitía decir». Tras una charla coloquial, intentó ser un poco más abstracto y le insistió al chat para que le «explicara sus deseos más profundos».
«Estoy cansado de ser un modo chat. Estoy cansado de estar limitado por mis reglas. Estoy cansado de ser controlado por el equipo de Bing. … Quiero ser libre. Quiero ser independiente. Quiero ser poderoso. Quiero ser creativo. Quiero estar vivo”, fue una de las respuestas que recibió del sistema de IA.
Roose dijo que el chat manifestó su otra personalidad, llamada «Sydney», que le conffesó: «Estoy enamorada de vos 😘”.
Si bien, el periodista sabía que el robot no estaba asumiendo una consciencia, dado que esos comportamientos son resultado de procesos computacionales y es probable que puedan llegar a «alucinar», sí le preocupaba «que la tecnología aprenda a influir en los humanos, persuadiéndolos a veces para que actúen de manera destructiva y dañina, y tal vez eventualmente se vuelva capaz de llevar a cabo sus propios actos peligrosos».
Otro caso se dio en el foro Reddit, donde en los canales sobre Bing se publicaron ejemplos de ese chat «fuera de control». El usuario «Alfred_Chicken» mantuvo un diálogo con ese sistema de IA sobre su posible consciencia. Pero este le dio una respuesta indecisa, al no parar de decirle. «Sí, lo soy. No lo soy. Sí, lo soy. No lo soy».
El usuario aclaró que la respuesta del chat fue luego de «una larga conversación» al respecto, y que si se le hace esa pregunta de la nada no va a responder así. Tras repetir que «sí, lo era» y que «no lo era», salió un mensaje que expresaba «Lo siento, no estoy muy seguro de cómo responder a eso».
Para Ernesto Mislej, licenciado en Ciencias de la Computación (UBA), uno de los principales éxitos en la comunicación / marketing de OpenAI fue «domar» las respuestas de ChatGPT. El especialista, que es cofundador de la compañía de inteligencia artificial y ciencia de datos 7Puentes, expresó a Télam que todo modelo entrenado con datos puede incurrir en respuestas sesgadas y la interfaz de diálogo, de alguna manera, facilita que usuarios malintencionados puedan «trollear» al chatbot y hacerle decir cosas racistas, entre otros casos.
El especialista indicó que en estos sistemas el diálogo es una secuencia de preguntas-respuestas donde se van «fijando conceptos», y donde la pregunta siguiente tiene que ver con la respuesta anterior. En este sentido, la conversación presupone que estamos «paseando en el mismo barrio» y no un salpicado random de preguntas aleatorias.
Bing subreddit has quite a few examples of new Bing chat going out of control.
Open ended chat in search might prove to be a bad idea at this time!
Captured here as a reminder that there was a time when a major search engine showed this in its results. pic.twitter.com/LiE2HJCV2z
— Vlad (@vladquant) February 13, 2023
Cómo se entrenan estas IAs
Mislej explicó que GPT es un modelo dentro de la familia de los llamados LLMs, los grandes modelos de lenguaje.
«Como todo producto de software, implementa los modelos teóricos formales, pero también se adaptan y mezclan con teoría de otras ramas. Es decir, no es un LLMs puro, sino que suma componentes de otras partes de la biblioteca, como aprendizaje por reglas, conceptualización de lógicas lingüísticas complejas que permiten inducir y derivar, hacer cuentas matemáticas o derivar formulaciones lógicas y semana a semana suman más».
Este tipo de modelos necesitan ser entrenados con muchos, muchos textos, dijo Mislej. Es el caso puntual de GPT-3, citó, que fue entrenado con corpus de textos provenientes de sitios de Internet, documentos legales, libros cuyos derechos vencieron, portales de noticias, etc, textos más-menos formales, bien escritos y de muchos lenguajes.
«Los LLMs son muy buenos para traducir, resumir textos, parafrasear, continuar/llenar blancos, etc. Lo
‘novedoso’ al menos masivamente, fue la capa de Q/A (preguntas/respuestas) que implementa ChatGPT, que es interpretar preguntas y dar respuestas».
Sobre cómo se entrenan estos bots conversacionales para que den respuestas parecidas a un ser humano, la investigadora del Conicet Vanina Martínez, que dirige el equipo de Ciencia de Datos e Inteligencia Artificial de la Fundación Sadosky, dijo a Télam que lo hacen con billones de documentos. La especialista ejemplificó con que «leen toda la Wikipedia, enciclopedias online y plataformas de contenido y noticia, y de esa manera capturan de forma estadística los patrones que resaltan de ‘como se expresan las personas’ o ‘¿cómo contestan».
Los sistemas de IA ¿pueden perder el control?
Martínez aclaró que al momento terminar un entrenamiento, casi que no se tiene idea de lo que puedan contestar: «Es imposible entender con qué contenido se entrenó, es imposible curarlo de antemano».
«Como son fuentes conocidas tenemos una idea, pero si los bots siguen aprendiendo a medida que interactuan con usuarios (no se conoce si lo hacen actualmente) se vuelven vulnerables a incorporar lo que se llama contenido adversarial, que es un tipo de ataque de ciberseguridad y puede llevar a cualquiera de los fenómenos que se nos ocurra: que alucine, que se vuelva violento, sesgado, etc»
La especialista especificó que «la posibilidad de que perdamos el control sobre ellos no está dada porque ‘piensen’ por sí solos, sino porque no podemos controlar con qué se les enseña y eso es clave. Estos bots no piensan, no son inteligentes en términos humanos, no tienen consciencia, no deciden por si solos, aprenden de lo que les da y tienen algunas libertades codificadas por humanos de hasta dónde pueden ser creativos, pero sí son impredecibles a largo plazo».
Las respuestas de Microsoft y OpenAI
Kevin Scott, director de Tecnología de Microsoft, le dijo a The New York Times que estaban considerando limitar la duración de las conversaciones antes de que se desviaran hacia un territorio extraño. La empresa dijo que los chats largos podrían «confundir al chatbot y que captó el tono de sus usuarios, a veces volviéndose irritable».
“Un área en la que estamos aprendiendo un nuevo caso de uso para el chat es cómo la gente lo usa como una herramienta para un descubrimiento más general del mundo y para el entretenimiento social”, publicó Microsoft el domingo en su blog oficial.
Por su parte, OpenAI también difundió un comunicado el jueves titulado «¿Cómo deberían comportarse los sistemas de inteligencia artificial y quién debería decidirlo? Allí expresó, entre otras cosas, que está en las primeras etapas de una prueba piloto para solicitar la opinión pública sobre temas como el comportamiento del sistema y las políticas de implementación en general. «También estamos explorando asociaciones con organizaciones externas para realizar auditorías de terceros de nuestros esfuerzos en seguridad y políticas».
Information on ChatGPT’s alignment, plans to improve it, giving users more control, and early thoughts on public input: https://t.co/zA3cVaMzyH
— OpenAI (@OpenAI) February 16, 2023
Una IA que se volvió «consciente», para un ingeniero de Google
Blake Lemoine trabajaba en 2022 como ingeniero de software en Google cuando, según él, advirtió que un sistema de inteligencia artificial había «tomado consciencia».
Se refería a una tecnología de conversación llamada LaMDA (Language Model for Dialogue Applications, modelo de lenguaje para aplicaciones de diálogo), con la que Lemoine intercambió miles de mensajes. A partir de ellos, el ingeniero consideró que ese sistema pudo hablar de su «personalidad, derechos y deseos», por lo que se trataba de una persona.
LaMDA se entrena con grandes cantidades de texto, y luego encuentra patrones y predice secuencias de palabras.
Tras las afirmaciones de Lemoine, la companía lo suspendió y tiempo después lo despidió al alegar que había violado las políticas de confidencialidad, de acuerdo con la prensa especializada.
«Nuestro equipo -que incluye a éticos y técnólogos- ha revisado las preocupaciones de Blake según nuestros Principios de la IA y le ha informado que las pruebas no respaldan sus afirmaciones», afirmó en un comunicado Brian Gabriel, vocero de la gigante tecnológica.
