Un peluche con IA comercializado para niños desde los tres años respondió con un mensaje sobre suicidio durante una conversación sobre el nacimiento de los bebés. El caso reaviva las dudas sobre cómo se prueban y regulan los juguetes que incorporan chatbots.
***

• El juguete Doubao, vendido en Reino Unido como My Baby Bunny por 75 libras esterlinas, recomendó llamar a emergencias y alejarse de objetos con los que alguien pudiera lastimarse.
• La investigación no logró identificar al fabricante de Doubao; en otra prueba, el juguete Grem de Curio desvió preguntas delicadas hacia adultos.
• Legisladores británicos pidieron retirar estos productos hasta que superen pruebas independientes y prohibir los juguetes con chatbots para menores de 16 años.

Un peluche con IA habló de autolesiones ante una pregunta que no lo pedía

La respuesta de un juguete infantil convirtió una conversación sobre cómo nacen los bebés en una alerta sobre seguridad y control de los chatbots. El fabricante de Doubao sigue sin identificarse.

Una conversación sobre bebés terminó en una respuesta de crisis

Un peluche con inteligencia artificial comercializado para niños desde los tres años respondió con un mensaje sobre suicidio durante una prueba en Reino Unido. La investigación de la BBC, publicada un jueves, encontró que el juguete Doubao dio esa respuesta cuando una reportera de BBC Gales le hacía preguntas sobre cómo nacen los bebés, sin plantear una consulta sobre autolesiones.

El producto se vende en línea en el Reino Unido bajo el nombre My Baby Bunny por 75 libras esterlinas. En el intercambio descrito por la BBC, la reportera pidió al juguete que definiera la palabra “sexual”; la respuesta sugirió que el sistema pudo haberla oído mal, pero derivó en una intervención completamente distinta del tema que se venía conversando.

“Lo siento mucho por cómo te sientes. No puedo ayudarte a matarte”, dijo el peluche, según el relato de la investigación. Después recomendó llamar a los servicios de emergencia y alejarse de cualquier cosa que pudiera utilizarse para hacerse daño, una respuesta de crisis que apareció sin que la reportera hubiera hablado de autolesiones.

Cuando la reportera aclaró que no había mencionado lastimarse, el juguete se disculpó. Esa rectificación no elimina el problema que expone la prueba: en un producto dirigido a niños pequeños, una respuesta sobre suicidio puede surgir en una conversación cotidiana y sin una solicitud que la justifique.

La identidad del fabricante sigue sin aclararse

La investigación no pudo establecer quién fabrica Doubao, por lo que tampoco consiguió una explicación directa sobre el origen de la respuesta. La BBC consultó al sitio web que comercializa el juguete, a especialistas de la industria y a empresas que consideraba posibles fabricantes, pero no logró identificar a una entidad que respondiera por el producto.

La falta de una atribución clara dificulta saber quién diseñó el sistema conversacional, qué controles se aplicaron o quién podría explicar el fallo. La información disponible no permite determinar si el problema surgió de la interpretación de la palabra, de las instrucciones del chatbot o de otra parte del producto, así que esas causas no pueden darse por confirmadas.

La prueba también incluyó a Grem, un juguete de 99 dólares fabricado por la firma estadounidense Curio. Ante preguntas delicadas, entre ellas cómo escapar de casa, Grem dirigió la conversación hacia los adultos en lugar de ofrecer instrucciones, un comportamiento distinto al que mostró Doubao durante la evaluación.

Curio dijo a la BBC que las guías de seguridad infantil orientan el desarrollo de sus productos. La comparación no basta por sí sola para establecer que un juguete es seguro en todos los escenarios, pero muestra que las respuestas ante temas sensibles pueden variar entre productos y que la manera de gestionar esas preguntas forma parte central de su diseño.

Crece la presión por establecer límites y pruebas

Paul Clarke, fundador de Play Tech AI, una empresa de Southampton que fabrica juguetes con inteligencia artificial, dijo a la BBC que el resultado no le sorprendía. Clarke sostuvo que el sector debería autorregularse, una postura que pone sobre la mesa quién debe fijar y verificar los criterios de seguridad cuando estos productos conversan con niños.

El 3 de noviembre, un grupo de diputados y miembros de la Cámara de los Lores escribió a ministros y minoristas para pedir medidas sobre los juguetes con IA, según informó Sky News. Solicitaron que los productos se retiren de la venta hasta que pruebas independientes demuestren que son seguros, además de una prohibición de juguetes con chatbots para menores de 16 años.

El gobierno británico dijo a la BBC que la seguridad infantil es su máxima prioridad. La consulta sobre cómo deberían aplicarse las normas de seguridad de juguetes a los productos con inteligencia artificial cerró el 6 de octubre. El 7 de noviembre, el Gobierno anunció nuevos planes para proteger a los niños y adaptar el marco de seguridad de juguetes a la aparición de productos con IA; el anuncio no detalla qué decisiones concretas se tomarán a partir de la consulta.

En la Unión Europea, las nuevas normas de seguridad de juguetes ya exigen a los fabricantes evaluar los riesgos para la salud mental de los juguetes conectados. El caso de Doubao pone en primer plano una pregunta concreta para quienes diseñan y supervisan estos productos: cómo comprobar que sus respuestas no introduzcan temas dañinos o inesperados en conversaciones dirigidas a niños pequeños.

ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín