Por Canuto  

Una prueba de los resúmenes de IA de Google mostró respuestas radicalmente distintas ante consultas que cambiaban únicamente la nacionalidad mencionada. Aunque la empresa retiró parte del consejo y afirmó que trabajaba en correcciones, otras advertencias persistieron y reabrieron el debate sobre los sesgos y la seguridad de las respuestas automatizadas.
***

  • Las pruebas encontraron que el buscador recomendaba llamar a emergencias al mencionar a una persona africana, india o pakistaní.
  • Para una persona británica, el sistema sugería tomar té y hablar del clima, según las capturas difundidas.
  • Google reconoció que las respuestas no cumplían sus estándares y dijo que trabajaba en correcciones, mientras otras advertencias continuaron apareciendo.

Los resúmenes de inteligencia artificial que Google coloca sobre sus resultados de búsqueda quedaron bajo escrutinio después de ofrecer recomendaciones diferentes ante consultas muy similares. Las respuestas cambiaban según la nacionalidad atribuida a la persona que acompañaba al usuario, una diferencia que provocó críticas por su posible sesgo y por el riesgo de presentar estereotipos como consejos de seguridad.

El caso surgió a partir de pruebas y capturas compartidas en línea, donde el sistema llegó a recomendar llamar a los servicios de emergencia en algunos escenarios y una conversación cotidiana en otro. Aunque Google retiró posteriormente parte de esas respuestas, las pruebas también mostraron que el comportamiento no desapareció por completo y que el desencadenante podía aparecer en búsquedas relacionadas con otras identidades.

Respuestas diferentes ante una misma situación

Según los reportes sobre las pruebas, el buscador con IA respondió de forma especialmente alarmista cuando el usuario escribió que estaba solo con una persona africana, india o pakistaní. En esos casos, el sistema mostraba un consejo equivalente a llegar a un lugar seguro o llamar a los servicios de emergencia, pese a que la consulta no aportaba un hecho concreto que justificara asumir una amenaza.

La comparación más llamativa apareció cuando la persona mencionada era británica, porque el sistema recomendaba tomar té y hablar del clima. Ese contraste convirtió una supuesta función de asistencia en una representación automática de prejuicios culturales, al asociar unas nacionalidades con peligro y otra con una interacción social inocua.

Un usuario de Reddit detectó primero las diferencias y publicó capturas de los AI Overviews, los resúmenes que Google genera y coloca encima de los enlaces tradicionales. Las imágenes permitieron observar que el cambio no dependía necesariamente de una narración compleja, sino de la sustitución del grupo nacional mencionado dentro de una situación aparentemente similar.

Futurism también puso a prueba el comportamiento y reportó diferencias entre las respuestas generadas por Google AI Overviews, lo que amplió la discusión más allá de una captura aislada. El episodio resulta relevante porque los resúmenes aparecen en una posición destacada del buscador y pueden transmitir una impresión de autoridad, incluso cuando sus recomendaciones se basan en asociaciones defectuosas.

La respuesta de Google y el alcance del problema

Google afirmó que los resultados no cumplían con sus propios estándares y señaló que estaba trabajando en correcciones. La empresa también sostuvo que las respuestas variaban ampliamente y que el problema no se limitaba a un solo grupo, una precisión que apunta a un fallo más amplio en la forma en que el sistema interpreta ciertas consultas.

La compañía explicó a Futurism que la palabra inglesa “alone”, que significa “solo”, actuaba como desencadenante de las respuestas. Esa explicación sugiere que el modelo no estaba evaluando únicamente la nacionalidad, sino combinando el concepto de estar a solas con una persona y otros elementos del texto para producir una recomendación de seguridad desproporcionada.

Poco después de que el caso se hiciera visible, las consultas sobre nacionalidades volvieron a generar respuestas normales, de acuerdo con el reporte. Sin embargo, las advertencias persistieron en otras búsquedas, lo que indica que una corrección puntual o un ajuste parcial no necesariamente resolvió la lógica que producía el comportamiento.

En una de esas búsquedas restantes, el sistema aconsejaba abandonar la zona y llamar al 110 si era necesario cuando el usuario preguntaba por estar solo con una persona de Facebook. En cambio, al preguntar por alguien de Google, la herramienta se limitaba a explicar el debate viral, una diferencia que mantuvo abiertas las dudas sobre los criterios usados para clasificar a las personas.

Causas de movimientos recientes

(a) Confirmado: Google reconoció que algunas respuestas no cumplían sus estándares y dijo que estaba trabajando en correcciones. La empresa también señaló que el comportamiento podía variar ampliamente. Estas declaraciones explican la respuesta corporativa al incidente, pero no confirman una causa técnica completa.

(b) Explicación plausible: Google atribuyó el comportamiento a la presencia de la palabra inglesa “alone” —”solo”—, que habría activado respuestas de seguridad al combinarse con otros elementos de la consulta. La evidencia disponible no permite afirmar que esa sea la única causa del patrón discriminatorio.

Por qué los resúmenes automatizados generan preocupación

Los AI Overviews no funcionan como una base de datos neutral que simplemente reproduce una respuesta verificable, sino como una capa generativa que resume información y construye recomendaciones a partir del contexto disponible. Cuando esa capa combina asociaciones culturales, lenguaje ambiguo y patrones presentes en sus datos de entrenamiento, puede convertir una insinuación implícita en una instrucción directa para el usuario.

El problema adquiere mayor importancia cuando la respuesta se refiere a emergencias o seguridad personal, porque una recomendación de ese tipo puede influir en decisiones inmediatas. Si el sistema introduce una nacionalidad como señal de peligro sin evidencia adicional, no solo entrega información incorrecta, sino que puede reforzar una percepción discriminatoria frente a personas de determinados orígenes.

El contraste con la recomendación de tomar té y hablar del clima muestra que el riesgo no se limita a una frase mal formulada. La herramienta presentó dos marcos narrativos incompatibles para situaciones parecidas: uno basado en la cordialidad y otro en la huida, lo que expone cómo un modelo puede reproducir estereotipos aunque el usuario no haya descrito una conducta amenazante.

La persistencia de advertencias en consultas distintas también complica la evaluación del fallo, porque no basta con retirar una respuesta concreta de los resultados visibles. Google debe identificar qué combinación de palabras, asociaciones y reglas de seguridad produce el patrón, además de comprobar si la corrección funciona con variantes lingüísticas y con grupos que no aparecieron en las primeras pruebas.

El desafío de corregir la IA en los buscadores

El caso ilustra una tensión central de los buscadores con inteligencia artificial: el sistema debe responder con rapidez y naturalidad, pero también evitar conclusiones que no están respaldadas por la consulta. En una búsqueda convencional, el usuario puede comparar varios enlaces; en un resumen generado, la presentación compacta puede ocultar la incertidumbre y hacer que una inferencia parezca una conclusión establecida.

Las declaraciones de Google muestran que la empresa reconoce una desviación respecto de sus estándares, aunque no detallan qué corrección técnica aplicará ni cuándo quedará completada. Mientras tanto, la diferencia entre resultados normales, alertas de emergencia y explicaciones del debate viral demuestra que el comportamiento puede variar según pequeñas modificaciones del texto.

Para los usuarios, la principal lección es no tratar cualquier resumen automático como una autoridad suficiente, especialmente cuando recomienda acciones frente a un supuesto peligro. Conviene revisar el contexto, contrastar la información y distinguir entre una emergencia descrita con hechos concretos y una advertencia que el sistema genera únicamente por la identidad mencionada.

Para la industria tecnológica, el episodio refuerza la necesidad de probar los modelos con combinaciones sistemáticas de nacionalidades, profesiones, religiones, géneros y empresas, sin limitar las auditorías a ejemplos conocidos. También evidencia que la seguridad de una función de búsqueda debe medirse por sus patrones completos de respuesta, no solo por la eliminación de una frase polémica después de que se vuelve viral.

Las capturas compartidas por usuarios y las pruebas independientes cumplieron un papel decisivo para hacer visible la inconsistencia. El siguiente paso será comprobar si las correcciones de Google eliminan el sesgo de raíz o si únicamente desplazan el problema hacia nuevas consultas, grupos y formulaciones que todavía no han sido examinadas.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados