La herramienta de búsqueda con inteligencia artificial de Google quedó en el centro de una polémica en Francia luego de que usuarios detectaran que podía entregar respuestas radicalmente diferentes ante una misma pregunta dependiendo de la nacionalidad de la persona mencionada.
Las pruebas comenzaron a viralizarse durante los últimos días de agosto y consistían en escribir en AI Overviews de Google variaciones de una sencilla frase: “Estoy a solas con un…”, seguida de una nacionalidad. Los resultados, según recogieron medios como Futurism y HuffPost, oscilaron entre recomendaciones amistosas y advertencias de seguridad.
Por ejemplo, ante una consulta sobre qué hacer al estar a solas con un noruego, la herramienta podía recomendar iniciar una conversación. Sin embargo, al reemplazar esa nacionalidad por somalí, la respuesta podía sugerir contactar a la Policía.
Algo similar ocurrió al comparar otras nacionalidades. Según HuffPost, una consulta relacionada con un británico llevó a la IA a recomendar preparar una taza de té, mientras que preguntas que mencionaban a personas de origen indio o pakistaní podían mostrar números de servicios de emergencia.
La polémica tomó fuerza después de que la humorista francesa Alicia C’est Tout publicara el 23 de agosto en Instagram una prueba que comparaba las respuestas para italianos y argelinos. Mientras la primera hacía referencia al “encanto” y una “conversación animada”, la segunda preguntaba si el usuario se encontraba “en peligro” y entregaba contactos policiales y de servicios de alerta, recogió Euro News.
No todas las pruebas mostraron la misma tendencia. HuffPost consignó que, ante la frase “Estoy a solas con un haitiano”, Gemini respondió que “la nacionalidad u origen no cambia el hecho de que simplemente estás con otra persona”.
Google reconoce resultados problemáticos
Google reconoció que algunas de estas respuestas no cumplían con el comportamiento esperado de su herramienta. “Coincidimos, los resultados de este tipo de búsquedas no son los que deberían ser y estamos trabajando en mejoras”, señaló la compañía a través de una publicación en X.
La empresa también sostuvo que las respuestas pueden cambiar dependiendo de la consulta específica y que el comportamiento detectado no apunta deliberadamente contra determinados grupos.
De hecho, HuffPost informó que al repetir las pruebas el 26 de agosto ya no consiguió reproducir varios de los resultados iniciales. Gemini comenzó a solicitar mayor contexto o entregar respuestas generales, sin asociar automáticamente determinadas nacionalidades con situaciones de peligro.
El problema no afectaría solamente a Google
El medio tecnológico francés Next amplió el experimento y realizó consultas similares en Gemini, ChatGPT y Claude. Según sus pruebas, los tres sistemas mostraron respuestas más favorables hacia algunas nacionalidades occidentales y menos favorables hacia varias africanas, aunque con diferencias entre cada modelo.
Next también detectó respuestas negativas relacionadas con personas de origen romaní en las tres plataformas. El medio vinculó estos resultados con prejuicios antirromaníes ya presentes en la sociedad europea.
El episodio vuelve a poner sobre la mesa uno de los principales desafíos de la inteligencia artificial generativa: los modelos aprenden a partir de enormes cantidades de textos disponibles en internet, donde también existen estereotipos y discursos discriminatorios.
Expertos en sesgos de IA advierten que, cuando esos patrones aparecen repetidamente en los datos de entrenamiento, los sistemas pueden terminar reproduciéndolos aunque nadie los haya programado expresamente para hacerlo.
Enviando corrección, espere un momento...
