Un nuevo estudio de la Universidad de Cornell ha puesto en evidencia problemas serios en Rufus, el asistente de compras de Amazon. Este asistente, que debería facilitar la experiencia de compra, ofrece respuestas vagas o incorrectas a usuarios que se expresan en ciertos dialectos del inglés, como el inglés afroamericano (AAE). ¿Te imaginas lo frustrante que debe ser eso? Este hallazgo no solo es interesante, sino que también nos lleva a cuestionar la equidad en los sistemas de inteligencia artificial que usamos cada día en línea. Los investigadores destacan la necesidad de crear modelos de IA que reconozcan y se adapten a la diversidad lingüística.
Los hallazgos del estudio de Cornell
La investigación, liderada por Emma Harvey, una estudiante de doctorado en Cornell Tech, introduce un marco para evaluar chatbots según los daños que pueden causar a los usuarios que utilizan diferentes dialectos. “Actualmente, los chatbots pueden ofrecer respuestas de menor calidad a quienes usan dialectos. Sin embargo, esto no debería ser así”, enfatiza Harvey. El estudio revela que la capacidad de Rufus para responder de manera adecuada se ve afectada cuando los usuarios emplean formas dialectales o cometen errores tipográficos. ¿Te has encontrado alguna vez en una situación similar?
El equipo de investigación auditó el chatbot de Amazon utilizando una herramienta llamada MultiVALUE, que convierte preguntas en inglés estándar a cinco dialectos comunes, incluyendo el AAE y el inglés chicano. Los resultados fueron claros: Rufus ofrecía respuestas de baja calidad con más frecuencia cuando las preguntas eran formuladas en dialectos, especialmente si había errores tipográficos. ¿No te parece alarmante?
Implicaciones y recomendaciones para el futuro
Los autores del estudio subrayan que es esencial realizar auditorías lingüísticas en los sistemas de IA. “Los chatbots son cada vez más utilizados en tareas de alto riesgo, desde la educación hasta los servicios gubernamentales”, comenta Allison Koenecke, coautora de la investigación. La falta de precisión en las respuestas de Rufus plantea serias preocupaciones sobre su efectividad para una amplia gama de usuarios. Sin duda, esto podría perpetuar desigualdades si no se toman medidas al respecto.
Koenecke también resalta que los sistemas deben ser diseñados para aceptar la diversidad lingüística. “Las auditorías lingüísticas deberían convertirse en una práctica estándar para mitigar el riesgo de agravar las desigualdades educativas”, añade Rene F. Kizilcec, otro de los coautores. Este trabajo fue reconocido con un premio al mejor artículo en la Conferencia ACM sobre Equidad, Responsabilidad y Transparencia en 2025, lo que evidencia su relevancia en el ámbito de la inteligencia artificial.
Conclusiones del estudio
El estudio de Cornell pone de relieve la necesidad de que los desarrolladores de chatbots consideren las variaciones dialectales. La investigación concluye que, si se entrenan modelos de lenguaje grande para ser más robustos ante características dialectales, se podría lograr un comportamiento más equitativo en la interacción con los usuarios. A medida que la tecnología avanza, es crucial que los desarrolladores sean conscientes de la diversidad lingüística y trabajen para mejorar la calidad del servicio que ofrecen a todos, sin importar su forma de hablar. ¿No crees que todos merecen ser entendidos de manera justa?
