Potenciando las lenguas africanas a través de los avances en inteligencia artificial

En un mundo cada vez más impulsado por la inteligencia artificial (IA), la predominancia de idiomas como el inglés, el chino y diversas lenguas europeas ha suscitado preocupaciones sobre la exclusión de los idiomas africanos. Herramientas como ChatGPT y Siri, diseñadas principalmente para hablantes de estos idiomas, dejan sin voz a una gran parte de la población africana. Un esfuerzo conjunto de investigadores y expertos en lenguas africanas busca abordar este desequilibrio mediante el desarrollo de recursos y conjuntos de datos accesibles para aplicaciones de IA en lenguas africanas.

La iniciativa, conocida como el proyecto African Next Voices, ha logrado avances significativos en la creación de la mayor colección de datos sobre lenguas africanas para fines de IA. Este ambicioso proyecto abarca Kenia, Nigeria y Sudáfrica, y busca empoderar a las comunidades locales asegurando que sus idiomas estén representados en el panorama digital.

Los hechos

El lenguaje es fundamental para la interacción humana, ya que es el medio a través del cual expresamos ideas, solicitamos ayuda y construimos conexiones dentro de nuestras comunidades. Para que los sistemas de IA comprendan y respondan eficazmente a los usuarios, deben ser programados de manera que reconozcan las particularidades y matices de los idiomas que utilizan las personas a las que sirven. Los modelos de lenguaje grandes (LLMs) dependen de extensos conjuntos de datos lingüísticos, pero estos suelen limitarse a un puñado de idiomas dominantes.

Cuando la IA carece de competencia en los idiomas de sus usuarios, la comunicación se ve afectada y surgen malentendidos. El patrimonio cultural, los valores y el conocimiento local presentes en los idiomas son esenciales para que la IA se involucre de manera significativa con diversas comunidades. Sin representación, la IA corre el riesgo de perpetuar desigualdades sociales existentes y excluir a millones de los beneficios de los avances tecnológicos.

El desafío de la escasez de datos

La falta de registros digitales de alta calidad en lenguas africanas representa una barrera significativa para el desarrollo de sistemas de IA efectivos. Las políticas históricas que favorecen los idiomas coloniales han llevado a la subrepresentación de las lenguas africanas en contextos educativos, mediáticos y gubernamentales. Como resultado, la disponibilidad de texto y voz digitalizados en estos idiomas sigue siendo alarmantemente baja.

Además, crear conjuntos de datos completos implica más que simplemente recopilar texto. Requiere la existencia de herramientas esenciales como diccionarios, glosarios y bases de datos terminológicas, que a menudo son escasas. Los desafíos adicionales incluyen la necesidad de teclados especializados, tipos de letra y correctores ortográficos que se adapten a las diversas variaciones ortográficas y diferencias tonales de las lenguas africanas.

Esfuerzos y objetivos de recolección de datos

Un enfoque central del proyecto African Next Voices es recolectar datos de voz para sistemas de reconocimiento automático de voz (ASR), vitales para lenguas que se hablan principalmente en lugar de escribirse. Al convertir el lenguaje hablado en texto, esta tecnología puede mejorar significativamente la accesibilidad y la comunicación.

El proyecto busca explorar la metodología de recolección de datos y determinar el volumen necesario para desarrollar herramientas ASR robustas. La diversidad de datos es una consideración clave, abarcando diversas formas de discurso, como conversaciones cotidianas, discusiones relacionadas con la salud y diálogos agrícolas. Al involucrar a individuos de diferentes grupos de edad, géneros y niveles educativos, el proyecto se esfuerza por crear una representación integral del uso del lenguaje.

Esfuerzos colaborativos en distintas regiones

En Kenia, el Centro de IA Aplicada Maseno está recopilando datos de voz en cinco lenguas distintas, enfocándose en grupos lingüísticos clave, incluyendo lenguas nilóticas como el dholuo y el maasai, así como lenguas cushíticas y bantúes. De manera similar, en Nigeria, Data Science Nigeria está curando datos de voz en lenguas ampliamente habladas como el hausa, el igbo y el yoruba, buscando una representación auténtica del uso del lenguaje.

En Sudáfrica, el laboratorio de Ciencia de Datos para el Impacto Social está grabando datos en siete lenguas para retratar con precisión el rico paisaje lingüístico del país. Este enfoque colaborativo asegura que el proyecto no sea un esfuerzo aislado, sino parte de un movimiento más amplio que incluye organizaciones como la Fundación de Investigación Masakhane y Mozilla Common Voice, todas dedicadas a avanzar en la representación de las lenguas africanas en el ámbito digital.