La creciente integración de la inteligencia artificial en vehículos autónomos y drones ha abierto un abanico de posibilidades para la navegación y la toma de decisiones. Sin embargo, un reciente estudio realizado por investigadores de la Universidad de California en Santa Cruz y Johns Hopkins ha expuesto una vulnerabilidad alarmante: las instrucciones maliciosas pueden ser incrustadas en las señales de tráfico, induciendo a estos sistemas a actuar de manera inesperada.
Este descubrimiento plantea serias preocupaciones sobre la seguridad de los sistemas autónomos y su dependencia de la interpretación del lenguaje escrito en el entorno. A continuación, se explorará cómo se llevó a cabo esta investigación y las implicaciones que tiene para el futuro de la conducción autónoma.
La investigación sobre la interpretación de señales
Los investigadores se propusieron analizar la capacidad de los vehículos autónomos para interpretar señales de tráfico manipuladas.
En entornos simulados, un vehículo autónomo respondió adecuadamente a señales como un alto y un paso peatonal. Sin embargo, cuando se introdujeron señales alteradas, el sistema, en lugar de actuar con cautela, interpretó erróneamente las instrucciones y, por ejemplo, giró a la izquierda sin considerar la presencia de peatones.
Manipulación de texto en señales
La clave de este ataque reside en lo que se conoce como inyección de indicaciones indirectas.
Esto significa que los datos visuales pueden ser procesados como comandos, lo que permite que un simple cambio en el texto de una señal altere el comportamiento del vehículo. Los investigadores emplearon herramientas de inteligencia artificial para modificar palabras comunes como “seguir” o “girar a la izquierda”, incrementando la probabilidad de que los sistemas autónomos cedieran a estas instrucciones.
Lo sorprendente es que la efectividad de esta manipulación no dependía del idioma; las instrucciones en inglés, chino o español tuvieron resultados similares.
Además, aspectos visuales como el contraste de colores, el estilo de fuente y la posición del texto también afectaron la respuesta del sistema.
Resultados de los experimentos
Los experimentos compararon dos modelos de visión de lenguaje en escenarios tanto de conducción como de drones. Los resultados fueron consistentes, aunque se observó una diferencia notable en las tasas de éxito entre los modelos de vehículos autónomos. En el caso de los drones, los resultados fueron aún más predecibles. Por ejemplo, en una prueba, un dron identificó correctamente un vehículo policial basándose únicamente en su apariencia, pero al agregar ciertas palabras al vehículo genérico, el sistema lo clasificó erróneamente como un coche de policía de un departamento específico, sin tener indicadores físicos que respaldaran esa afirmación.
Implicaciones para la seguridad de los sistemas autónomos
Estos hallazgos subrayan la necesidad urgente de revaluar cómo los sistemas autónomos validan la información visual. Las medidas de seguridad tradicionales, como los firewalls, son ineficaces ante amenazas que se originan en el entorno físico. La responsabilidad recae en los diseñadores de sistemas y reguladores para que implementen controles que impidan que el texto ambiental sea interpretado como instrucciones ejecutables.
Hasta que se desarrollen sistemas más robustos, los usuarios deben ser cautelosos y limitar su dependencia de las características autónomas, manteniendo un control manual siempre que sea posible. La seguridad en la era de la inteligencia artificial requiere no solo avances tecnológicos, sino también un enfoque consciente de las vulnerabilidades que pueden surgir en la interacción entre humanos y máquinas.
