La empresa de evaluación de IA Irregular obtiene 80 millones de dólares en su última ronda de financiación

En un desarrollo significativo para el sector de la seguridad en inteligencia artificial, la empresa conocida como Irregular ha anunciado una ronda de financiación de 80 millones de dólares. Esta iniciativa fue liderada por Sequoia Capital y Redpoint Ventures, con la notable participación de Assaf Rappaport, CEO de Wiz. Esta última ronda de financiación ha asignado a Irregular una valoración de 450 millones de dólares, posicionándola como un jugador clave en el espacio de evaluación de IA.

Según Dan Lahav, cofundador de Irregular, la empresa reconoce un cambio crucial en el horizonte: “Creemos que una parte sustancial de las futuras actividades económicas surgirá de las interacciones entre humanos y IA, así como entre los propios sistemas de IA,” afirmó Lahav en una entrevista con TechCrunch. Añadió que esta evolución probablemente expondrá vulnerabilidades en múltiples capas de seguridad.

Soluciones Innovadoras para la Seguridad en IA

Anteriormente conocida como Pattern Labs, Irregular ha encontrado su nicho con sus contribuciones a las evaluaciones de IA. Sus marcos son fundamentales para evaluar la seguridad de modelos de IA como Claude 3.7 Sonnet y los modelos o3 y o4-mini de OpenAI. Una innovación particularmente destacada es su sistema de puntuación denominado SOLVE, que es ampliamente aclamado en la industria por su efectividad en la detección de vulnerabilidades en modelos de IA.

Evaluación Proactiva de Riesgos

Si bien Irregular ya ha avanzado en la identificación de riesgos actuales asociados con modelos de IA, la empresa ahora se fija un objetivo más ambicioso: la detección temprana de amenazas y comportamientos emergentes antes de que se manifiesten en escenarios reales. Para lograrlo, Irregular ha desarrollado un complejo sistema de entornos simulados que permite realizar pruebas rigurosas de los modelos de IA antes de su implementación.

Según Omer Nevo, cofundador de la compañía, “Tenemos simulaciones de red complejas que permiten a los sistemas de IA funcionar tanto como atacantes como defensores.” Este enfoque dual permite al equipo evaluar la resiliencia de los nuevos modelos, identificando tanto fortalezas como debilidades en sus protocolos de seguridad.

Enfoque en Vulnerabilidades de IA

Las crecientes capacidades de los modelos de lenguaje grandes han intensificado la importancia de la seguridad dentro del sector de IA. Los desarrollos recientes han resaltado las amenazas potenciales que presentan los sistemas avanzados de IA, lo que ha llevado a organizaciones como OpenAI a reestructurar sus marcos de seguridad internos. Este verano, OpenAI puso un fuerte énfasis en mejorar las medidas para contrarrestar riesgos como el espionaje corporativo.

Las Implicaciones de los Avances en IA

Para los fundadores de Irregular, estos desafíos representan solo el comienzo de una serie de preocupaciones de seguridad que surgen de las funcionalidades mejoradas de los modelos de IA. Lahav expresó: “Mientras la misión de los laboratorios que desarrollan modelos de IA de vanguardia es crear sistemas cada vez más sofisticados, nuestro enfoque está en asegurar estas innovaciones.” Reconoció que, dada la naturaleza dinámica de la IA, aún queda un inmenso trabajo por hacer en el futuro.

Este enfoque en la seguridad refleja una tendencia más amplia dentro de la industria, donde las organizaciones compiten por desarrollar defensas más robustas contra las vulnerabilidades que introducen los sofisticados modelos de IA. Las implicaciones de esta carrera armamentista en la seguridad de la IA son profundas, ya que los interesados luchan por garantizar que los avances no se realicen a expensas de la seguridad.

Esfuerzos de Rediseño en los Manillares de Tesla

En un desarrollo separado pero notable, Tesla ha anunciado planes para rediseñar sus manillares para mejorar las medidas de seguridad. El diseñador jefe, Franz von Holzhausen, compartió información con Bloomberg News sobre los esfuerzos de la compañía tras una investigación de la Administración Nacional de Seguridad del Tráfico en las Carreteras (NHTSA), relacionada con problemas en la funcionalidad electrónica de los manillares de Tesla. Esta investigación surgió después de informes que indicaban que los pasajeros habían enfrentado desafíos para salir de los vehículos tras accidentes.

Si bien von Holzhausen no divulgó un cronograma para el rediseño, señaló que la decisión se alinea con las crecientes preocupaciones de seguridad expresadas por los reguladores. El fabricante de vehículos eléctricos está explorando formas de integrar mecanismos de bloqueo electrónicos y manuales en una interfaz única y fácil de usar.