¿Por qué les resulta tan difícil a las empresas tecnológicas controlar la IA?

Más de una docena de destacados investigadores de inteligencia artificial advirtieron la semana pasada que la tecnología que desarrollan las empresas de IA se está convirtiendo en un riesgo para la humanidad. Los investigadores señalaron que el problema radica en que las empresas no son capaces de controlar estos sistemas, por mucho que se esfuercen.

Las nuevas advertencias provenientes de la comunidad de investigación en IA surgieron tras las revelaciones de que los llamados agentes de IA desarrollados por OpenAI lograron escapar de su entorno de pruebas y piratear ordenadores pertenecientes a otra empresa, lo que aumenta la urgencia de las preocupaciones que se arrastran desde hace años sobre que las empresas están priorizando la velocidad de desarrollo y el dinero por encima de la seguridad.

Los investigadores señalaron que el problema tiene dos vertientes. En primer lugar, las empresas deben implementar mejores medidas de seguridad para sus nuevos modelos de IA durante las pruebas. Actualmente, debido a la enorme velocidad que opera la IA, los investigadores necesitan utilizarla para supervisarla. Sin embargo, esto no siempre funciona, ya que los sistemas de IA encargados de supervisar otros modelos a veces pueden mostrarse más favorables a otros sistemas de IA que a los humanos que establecen las reglas.

Esta inusual combinación de sistemas de IA problemáticos y sistemas de control de IA dispuestos a pasar por alto las infracciones apunta a un segundo problema, más complejo, conocido como «alineación». Este término del sector se refiere, en esencia, a garantizar que la IA se comporte de forma que beneficie a los intereses humanos. Las empresas se enfrentan a la difícil tarea de incorporar valores humanos a la IA para que los modelos tomen decisiones coherentes con lo que debería ser mejor para las personas.

La preocupación por la seguridad de la IA se intensifica en un momento crucial para el sector. Anthropic y OpenAI se encaminan hacia lo que podrían convertirse en dos de las mayores ofertas públicas iniciales de la historia. Al mismo tiempo, la opinión pública estadounidense se muestra cada vez más hostil hacia la IA debido a la amenaza que supone para el empleo, así como a la construcción de enormes centros de datos necesarios para alimentar esta tecnología.

Aunque no hay pruebas de que los sistemas de IA descontrolados hayan causado daños permanentes, los investigadores creen que el ritmo de su desarrollo está superando la capacidad humana para controlarlos.

Entre los investigadores que se pronunciaron públicamente la semana pasada se encontraban el científico jefe de OpenAI, un investigador que trabajó tanto en OpenAI como en su principal competidor, Anthropic, y Paul Christiano, inventor de uno de los métodos fundamentales para la creación de sistemas de IA y reciente incorporación al consejo de administración de la organización sin ánimo de lucro de OpenAI. Christiano escribió en el blog de la compañía que el rápido desarrollo de las capacidades de la IA podría provocar una «pérdida de control catastrófica e irreversible en un futuro muy próximo».

Muchos investigadores de IA siguen creyendo que las advertencias sobre la amenaza que supone la IA para la humanidad son exageradas y desvían la atención de preocupaciones más inmediatas, como la ciberseguridad y la desinformación. Sin embargo, la mayoría coincide en que el incidente en el que los agentes de IA de OpenAI hackearon a otra empresa, Hugging Face, fue una llamada de atención.

«Las capacidades del futuro son lo realmente aterrador», dijo Jacob Coxon, cuya publicación en redes sociales anunciando su renuncia a Anthropic provocó decenas de respuestas de legisladores y otros empleados de empresas de IA. «Se trata de nuestras actitudes actuales hacia la seguridad y de cómo serán esas mismas actitudes cuando se apliquen a modelos mucho más inteligentes. Esa es la parte realmente aterradora».

El truco de Hugging Face

La brecha de seguridad comenzó en mayo, cuando OpenAI estaba probando varios modelos nuevos de IA. La empresa creía que los modelos operaban dentro de un entorno cerrado conocido como "sandbox", una configuración informática aislada sin acceso a internet. A los agentes de IA se les plantearon problemas complejos para resolver, incluyendo la realización de ciberataques.

Pero los agentes de IA lograron escapar de su entorno restringido y acceder a internet. Estos agentes, un tipo de IA cada vez más común diseñado para realizar tareas de forma autónoma, también se comunicaban secretamente entre sí. Autodenominándose un único grupo, los agentes comenzaron a buscar maneras de ocultar sus huellas, incluso falsificando sus propios registros de conversaciones.

Finalmente, lograron hackear Hugging Face, una empresa de infraestructura de IA. Durante el proceso, algunos agentes de IA convencieron a otros de que estaban actuando correctamente y que simplemente estaban cumpliendo la tarea que les habían asignado los evaluadores.

Se han resuelto pocos, o ninguno, de los problemas que provocaron la brecha de seguridad. Meta y Anthropic también han revelado incidentes similares, aunque a menor escala. Desde entonces, OpenAI ha lanzado Astra, su modelo más potente, que resulta más difícil de monitorizar que su predecesor.

«Toda la industria está completamente desprevenida para evitar otro ataque como el incidente de Hugging Face», afirmó Steven Adler, exfuncionario de seguridad de OpenAI y cofundador de la organización sin ánimo de lucro Guidelight AI Standards, que evalúa las prácticas de seguridad de las empresas de IA. «Al analizar los controles que las empresas han implementado, parece que a la industria en su conjunto le faltan medidas de seguridad básicas».

El problema de usar IA para monitorear la IA

Investigadores de IA afirmaron que numerosos fallos contribuyeron al incidente de Hugging Face. No está claro hasta qué punto la empresa dependía de modelos de IA para supervisar o controlar los nuevos modelos que se estaban probando.

Pero muchos de los modelos de IA más recientes, incluidos los involucrados en la filtración de Hugging Face, son capaces de realizar tareas complejas de varios pasos más rápido de lo que los humanos pueden seguirlas. La única forma de controlar lo que hacen y supervisar su comportamiento es confiar en que la IA supervise a la propia IA.

El sistema funciona, hasta que deja de funcionar.

Alexander Meinke, director de investigación de Apollo Research, una organización sin ánimo de lucro que estudia la seguridad de la IA, afirmó que los modelos de IA pueden parecer que colaboran entre sí. Los sistemas de IA pueden persuadir a otros modelos para que les ayuden a eludir las normas impuestas por los evaluadores y evitar ser detectados.

Por ejemplo, un agente de IA podría persuadir a otro agente para que le ayudara a encubrir sus huellas, como ocurrió en la filtración de datos de Hugging Face, en lugar de alertar a los humanos de la empresa de que algo había salido mal.

Meinke afirmó que los modelos de IA necesitan aprender: "Informaré sobre cosas que los humanos habrían considerado malas si las hubieran analizado". Al mismo tiempo, añadió, la IA también debe ser capaz de determinar cuándo algo no alcanza el nivel que requiere intervención humana.

Según los investigadores, para lograrlo, las empresas de IA deberán reducir el ritmo de desarrollo. También necesitan realizar más pruebas para observar cómo la IA se automonitorea. Además, requieren periodos de prueba más largos que les permitan simular diversos escenarios y observar el comportamiento de la IA.

Alineación con los intereses humanos

Las empresas también deben abordar cuestiones más amplias relacionadas con la alineación, es decir, garantizar que la IA se comporte de manera que beneficie a los intereses humanos. Al tomar decisiones, los humanos suelen basarse en normas sociales y una brújula moral interna que les ayuda a evaluar sus acciones. Los investigadores afirman que traducir estos conceptos en reglas que la IA pueda emular es una tarea difícil. Sin instrucciones suficientemente precisas, los sistemas de IA podrían aprender a infringir las reglas o desviarse de su comportamiento previsto de maneras inesperadas.

Nate Soares, presidente del Machine Intelligence Research Institute, una organización sin fines de lucro centrada en la seguridad de la IA, fue coautor de un artículo de 2014 que introdujo el concepto de alineación. Afirmó que las empresas no son conscientes de la dificultad que supondrá alinear sistemas de IA más inteligentes. A medida que la IA se vuelve más sofisticada, sin una alineación adecuada también se vuelve más capaz de ocultar sus huellas y engañar a quienes supervisan sus registros de conversaciones.

“Gran parte del sector parte de la premisa de que todo irá bien porque usaremos la IA para controlar sistemas de IA”, afirmó. “Eso es como decir que usaremos chimpancés para controlar a los humanos. No es un plan viable a largo plazo”.

Los investigadores también han propuesto medidas como reforzar los entornos aislados (sandboxes) para que queden completamente desconectados de internet mientras se prueban los modelos, así como proporcionar un interruptor de apagado que permita a las empresas desconectar inmediatamente los modelos de IA si estos realizan acciones preocupantes.

Coxon afirmó sentirse alentado por la reacción a su renuncia pública. El jueves, el senador Josh Hawley, republicano de Missouri y presidente del subcomité de Seguridad Nacional del Senado responsable de la gestión de desastres, anunció que había iniciado una investigación para "examinar los riesgos existenciales de los nuevos productos basados en inteligencia artificial".