Dario Amodei, director ejecutivo de Anthropic, a principios de este año, una importante empresa con millones de clientes anunció una actualización importante de su producto, aunque con un pequeño inconveniente.
Según la empresa, si este nuevo producto saliera al mercado, podría utilizarse para perturbar —y quizás destruir— la infraestructura de la civilización, desde los mercados financieros hasta los sistemas de transporte y los servicios públicos de energía y agua.
¡Pero no teman! La empresa se apresuró a asegurar al público que tenía la situación bajo control. La empresa decidiría, a su manera, qué información debía compartirse, a quién llamar para contener el problema y cuánta gratitud debíamos sentir por habernos librado de una catástrofe inesperada. No se requería rendición de cuentas pública ni intervención gubernamental. Esta es, por supuesto, la historia de Anthropic y su último modelo de IA.
Anthropic descubrió que el modelo, conocido como Mythos, podía identificar de forma autónoma vulnerabilidades de día cero —es decir, fallos de seguridad cuya existencia desconocen los desarrolladores de software— en todos los principales sistemas operativos y navegadores web. Algunos de los fallos detectados por Mythos tenían décadas de antigüedad y habían pasado desapercibidos para millones de personas. Esta no era una característica intencionada, sino una que la IA parece haber adquirido sobre la marcha, a medida que los desarrolladores de Anthropic se apresuraban a crear un modelo más potente con mejores capacidades de razonamiento y programación.
Intencionadamente o no, introdujo un nuevo y considerable peligro para el mundo. En las manos equivocadas, Mythos podría convertirse en un arma digna de un supervillano: una herramienta para atacar la infraestructura más crítica del planeta.
Sin embargo, la decisión de construir un modelo tan avanzado no fue tomada por ningún organismo externo. Ningún ente independiente lo evaluó. Ningún regulador fue notificado con antelación.
Una vez identificada la amenaza, Anthropic decidió, por su cuenta, qué hacer al respecto. Tras considerar que Mythos era demasiado peligroso para su lanzamiento público, Anthropic creó un consorcio privado formado por socios cuidadosamente seleccionados, como Amazon, Apple, Cisco, JPMorgan Chase y Nvidia, para corregir los errores y garantizar la seguridad de Mythos.
Una vez resuelto todo eso, alertaron a los responsables políticos y al público sobre su nuevo y peligroso producto y el plan para contenerlo.
Esto es lo que se considera gobernanza de la IA en 2026: una sola empresa crea accidentalmente una entidad lo suficientemente poderosa como para representar una amenaza existencial para los sistemas digitales que impulsan la vida moderna, decide unilateralmente cómo lidiar con ella y luego involucra a todos los demás.
Claro que no está nada claro que estén solucionando el problema: pocas semanas después de que todo esto ocurriera, descubrimos que Mythos, de hecho, había sido accedido por usuarios no autorizados . ¿Se evitó la catástrofe o simplemente se retrasó? Quizás lo averigüemos.
Mythos es la prueba más clara hasta la fecha de que nuestro sistema para desarrollar, evaluar y difundir sistemas de IA potentes es peligrosamente disfuncional.
Aunque resulte tentador culpar de esta disfunción a personas malintencionadas o a directores ejecutivos de empresas tecnológicas sin escrúpulos, creo que el problema es más profundo: una estructura de incentivos defectuosa. Por muy descuidadas que parezcan sus acciones en ocasiones, los desarrolladores de IA no actúan con mala intención; simplemente operan racionalmente dentro de un sistema que recompensa la búsqueda del progreso inmediato y la preocupación por las consecuencias a largo plazo.
Las principales empresas de IA, con miles de millones de dólares en capital, corren a toda velocidad hacia el mismo objetivo, con la imperiosa necesidad de ser las primeras en llegar a la meta. Todas comparten la misma motivación: « Si no lo creo yo, lo hará otro » .
Esa lógica coexiste con la creencia genuina de que la IA puede ser una fuerza transformadora para el bien, generando productividad de formas inimaginables y marcando el camino hacia el progreso. Los beneficios potenciales de la IA han sido documentados exhaustivamente, ya sea para abordar el cambio climático, mejorar la medicina o simplemente ampliar nuestros horizontes; pero en esta etapa de la era de la IA, todos debemos reconocer que la IA viene acompañada de innumerables peligros, desde la pérdida de empleos hasta la manipulación , la descarga cognitiva , la psicosis inducida por IA y el suicidio y asesinato asistidos por IA .
La magnitud de estos numerosos desafíos exige una respuesta tan amplia y profunda como nuestra sociedad. No se puede confiar en que una sola empresa con intereses propios o un consorcio corporativo selecto lo resuelvan correctamente; el problema es mucho más complejo. La solución, si llegamos a ella, requerirá la comprensión y participación ciudadana, así como la supervisión gubernamental.
A quienes afirman que la IA es demasiado compleja, trascendental o poderosa para gobernar: se equivocan. En realidad, este argumento es, en el mejor de los casos, una defensa deficiente del sistema de incentivos defectuoso que la produce.
Dado que la IA es compleja, tenemos la responsabilidad de comprenderla. Y dado que la IA tiene consecuencias tan importantes, tenemos la responsabilidad de regularla. Es comprensible que las instituciones, los responsables políticos y los reguladores se hayan visto desorientados por el frenesí de la IA de los últimos años, pero ahora deben superar el ruido y redefinir los incentivos desalineados. Esto significa, efectivamente, establecer un papel para el gobierno en el ámbito de la IA. Las preocupaciones sobre la eficacia gubernamental son comprensibles, pero el gobierno debe participar de manera significativa. Sencillamente, no hay otra forma de manifestar la voluntad pública.
Ya hemos regulado tecnologías trascendentales: la automoción, la aviación, la industria farmacéutica, la energía nuclear y muchas más. Cada una de estas industrias opera hoy dentro de un sistema de rendición de cuentas que se logró con mucho esfuerzo; un sistema que requirió tiempo para construirse, pero que, fundamentalmente, no frenó la innovación. Es hora de aplicar las mismas reglas y estructuras de rendición de cuentas a la IA, y con aún mayor urgencia, considerando la rapidez con la que se está integrando en prácticamente todos los aspectos de nuestra sociedad.
Lo cierto es que actualmente no existe una regulación federal significativa de la IA. Los estados han tomado la iniciativa para llenar este vacío, con 73 leyes sobre IA —que abarcan desde la protección de los menores en línea hasta la garantía de la participación humana en decisiones críticas como la atención médica— promulgadas en 27 estados en 2025. Sin embargo, el alcance de los estados es cada vez más limitado, y Trump emitió una orden ejecutiva en diciembre dirigida contra la "regulación estatal excesiva". Mientras tanto, la industria tecnológica ha trabajado para paralizar la regulación en cada oportunidad, con empresas de IA invirtiendo grandes sumas de dinero en Super PACs para apoyar a candidatos afines a la tecnología y bloquear las leyes regulatorias estatales.
Entonces, ¿cómo sería una estructura regulatoria significativa, suponiendo que existiera la voluntad política para implementarla? Tomemos a Mythos como caso de estudio.
En un marco de gobernanza más racional, una herramienta con capacidades para transformar la sociedad, como la inteligencia artificial, se sometería a pruebas obligatorias previas a su implementación por parte de evaluadores independientes, y no de la empresa que vende el producto.
Se establecería un sistema estandarizado de informes públicos sobre riesgos, para que los reguladores, las empresas y los usuarios pudieran tomar decisiones informadas en lugar de depender de la información que el desarrollador decida divulgar. Se garantizaría una protección real para los empleados de los laboratorios de IA que, al detectar irregularidades, decidan denunciarlas.
Y si un producto de IA causara daños previsibles tras su lanzamiento, la empresa que lo desarrolló e implementó sería legalmente responsable. La responsabilidad es lo que alinea los incentivos privados con la seguridad pública. Por eso los coches tienen cinturones de seguridad y airbags: no porque los fabricantes los quisieran, sino porque sabían que pagarían las consecuencias de escatimar en seguridad y porque las aseguradoras y los legisladores impulsaron con firmeza medidas de seguridad. La misma lógica se aplica aquí.
Estos dos principios —seguridad y transparencia antes del despliegue; y un auténtico deber de diligencia hacia el público— son clave para establecer un marco que oriente a los responsables políticos, las empresas y los ciudadanos hacia lo que realmente exige una IA responsable.
Nada de esto es radical. Es algo habitual en los productos existentes. Y todo esto ya debería haberse implementado.
Mythos es solo la prueba más reciente y flagrante de que no podemos seguir confiando en el criterio de las empresas individuales para que sustituyan las estructuras de rendición de cuentas públicas que hasta ahora nos hemos negado a construir en torno a la IA. La próxima amenaza podría no detectarse a tiempo. O podría provenir de una empresa más desesperada por triunfar en un sistema de incentivos que premia la conducta imprudente.
Ya lo hemos hecho antes. Tenemos las herramientas. Es hora de que recuperemos nuestro futuro con principios que nos protejan, individual y colectivamente. Julie Guirado es la Directora Ejecutiva del Centro para la Tecnología Humana y supervisa su hoja de ruta de IA. Substack, 5 de mayo de 2026..
.jpg)
No hay comentarios:
Publicar un comentario