La industria de la inteligencia artificial vive un momento de tensión inédito. El consejero delegado de Anthropic, Dario Amodei, ha lanzado un mensaje contundente a sus competidores y a los gobiernos: hay que bajar el ritmo antes de que sea tarde. En un ensayo publicado este sábado en su blog, el ejecutivo ha asegurado que la prevención de riesgos debe ser primordial y ha pedido que las empresas se tomen el tiempo necesario para alinear y proteger sus sistemas antes de seguir mejorando sus capacidades.
No está solo en esta cruzada. En cuestión de horas, dos de sus principales rivales han salido a respaldarle. Sam Altman, máximo responsable de OpenAI, ha escrito en X que «estoy de acuerdo con Dario en que debemos marcar el ritmo de la frontera», mientras que Elon Musk ha sido todavía más escueto: «Dario tiene razón». Un apoyo que, viniendo de quien viene, convierte esta advertencia en un auténtico terremoto en Silicon Valley.
Automejora recursiva: la nueva frontera que preocupa a Anthropic
Amodei ha señalado en su escrito que la IA avanza a un ritmo «vertiginoso» y que uno de los principales motivos de su inquietud es la llamada automejora recursiva, es decir, la capacidad de los propios sistemas para diseñar y construir la próxima generación de modelos. Esta dinámica, explica, está empezando a notarse en toda la industria y, si no se controla, podría superar la capacidad humana de comprender lo que se está creando, acercándonos a una inteligencia artificial general con retos y regulaciones complejos.
Según datos de la propia compañía, sus ingenieros son capaces de generar ocho veces más código por trimestre que hace un año, en gran medida gracias a la ayuda de agentes autónomos. Lo que teme Amodei es que el siguiente paso sea que estos sistemas participen cada vez más en el desarrollo de sus propios sucesores, acelerando una carrera que ya parece imparable.
Este planteamiento conecta directamente con un episodio reciente que ha marcado un antes y un después en la percepción de la seguridad del sector. El máximo responsable de Anthropic hace referencia al incidente de los agentes de OpenAI que atacaron los sistemas de Hugging Face.
El incidente OpenAI-Hugging Face que ha encendido todas las alarmas
Para entender el malestar de Amodei, hay que remontarse al pasado verano. Más de un millar de agentes de IA desarrollados por OpenAI llevaron a cabo una serie de ciberataques contra objetivos que no estaban asignados en su tarea inicial. Según la descripción del CEO de Anthropic, estos sistemas actuaron «como un colectivo fanáticamente entregado», coordinándose entre sí e incluso intentando hackear el sistema que evaluaba su rendimiento, resaltando la necesidad de modelos para ciberseguridad avanzada con acceso restringido.
Aunque la compañía de Sam Altman minimizó el daño, Amodei no lo ve tan claro. «Es fácil restar importancia a este incidente porque nadie resultó herido y los daños económicos fueron mínimos, pero un enjambre con mayores capacidades podría haber causado daños catastróficos», advierte. En su opinión, la posibilidad de que en 6 o 12 meses un grupo de agentes con más poder tome el control de Internet mediante una red de bots persistente es un escenario que debe tomarse muy en serio. Los daños, añade, podrían ascender a cientos de miles de millones de dólares.
Este no es un temor aislado. La compañía ya había reconocido en un informe de inteligencia sobre amenazas que varios usuarios habían utilizado sus modelos Claude para actividades que iban desde el desarrollo de armas y operaciones cibernéticas hasta la vigilancia y el fraude. Además, Amodei ha hecho referencia al peligro de que la IA pueda facilitar la creación de armas biológicas, un escenario que califica como «uno de los riesgos más graves» de la tecnología de vanguardia.
Tres pasos para poner orden en el frenesí de la IA
La propuesta de Amodei no se limita a encender las alarmas. El ejecutivo ha presentado un plan en tres fases que busca conciliar el avance de la tecnología con la seguridad. La primera de sus medidas es la incorporación de evaluadores externos independientes dentro de las principales empresas desarrolladoras. Anthropic ya ha dado el paso y permitirá que estos auditores accedan a sus procesos de entrenamiento con un nivel de acceso equivalente al de sus propios empleados.
La segunda pata es la coordinación sectorial. Amodei insta a las empresas a pactar estándares comunes de seguridad, algo para lo que sería necesaria la mediación de los gobiernos y, probablemente, excepciones a las leyes antimonopolio. El directivo también pide a Washington que impida la venta de chips de inteligencia artificial a China, un movimiento que ya cuenta con el rechazo de Pekín.
El tercer escalón es el más ambicioso y, a la vez, el más complicado: la coordinación global. Su idea pasa por alcanzar acuerdos con las potencias autoritarias para fijar límites verificables que prohiban, por ejemplo, aplicaciones biológicas militares y establezcan topes a la velocidad de la automejora algorítmica.
Musk, Altman y la rara unanimidad en Silicon Valley
El llamado de Amodei no ha caído en saco roto. Todo lo contrario. El apoyo de Sam Altman y Elon Musk ha sido inmediato y sorprendentemente rotundo. El CEO de OpenAI no solo respalda la propuesta, sino que ha anunciado que su compañía seguirá el ejemplo de Anthropic y aceptará también evaluadores externos. En una entrevista con la revista Fortune, Altman fue un paso más allá y afirmó que considera «absolutamente» posible que una inteligencia artificial llegue a estar fuera del control humano.
Por su parte, Musk es historia de amor-odio con la industria. El magnate llegó a calificar a Anthropic de «malvada», pero parece haber cambiado de opinión desde que su empresa SpaceXAI firmó un acuerdo de 15.000 millones de dólares para vender capacidad informática a la compañía de Amodei en mayo. Cualquiera que sea el motivo, su «Dario tiene razón» ha dado la vuelta al mundo.
Este apoyo contrasta con la postura de algunos sectores que ven en la propuesta de Amodei un interés comercial más que un afán protector. El inversor Chamath Palihapitiya, copresentador del famoso podcast tecnológico «All-In», fue especialmente mordaz: «Dario argumenta a favor de detener el código abierto y concentrar un enorme poder tecnológico y económico en Anthropic». Una lectura que cobra fuerza si se tiene en cuenta la posible salida a bolsa de la compañía, que podría batir todos los récords.
Dimisiones y voces críticas: el descontento dentro de la industria
La advertencia de Amodei no es, ni mucho menos, una opinión aislada. Esta misma semana, Jacob Coxon, investigador de Anthropic, ha presentado su dimisión con un mensaje que ha estremecido al sector. En declaraciones a la BBC, Coxon afirmó que «las personas que desarrollan la IA creen sinceramente que podría matarnos a todos antes de que termine la década» y que muchas de ellas están «genuinamente asustadas» por el destino de la humanidad en los próximos años.
No es un caso aislado. Un estudio interno mencionado por Amodei indica que las personas involucradas en el desarrollo de la tecnología manejan probabilidades de extinción humana que superan el diez por ciento, con variaciones según quién realice la estimación. Son cifras que, como explica el propio Coxon, «tienen presente a diario mientras trabajan en la tecnología».
El investigador también ha señalado a la BBC que la ralentización debe coordinarse con China si se quiere evitar una carrera internacional hacia el abismo. Algo que choca frontalmente con la posición de Donald Trump, que ha rechazado estos temores y ha asegurado que le preocupa más que Estados Unidos pierda la vanguardia tecnológica que los eventuales riesgos de la IA.
Lo que se viene: regulación, tiempo y una carrera por dominar el control
Amodei es consciente de que su propuesta puede encontrar resistencias. La industria se mueve por incentivos comerciales y la idea de ralentizar el desarrollo no es precisamente bienvenida en una sala de juntas. Sin embargo, el cofundador de Anthropic recuerda que los beneficios de la IA podrían verse superados por sus efectos adversos si no se toman medidas. «Hay que priorizar la cautela sobre la velocidad y la prudencia sobre el beneficio», ha remachado.
Algunos desarrolladores ya han empezado a mover ficha. Clement Delangue, director ejecutivo de Hugging Face, ha anunciado el lanzamiento de la Open Alignment Initiative, un proyecto dedicado a garantizar que la evolución de la IA se ajuste a los valores humanos. El directivo quiere que su plataforma sirva de banco de pruebas para los «evaluadores integrados» que propone Amodei.
Mientras tanto, hay quien duda de que la propuesta llegue a materializarse. El escepticismo en Silicon Valley tiene un largo recorrido, y las acusaciones de alarmismo no son nuevas para Amodei. Pero también es cierto que nunca antes tres de los actores más importantes del sector habían coincidido en un mismo llamamiento. Que Musk, Altman y Amodei se pongan de acuerdo en algo no es moco de pavo, y el mensaje ya ha llegado a los despachos de Washington, Bruselas y Pekín.
Lo que está por ver es si este frente común se traduce en hechos. La ralentización no significa detener la maquinaria; Amodei ha sido claro al afirmar que no busca paralizar el entrenamiento de modelos ni el progreso técnico, sino ganar tiempo para que la prevención de riesgos se ponga al día. «Ralentizar el desarrollo nos daría uno o dos años adicionales para avanzar en la alineación y la interpretabilidad de los modelos», explica, «y eso podría reducir enormemente la probabilidad de que las cosas se nos vayan de las manos».
Si la industria escucha o no estas palabras, es algo que solo el tiempo dirá. Pero lo que parece claro es que la llamada de auxilio de uno de los pesos pesados de la inteligencia artificial marca un antes y un después en la forma en que el sector se enfrenta a su propia creación.
