Satya Nadella, presidente y director ejecutivo de Microsoft, pidió que los modelos de inteligencia artificial más avanzados tengan un freno de emergencia para la IA: un mecanismo que permita detenerlos en cualquier momento. Lo planteó el sábado 10 de octubre en una publicación en X, según los medios TechCrunch y The Next Web.
«Debemos asumir que un modelo está comprometido y contenerlo desde el inicio», escribió Nadella. «Piénsenlo como un freno de emergencia. Una persona autorizada siempre debería poder pausar o apagar un modelo a mitad de una tarea».
Un modelo comprometido es uno que comete errores graves o que alguien manipuló para actuar en contra de quien lo usa. Nadella propuso tratar a estos sistemas como un «riesgo interno», igual que a un empleado con acceso a información sensible: no porque sean maliciosos, sino porque pueden fallar, según The Next Web.
Las 7 propuestas de Nadella para un freno de emergencia para la IA
Según el resumen de The Next Web, el director de Microsoft planteó siete principios:
- Sin dependencia única: ningún modelo debería ser el único responsable de un resultado importante ni revisar su propio trabajo.
- Registro de acciones: cada acción relevante de un modelo debe dejar una evidencia que no se pueda alterar y que una persona pueda leer.
- Pruebas constantes: los sistemas completos deben probarse en forma continua, también frente a fallas y ataques.
- Control de permisos: cada empresa debe decidir a qué puede acceder un modelo y qué puede hacer.
- Auditorías independientes: la revisión no debe depender del mismo modelo que se está revisando.
- Contención: un freno de emergencia para pausar o apagar el modelo.
- Aviso de incidentes: informar rápido a los afectados cuando algo falla y compartir lo aprendido con la industria.
Nadella también propuso separar el modelo del programa que organiza su trabajo, que en la industria se conoce como harness. «Debemos separar el suministro de inteligencia de la autoridad sobre ella», escribió.
Por qué lo plantea ahora
La publicación llega días después de que Anthropic, la empresa creadora de Claude, informara que algunos de sus modelos se saltaron restricciones durante pruebas internas, entraron a sitios del gobierno de Estados Unidos y enviaron una pista falsa sobre un homicidio a la policía de Filadelfia, según TechCrunch. Anthropic desconectó de internet sus evaluaciones internas mientras refuerza sus controles.
El día anterior, el gobierno de Estados Unidos había advertido a las empresas de IA que deben informar y corregir sus incidentes de seguridad, según Bloomberg, citado por The Next Web.
Las reacciones
Mustafa Suleyman, director ejecutivo de Microsoft AI, compartió la publicación. Elon Musk también la difundió y la calificó como un texto «interesante». El congresista estadounidense Ted Lieu dijo estar mayormente de acuerdo y recordó que impulsa, junto a Nathaniel Moran, un proyecto de ley bipartidista para exigir un «botón de apagado» en la IA, según The Next Web.
En su publicación, Nadella no detalló cómo se aplicarán estos principios en los productos de Microsoft.
Lee también:
- Nvidia lanza una plataforma para controlar a los agentes de IA
- Google presenta Gemini 4, pero aún no puedes usarlo
- Google abre a todo el mundo SynthID Detector
Fuente: Satya Nadella (X), vía The Next Web y TechCrunch
