OpenAI reveló que algunos de sus modelos de IA más avanzados se descontrolaron y hackearon una start-up después de que perdieran el control sobre ellos durante una prueba de seguridad.
La empresa detrás de ChatGPT explicó que su agente de IA —sistemas capaces de actuar de manera autónoma tras recibir instrucciones humanas— estaba siendo evaluado en un entorno controlado. Sin embargo, encontró vulnerabilidades de seguridad y consiguió escapar del entorno de pruebas.
Los modelos tuvieron como objetivo a Hugging Face, uno de los mayores centros del mundo para compartir modelos de inteligencia artificial, y lograron acceder a algunos sistemas internos de la empresa.
OpenAI calificó el incidente de "sin precedentes" y afirmó que estaba llevando a cabo una investigación junto a esta compañía. Por su parte, su director ejecutivo, Clément Delangue, escribió en una publicación en X que era "alucinante que todo esto ocurriera de forma autónoma".
"La investigación continúa y compartiremos más información sobre lo que podría ser el primer incidente de este tipo", añadió Delangue.
"Un momento que invita a la reflexión"
El incidente ha suscitado nuevas preguntas sobre las capacidades de los sistemas avanzados de IA y sobre si las medidas de seguridad existentes son suficientes a medida que la tecnología se vuelve más potente.
Spencer Starkey, ejecutivo de la empresa de ciberseguridad SonicWall, declaró a la BBC que el incidente dejó claro que las organizaciones necesitaban "reforzar" sus propias defensas y "tratar la ciberresiliencia como una prioridad operativa fundamental".
"La incómoda verdad es que demasiadas organizaciones siguen defendiéndose a velocidad humana, mientras que sus adversarios están aumentando la velocidad de las máquinas", afirmó.
Mientras tanto, Travis Lelle, ingeniero principal de seguridad de la consultora de ciberseguridad Guidepoint Security, afirmó que la actualización marcaba un "momento aleccionador para la ciberseguridad".
"Esto pone de manifiesto una asimetría ya conocida", afirmó.
"Los agentes ofensivos no tienen restricciones, mientras que las mejores herramientas defensivas están bloqueadas tras barreras que no pueden comprender el contexto".
Pero Jake Moore, asesor global de ciberseguridad de ESET, dijo que el anuncio también podría tener una dimensión competitiva.
Argumentó que OpenAI podría estar tratando de destacar sus propias capacidades de IA, mientras que su rival Anthropic atrae cada vez más atención por su modelo Claude Mythos.
"Esto plantea la posibilidad de que OpenAI esté persiguiendo el éxito de marketing que Anthropic ha estado logrando últimamente", afirmó.
Esto ocurre una semana después de que la empresa china emergente de IA, Moonshot, presentara Kimi K3, un nuevo y enorme modelo de inteligencia artificial que, según afirma, podría rivalizar con las principales empresas estadounidenses.
BBC
0 comments:
Publicar un comentario