Detenme si ya has escuchado esto antes: una empresa tecnológica afirma haber desarrollado una nueva inteligencia artificial (IA) tan poderosa que resulta aterradora.
Al parecer, es demasiado peligrosa para ser lanzada al mundo; las consecuencias serían catastróficas.
Por suerte para nosotros, la mantendrán bajo llave por el momento. Solo querían que lo supieras.
Eso es exactamente lo que la empresa de IA Anthropic nos está diciendo sobre su último modelo: Claude Mythos.
La compañía asegura que la capacidad de Mythos para detectar fallos de ciberseguridad supera con creces la de los expertos humanos, y que esta tecnología podría tener consecuencias capaces de alterar el orden mundial si cayera en las manos equivocadas.
Que alguien me detenga
Un portavoz de Anthropic me comentó que la empresa ha sido clara con respecto a estas cuestiones.
Compartieron entradas de blog de otras organizaciones que respaldaban las capacidades cibernéticas de Mythos, pero no dijeron nada para abordar los puntos planteados en este artículo, salvo un comentario que incluiré más adelante.
Esta no es la primera vez que el director de Anthropic, Dario Amodei, trabaja en una herramienta que la propia empresa de la que es parte declaró demasiado peligrosa para el público.
En 2019, cuando Amodei era ejecutivo en OpenAI, la compañía anunció GPT-2.
Él y otros líderes de la empresa afirmaron que simplemente no podían lanzar GPT-2 debido a "preocupaciones sobre las aplicaciones malintencionadas de la tecnología".
Se trataba de una herramienta mucho menos sofisticada que ChatGPT.
Y, meses después, la lanzaron de todos modos (el director ejecutivo de OpenAI, Sam Altman, publicó una entrada de blog en la que afirmó que la empresa asume la incertidumbre, aunque dijo que los temores en torno a GPT-2 estaban "fuera de lugar").
Altman criticó el "marketing basado en el miedo" de Anthropic en una reciente entrevista en un podcast. Sin embargo, su propia estrategia de "he creado un monstruo" se remonta a años atrás.
"Es muy probable que la IA conduzca al fin del mundo, pero, mientras tanto, surgirán grandes empresas", dijo Altman en 2015.
Años más tarde, Altman sostuvo que pierde el sueño preguntándose si "ha hecho algo realmente malo al lanzar ChatGPT".
Si tan solo alguien le hubiera advertido.
¿Es Mythos realmente tan perjudicial?
Anthropic asegura que su nuevo modelo ya ha detectado miles de vulnerabilidades de "alta gravedad" en todo el panorama tecnológico, alcanzando un nivel de eficacia que supera al de los expertos humanos.
Asimismo, anunció una nueva alianza con más de 40 empresas y colectivos en un "intento urgente" por subsanar dichas vulnerabilidades antes de que los hackers tengan oportunidad de explotarlas.
Un portavoz de la empresa señaló que Anthropic ha buscado de forma intencional alianzas con organizaciones para reparar los sistemas informáticos básicos que concentran la mayor parte del problema.
No obstante, existen serias dudas en torno a dichas afirmaciones. Heidy Khlaaf, científica jefe de IA en el Instituto AI Now, dice que esto no le sorprende.
Khlaaf ha dedicado toda su carrera profesional a desarrollar y auditar, precisamente, el tipo de herramientas de análisis de código que Anthropic asegura haber superado.
Además, ha trabajado en el ámbito de la seguridad digital en instalaciones nucleares.
Khlaaf afirma que la mayor señal de alarma fue la ausencia de datos sobre las tasas de falsos positivos: una métrica estándar en la industria que indica con qué frecuencia una herramienta de seguridad señala algo que no constituye un problema real.
¿Por qué tan grave?
Evitar el fin del mundo es, según afirman, la razón misma de la existencia de OpenAI y Anthropic.
OpenAI se fundó como una organización sin fines de lucro, con la promesa de desarrollar la IA de manera segura antes de que gigantes tecnológicos supuestamente menos responsables —como Google y Meta— se les adelantaran.
Más tarde, un grupo disidente abandonó OpenAI para fundar Anthropic y alegó que su antiguo empleador no estaba lo suficientemente comprometido con la seguridad.
Ahora, ambas organizaciones trabajan para convertirse en empresas de capital abierto y vender acciones en el mercado bursátil.
"Si quieres entender cómo se comportará una organización —y, en particular, una corporación—, fíjate en cuáles son sus incentivos", señala Vallor.La utopía y el apocalipsis son solo las dos caras de la misma moneda, según Vallor.
"En cualquiera de los dos casos, la escala es demasiado grandiosa y mítica como para que elementos como la regulación, la gobernanza o el derecho parezcan herramientas con las que se pueda ejercer un control efectivo", afirma.
"Esto lleva a la gente a creer que lo único que pueden hacer es sentarse a esperar para averiguar si estas tecnologías resultan ser demonios que acaban con la civilización o mesías que nos regalan una utopía", añade.
Incluso el nombre "Mythos" parece diseñado para inspirar un asombro de carácter casi religioso.
Pero no se trata de dioses; son productos creados por empresas con fines de lucro, indica Vallor.
Y hemos regulado cosas mucho más amenazantes que los chatbots.
"Con cualquier otra tecnología —salvo con esta; incluso con la energía nuclear o las armas biológicas—, en ningún otro caso hemos permitido que estas narrativas nos hagan creer que estamos ante fuerzas que escapan al control humano", dice.
"Nada en ellas es ingobernable. A menos que decidamos no gobernarlas", continúa.
Seamos claros: es teóricamente posible que la IA acabe dominando el mundo.
No soy adivino, pero pregúntate a ti mismo: ¿te suena esta idea parecida a otras historias que has escuchado provenir de Silicon Valley en el pasado?
¿Acaso no se suponía que a estas alturas todos estaríamos viviendo en el Metaverso de Mark Zuckerberg?
¿No iba Bitcoin a sustituir a todas las monedas del mundo?
¿Recuerdas la década de 2010, cuando oíamos hablar de cómo las redes sociales salvarían la democracia?
Todas estas cosas aún podrían suceder. O tal vez no.
BBC
0 comments:
Publicar un comentario