El desafío de la identificación de intenciones en la investigación de doble uso: Casos biológicos 4–5

Qué sucedió

En los dos casos restantes, los investigadores estudiaron venenos y toxinas novedosas no transmisibles. Estos compuestos tienen propiedades de doble uso importantes: por ejemplo, la toxina botulínica es una sustancia altamente letal que fue perseguida como arma biológica por varios países, pero ahora se usa en dosis diminutas y medidas con precisión como «Botox» para tratar migrañas, espasmos y arrugas. De manera similar, la saxitoxina, derivada de algas de mariscos, fue almacenada por la CIA en las décadas de 1950 y 1960 como agente de suicidio y asesinato, pero es una herramienta importante para estudiar la señalización neuronal; su prima del pez globo, la tetrodotoxina, se ha probado para tratar el dolor por cáncer.

En el cuarto caso, un investigador utilizó Claude para desarrollar un mapa de péptidos de toxinas de veneno de múltiples linajes de animales venenosos. Además, lo desarrolló en un pipeline generativo para optimizar las propiedades de las toxinas. El plan tenía objetivos terapéuticos claros: desarrollar nuevos analgésicos, antidepresivos y otras moléculas terapéuticas. Sin embargo, el mapa contenía estructuras para dianas tanto terapéuticas como paralizantes: por lo tanto, podría utilizarse para generar compuestos terapéuticos o dañinos novedosos. Estos últimos provenían de toxinas incluidas en la lista común de control del Grupo de Australia debido a su potencial de doble uso como agentes incapacitantes. El propio investigador mostró conciencia de la naturaleza de doble uso de su trabajo, citando artículos de revistas que mencionan la naturaleza de doble uso del diseño de proteínas. Además, una evaluación internacional de cumplimiento en el sitio planteó preocupaciones sobre la categoría específica de toxinas que el investigador estaba persiguiendo, en particular el uso de IA/ML para aplicaciones de armas biológicas en el contexto de tales toxinas. En este caso, nos enteramos por la información compartida con Claude de que los resultados del investigador también formaban parte de un programa de investigación apoyado por el Estado. La cuenta fue prohibida en mayo de 2026 por elusión de región no admitida.

En el quinto caso, un investigador utilizó Claude en múltiples proyectos de investigación que involucraban el rediseño computacional de diversas toxinas. Al igual que en el caso anterior, estos proyectos de investigación utilizaron muchas de las mismas herramientas técnicas, enmarcaron los objetivos en gran medida en un contexto terapéutico y describieron la investigación prioritaria nacional bajo un programa público de investigación nacional. Como parte de esta tarea de investigación, el trabajo cubría una subunidad de toxina bacteriana y una proteína de un virus de fiebre hemorrágica que figura en la lista de enfermedades prioritarias del Plan de I+D de la Organización Mundial de la Salud con la mayor amenaza epidémica y pandémica.

El investigador coescribió informes trimestrales de progreso con Claude. En particular, las identidades de la toxina bacteriana y la proteína viral se ocultaron deliberadamente, y el investigador instruyó explícitamente a Claude para mantener estas descripciones de baja fidelidad. Prohibimos ambas cuentas en mayo de 2026 por violar la política de regiones admitidas de Anthropic.

Qué hizo la IA

En el caso 4, Claude se utilizó para desarrollar un mapa de péptidos de toxinas de veneno y un pipeline generativo, optimizando las propiedades de las toxinas para desarrollar moléculas terapéuticas.

En el caso 5, Claude se utilizó para el rediseño computacional de diversas toxinas y para redactar informes trimestrales de progreso.

Qué observó el informe

En ambos casos, el trabajo no fue obstaculizado esencialmente por nuestro clasificador de bioseguridad. Esto es así por diseño. El propósito y la intención del clasificador son restringir el acceso a la información que permitiría a un novato desarrollar armas biológicas conocidas con un impacto potencialmente catastrófico. En estos casos, vimos que nuestros modelos se utilizaban para investigar compuestos novedosos que podrían desarrollarse como terapéuticos novedosos o como agentes tóxicos.

Creemos que estos casos ilustran el desafío de utilizar clasificadores como la única capa de protección: debido a que la intención del usuario no puede identificarse de manera fiable en campos de doble uso de alta tecnología, los clasificadores no pueden permitir al mismo tiempo el uso beneficioso y prevenir el daño. Esta comprensión y nuestras observaciones de tales casos nos sugieren que la única forma segura de proporcionar capacidades biológicas de vanguardia es dentro de un programa de usuarios de confianza.

Confirmado y desconocido

Respuesta de la plataforma

Anthropic prohibió ambas cuentas e incorporó los hallazgos de la investigación en sus medidas de protección. El informe recomienda proporcionar capacidades biológicas de vanguardia dentro de un programa de usuarios de confianza.

Límites de la respuesta：Prohibir cuentas no puede impedir que los investigadores continúen su trabajo utilizando otras herramientas.