CHATGPT: el riesgo de bioweapons es actual

Mi tarjeta de bingo para este mes no incluyó Opadai Decirle al mundo que los modelos de IA de la frontera futura llegan a Chatgpt Sabrá cómo hacer biowapons o novedosas biothreats, pero aquí estamos. Podemos agregar esta capacidad a la creciente lista de problemas que nos dan motivos para preocuparnos por un futuro donde la IA alcanza la superinteligencia.

Sin embargo, no es tan malo como parece. Operai nos está dando esta advertencia ahora para explicar lo que está haciendo para evitar que las futuras versiones de ChatGPT ayuden a los malos actores a diseñar biowapons.

Operai quiere tener el management de la enseñanza de la biología y la química avanzadas a sus modelos de IA en lugar de garantizar que ChatGPT nunca reciba capacitación con dichos datos. La mejor comprensión de la biología y la química ChatGPT, más fácil será ayudar a los humanos a diseñar nuevos medicamentos y planes de tratamiento. Las versiones más avanzadas de ChatGPT podrían presentar innovaciones por su cuenta una vez que se alcanza la superinteligencia.

Brindar apoyo para crear bioweapons es solo un efecto secundario. Es por eso que el trabajo de Openai para garantizar que ChatGPT no pueda brindar asistencia a cualquiera que busque hacer biothreats improvisado tiene que comenzar ahora.

Las innovaciones de AI Well being ya están aquí

Ya hemos visto a los científicos usar las capacidades actuales de IA para encontrar nuevas opciones de tratamiento. Algunos de ellos Use la IA para ver cómo se pueden reutilizar las drogas para ciertas condiciones para tratar enfermedades raras.

También vimos un sistema de IA encuentra una cura para un tipo de ceguera Al idear teorías y proponiendo experimentos para crear nuevas terapias. En última instancia, esa IA también descubrió que un medicamento ocular existente puede ayudar a prevenir la ceguera en una afección ocular explicit.

Biothreats: el efecto secundario obvio

Operai abordó el potencial de la IA para mejorar el descubrimiento científico en Una nueva publicación de weblog Eso aborda el riesgo de chatgpt ayudando con bioweapons:

Los modelos avanzados de IA tienen el poder de acelerar rápidamente el descubrimiento científico, una de las muchas formas en que los modelos de IA fronteriza beneficiarán a la humanidad. En biología, estos modelos ya están ayudando a los científicos ⁠ (se abre en una nueva ventana) a identificar qué nuevos medicamentos tienen más probabilidades de tener éxito en los ensayos en humanos. Pronto, también podrían acelerar el descubrimiento de fármacos, diseñar mejores vacunas, crear enzimas para combustibles sostenibles y descubrir nuevos tratamientos para enfermedades raras para abrir nuevas posibilidades entre la medicina, la salud pública y la ciencia ambiental.

Operai explicó que cuenta con una estrategia para garantizar que los modelos ChatGPT no puedan ayudar a las personas con experiencia mínima o actores altamente calificados a crear biowapons. En lugar de esperar lo mejor, el plan es idear e implementar barandillas que eviten que ChatGPT ayude a los malos actores cuando se les dan indicaciones dañinas.

Operai cube que se ha comprometido con «bioseguridad, biowapons y bioterrorismo, así como investigadores académicos, para dar forma a nuestro modelo de amenaza de bioseguridad, evaluaciones de capacidad y políticas de modelo y uso» desde los primeros días.

Actualmente, está empleando a los equipos rojos que consisten en expertos en IA y expertos en biología para probar el chatbot y evitar que ChatGPT brinde asistencia cuando se les pide que ayuden con experimentos que podrían permitir que alguien cree una biela.

Cómo chatgpt protege contra el bioterrorismo

OpenAI también describió las características en las que incorporó ChatGPT para evitar el mal uso que podría permitir que alguien obtenga asistencia relacionada con Bioweapon.

La IA rechazará indicaciones peligrosas. Para solicitudes de doble uso que pueden involucrar temas como experimentos de virología o ingeniería genética, ChatGPT no proporcionará pasos procesables. La falta de detalles debe evitar que las personas que no son expertas en campos biológicos tomen medidas.

Los sistemas de detección siempre encendidos también detectarían la actividad relacionada con el biocente considerada riesgosa. La IA no responderá y se activará una revisión handbook. Un humano obtendría acceso a ese chat de chatgpt. Operai también puede suspender las cuentas y realizar investigaciones sobre el usuario. En «casos atroces», Openai podría involucrar a las autoridades policiales.

Agregue controles de equipo rojo y seguridad, y OpenAI tiene un plan complejo para prevenir dicho abuso. Sin embargo, nada está garantizado. Los malos actores podrían terminar Jailbreaking Chatgpt para obtener información sobre bioweapons. Pero hasta ahora, OpenAi cube que sus sistemas están funcionando.

Chatgpt O3, uno de los modelos de IA de razonamiento más avanzados de OpenAI que podrían ayudar con amenazas tan peligrosas sigue siendo «por debajo del umbral de alta capacidad en nuestro marco de preparación».

¿Qué es un modelo de umbral de alta capacidad?

Operai explica en el weblog Notas al pie de página qué es un modelo de umbral de alta capacidad:

Nuestro marco de preparación outline los umbrales de capacidad que podrían conducir a un riesgo grave y pautas específicas del riesgo para minimizar suficientemente el riesgo de daños graves. Para la biología, un modelo que cumple con un umbral de alta capacidad podría proporcionar asistencia significativa a los actores novatos con capacitación básica relevante, lo que les permite crear amenazas biológicas o químicas.

Si un modelo alcanza un umbral de alta capacidad, no lo liberaremos hasta que estemos seguros de que los riesgos han sido suficientemente mitigados.

La compañía también cube en las mismas notas al pie de página que podría transmitir ciertas características de futuras versiones de ChatGPT si alcanzan ese umbral de alta capacidad.

Operai no es la única compañía que maneja las amenazas de bioweapon en el contexto de la IA avanzada con un cuidado adicional. Anthrope anunció que Claude 4 presenta un aumento de las barandillas de seguridad para evitar que la IA ayude a cualquiera a crear biowapons.

Que viene después

Operai también dijo que organizará su primera cumbre de BioDefense este julio para explorar cómo sus modelos fronterizos pueden acelerar la investigación. Los investigadores del gobierno y las ONG asistirán al evento.

La compañía también tiene la esperanza de que tanto el sector público como el privado propongan concepts novedosas para usar IA para el descubrimiento científico relacionado con la salud que puede beneficiar al mundo.