La nueva función de creación de archivos AI de Claude envía con riesgos de seguridad profundas incorporadas
El investigador independiente de IA Simon Willison, revisando la función hoy en su weblog, anotado Ese consejo de Anthrope para «monitorear a Claude mientras usa la función» equivale a «externalizar injustamente el problema a los usuarios de Anthrope».
Mitigaciones de Anthrope
Sin embargo, Anthrope no ignora por completo el problema. La compañía ha implementado varias medidas de seguridad para la función de creación de archivos. Para los usuarios de Professional y Max, Anthrope deshabilitó el intercambio público de conversaciones que usan la función de creación de archivos. Para los usuarios empresariales, la compañía implementó el aislamiento de Sandbox para que los entornos nunca se compartan entre los usuarios. La compañía también limitó la duración de la tarea y el tiempo de ejecución del contenedor «para evitar bucles de actividad maliciosa».
Para los administradores de equipo y empresarial, Anthrope también proporciona una lista de los dominios que Claude puede acceder, incluidas API.anthrópica.com, Github.com, Registry.npmjs.org y pypi.org. La documentación establece que «Claude solo puede ser engañado en datos de fuga a los que tiene acceso en una conversación a través de las conexiones indicadas de un usuario particular person, proyecto o conexiones activadas».
La documentación de Anthrope afirma que la compañía tiene «un proceso continuo para las pruebas de seguridad continuas y el equipo rojo de esta característica». La compañía alienta a las organizaciones a «evaluar estas protecciones contra sus requisitos de seguridad específicos al decidir si habilita esta característica».
Inyecciones rápidas en abundancia
Incluso con las medidas de seguridad de Anthrope, Willison cube que será cauteloso. «Planeo ser cauteloso usando esta función con cualquier dato que no quiero filtrarme a un tercero, si existe la menor posibilidad de que una instrucción maliciosa se abre paso», escribió en su weblog.
Nosotros cubierto Una vulnerabilidad de inyección rápida potencial related con Claude para Chrome de Anthrope, que se lanzó como una vista previa de investigación el mes pasado. Para los clientes empresariales que consideran Claude para documentos comerciales confidenciales, la decisión de Anthrope de enviar con vulnerabilidades documentadas sugiere que la presión competitiva puede estar anulando las consideraciones de seguridad en la carrera armamentista de IA.
Ese tipo de filosofía de «enviarlo primero, asegurarlo más tarde» ha causado frustraciones entre algunos expertos en IA como Willison, que ha documentado ampliamente las vulnerabilidades de inyección rápida (y acuático el término). Él descrito recientemente El estado precise de la seguridad de la IA como «horrible» en su weblog, señalando que estas vulnerabilidades de inyección rápidas siguen siendo generalizadas «casi tres años después de que comenzamos a hablar de ellas».
En una advertencia presciente de septiembre de 2022, Willison escribió que «puede haber sistemas que no deben construirse en absoluto hasta que tengamos una solución robusta». ¿Su evaluación reciente en el presente? «¡Parece que los construimos de todos modos!»
