Los adversarios impulsados por IA requieren defensas impulsadas por IA: The Cipher Transient
OPINIÓN – El uso de inteligencia synthetic por parte de los adversarios ha sido objeto de exhaustivas especulaciones. Nadie duda de que los delincuentes y los actores estatales abusarán de la tecnología, pero puede resultar difícil separar las exageraciones de la realidad. Aprovechando nuestra visibilidad única, Google Risk Intelligence Group (GTIG) ha podido rastrear el uso de la IA por parte de los actores de amenazas, pero el ritmo del cambio ha dificultado incluso pronosticar el futuro cercano. Sin embargo, ahora estamos viendo señales de nuevas evoluciones en el uso por parte de los adversarios y pistas de lo que puede suceder en el futuro cercano. Sin embargo, lo más importante es que existen oportunidades para que la IA defensiva nos ayude a gestionar estas amenazas futuras.
Evolución hasta ahora
En el transcurso de los últimos ocho años, GTIG ha observado que la actividad habilitada por la IA evolucionó desde un novedoso truco de fiesta hasta una herramienta básica en el cinturón de herramientas de los actores de amenazas. En los primeros días, detectamos actores maliciosos que adoptaban la tecnología incipiente para mejorar sus capacidades de ingeniería social y mejorar las operaciones de información. campañas. la capacidad de fabricar Los actores de amenazas abusaron rápidamente de texto, audio y video falsos. Por ejemplo, varios adversarios utilizan imágenes GAN de personas que no existen para crear personajes falsos en línea para ingeniería social o campañas de operaciones de información (esto niega el uso de fotografías reales en estas operaciones, que a menudo podrían frustrarse cuando se investiga la foto). Un pobre deepfake de Volodymyr Zelensky fue creado en un esfuerzo por convencer a los ucranianos de que había capitulado en las primeras horas de la invasión rusa a gran escala en 2022. Además, deepfakes supuestamente han sido utilizados en actividades estatales y criminales.
Al investigar el uso de Gemini por parte del adversario, tenemos una thought adicional de cómo se está utilizando la IA. apalancado. Hemos observado que los actores de amenazas utilizan Gemini para ayudarlos con una variedad de tareas, como realizar investigaciones y escribir código. Los actores iraníes lo han utilizado como ayuda con mensajes de error y para crear código Python para raspar sitios internet. También lo han utilizado para investigar vulnerabilidades, así como las organizaciones militares y gubernamentales a las que apuntan. Los actores norcoreanos también han intentado utilizar Gemini como ayuda con secuencias de comandos, desarrollo de carga útil y evasión de defensas. Además, los trabajadores de TI de la RPDC usar IA para crear currículums e identidades falsas.
Uno de los usos más interesantes de Gemini por parte de los actores de amenazas ha sido permitir un acceso más profundo durante las intrusiones. En estos casos, los actores del ciberespionaje del nexo con China parecen llegar a un cierto punto en una intrusión en el que necesitan asesoramiento técnico sobre la mejor manera de ejecutar el siguiente paso. Para ello, han buscado orientación sobre problemas como cómo registrar contraseñas en VMware vCenter o cómo firmar un complemento para Microsoft Outlook e implementarlo silenciosamente desde su posición dentro de una purple.
Sin embargo, Gemini no es una herramienta perfect para los actores de amenazas, ya que existen barreras de seguridad para evitar su abuso, frustrando muchos de sus casos de uso. Desafortunadamente, el mercado prison ahora ofrece sus propios modelos y herramientas relacionadas que no están obstaculizadas por barreras de seguridad y están diseñadas específicamente para actividades maliciosas. En la actualidad existen varias herramientas maduras que ofrecen ayuda con tareas como el desarrollo de malware, el phishing y la explotación de vulnerabilidades. Un tema común en estas herramientas es la capacidad de impulsar los esfuerzos de los menos capacitados técnicamente. actores.
Si bien algunos de estos casos de uso de IA son novedosos (como los deepfakes), la mayoría estaban disponibles anteriormente a través de otros medios o podían obtenerse con recursos suficientes. Se podrían editar imágenes, traducir correos electrónicos de ingeniería social y aprender habilidades a la antigua usanza. Hasta hace poco, no habíamos visto muchos casos de uso que pudieran cambiar las reglas del juego.
Si bien ya habíamos visto algunas muestras experimentales, el malware mejorado con IA apenas ha comenzado a ser adoptado por los actores de amenazas, y existe cierta evidencia de que puede ser un medio útil para evitar la detección. Sin embargo, también hay motivos para ser optimistas sobre las perspectivas de utilizar la IA para prevenir este tipo de actividad. Este agosto, el actor ruso de ciberespionaje utilizó en Ucrania malware que aprovecha un LLM APT28. Llamó a un LLM de código abierto a través de API para crear comandos sobre la marcha y evadir la detección estática. Recientemente vimos una variación de este tema por parte de otro actor como parte de los incidentes de la cadena de suministro del NPM. Ese malware utilizó interfaces de línea de comando LLM en la máquina de la víctima para permanecer debajo de la Radar. En el último caso, ningún proveedor de seguridad marcó el malware como malicioso en VirusTotal, pero, curiosamente, la función Code Perception de VirusTotal, una capacidad de LLM en sí misma, lo marcó como una «amenaza de seguridad grave». A medida que el malware mejorado con IA se vuelva más común, comprenderemos mejor qué se necesita para detenerlo y qué tan relevante será la IA para abordarlo.
El Cipher Transient aporta un contexto de nivel experto a historias de seguridad nacional y world. Nunca ha sido más importante entender lo que está sucediendo en el mundo. Actualice su acceso a contenido exclusivo al convertirse en suscriptor.
Capacidades inminentes
Además del malware mejorado con IA, hay dos casos de uso de IA adicionales que esperamos que los actores de amenazas adopten de forma inminente: descubrimiento de vulnerabilidades novedosas y actividad de intrusión automatizada. Si bien todavía hay escasos signos de que el adversario esté utilizando estas capacidades, hay capacidades correspondientes en uso y en desarrollo por parte de los defensores que demuestran que son posibles. Además, no esperamos que el uso de estas capacidades sea totalmente transparente. Debido a limitaciones, es poco possible que los adversarios utilicen modelos públicos convencionales para estos fines, negándonos un medio de observar su adopción.
La capacidad de la IA para descubrir vulnerabilidades en el software program previamente desconocidas ahora ha quedado bien establecida gracias a varios esfuerzos defensivos diseñados para identificar estas fallas antes que los adversarios. BigSleep de Google, un agente de inteligencia synthetic diseñado específicamente para esta tarea, ha descubierto más de 20 vulnerabilidades que conducen a ataques preventivos. parchear. En dos casos, Huge Sleep se utilizó junto con inteligencia para descubrir vulnerabilidades de día cero mientras los adversarios las preparaban para ataques.
Desafortunadamente, BigSleep y esfuerzos similares ofrecen pruebas tangibles de una capacidad que los adversarios pueden abusar, y casi con certeza lo harán, para descubrir y explotar vulnerabilidades de día cero. Los días cero son una bendición para los actores de amenazas que apuntarán a investigadores, se infiltrarán en empresas de tecnología y gastarán generosamente para descubrirlos. La clara oportunidad de utilizar los LLM no se habrá perdido para los actores estatales que tienen los recursos para llevar a cabo investigación y desarrollo en esta área.
Otro uso potencial de la IA agente es la automatización de la actividad de intrusión. Esta capacidad fue presagiada por los operadores de ciberespionaje del nexo con China antes mencionados que pidieron ayuda a Gemini durante las intrusiones activas. La aplicación de tecnología agente a este caso de uso es algo obvia: un agente que puede aprovechar esta ayuda automáticamente para transitar redes específicas y lograr los objetivos de la intrusión sin la intervención directa del operador. Ya existen numerosos esfuerzos para desarrollar estas capacidades para la defensa y al menos uno relacionado. esfuerzo de código abierto ha sido objeto de discusión en la clandestinidad prison.
Estos acontecimientos podrían cambiar radicalmente el desafío que enfrentan los defensores. Sin compensar con el uso proactivo de la IA para encontrar vulnerabilidades, podemos esperar que la escala del problema del día cero crezca significativamente a medida que los adversarios adopten la tecnología para este propósito. La actividad de intrusión automatizada probablemente también afectará la escala de actividad que enfrentan los defensores, ya que los humanos son reemplazados por múltiples agentes. Esta actividad también será más rápida. Los agentes podrán reaccionar más rápidamente a los días cero o descubrir debilidades a corto plazo en las defensas.
En ambos casos, la IA ofrece la solución más clara para defensores. BigSleep y soluciones similares serán necesarias para descubrir vulnerabilidades más rápido que los adversarios y tomar la iniciativa. En la misma línea, Google acaba de publicar detalles de un agente llamado CodeMender que puede corregir automáticamente vulnerabilidades y mejorar la seguridad del código. Las soluciones agentes también pueden ser la mejor solución para la actividad de intrusión automatizada: sin esta tecnología tendremos dificultades para movernos tan rápido o manejar la avalancha de ataques.
Trascendencia
El ritmo de adopción de la IA por parte de los adversarios estará determinado por los recursos a su disposición y las oportunidades que brinde la tecnología. Los actores más sofisticados no tardarán en adoptar estas capacidades, pero su actividad, como siempre, será la más difícil de observar. Para prepararnos sabiamente tendremos que anticiparnos a su actividad y empezar a actuar ahora. Los ciberdefensores tendrán que llegar a la misma conclusión a la que ya se ha llegado en otros campos de conflicto: la solución a un ataque impulsado por IA es una defensa impulsada por IA.
¿Quién está leyendo esto? Más de 500.000 de los expertos en seguridad nacional más influyentes del mundo. Necesidad acceso completo ¿A qué leen los expertos?
Lea más conocimientos, perspectivas y análisis de seguridad nacional impulsados por expertos en El resumen de cifrado porque la seguridad nacional es asunto de todos.
