La compañía se disculpa después de que el agente de soporte de IA inventa una política que causa el alboroto del usuario
El lunes, un desarrollador que usa el well-liked editor de código con motor AI Cursor Noté algo extraño: el cambio entre máquinas las registró instantáneamente, rompiendo un flujo de trabajo común para los programadores que usan múltiples dispositivos. Cuando el usuario contactó al soporte de cursor, un agente llamado «Sam» les dijo que se esperaba comportamiento bajo una nueva política. Pero no existía tal política, y Sam period un bot. El modelo de IA creó la política, provocando una ola de quejas y amenazas de cancelación documentadas sobre Noticias de hacker y Reddit.
Esto marca la última instancia de AI confabulaciones (también llamado «alucinaciones») causando daños comerciales potenciales. Las confabulaciones son un tipo de respuesta de «relleno de brecha creativo» donde los modelos de IA inventan información de sonido believable pero falsa. En lugar de admitir la incertidumbre, los modelos de IA a menudo priorizan la creación de respuestas plausibles y seguras, incluso cuando eso significa información de fabricación desde cero.
Para las empresas que implementan estos sistemas en roles orientados al cliente sin supervisión humana, las consecuencias pueden ser inmediatas y costosas: clientes frustrados, confianza dañada y, en el caso de Cursor, suscripciones potencialmente canceladas.
Cómo se desarrolló
El incidente comenzó cuando un usuario de Reddit llamado Brokentoastroven observó Eso, al intercambiar un escritorio, una computadora portátil y un cuadro de desarrollo remoto, las sesiones de cursor se terminaron inesperadamente.
«Iniciar sesión en el cursor en una máquina invalida inmediatamente la sesión en cualquier otra máquina», escribió Brokentoastroven en un mensaje que period luego eliminado por R/Moderadores de cursor. «Esta es una regresión significativa de UX».
Confundido y frustrado, el usuario escribió un correo electrónico para el soporte del cursor y rápidamente recibió una respuesta de SAM: «El cursor está diseñado para funcionar con un dispositivo por suscripción como una función de seguridad central», lea la respuesta del correo electrónico. La respuesta sonaba definitiva y oficial, y el usuario no sospechaba que Sam no period humano.
Después de la publicación inicial de Reddit, los usuarios tomaron la publicación como confirmación oficial de un cambio de política actual, uno que rompió hábitos esenciales para las rutinas diarias de muchos programadores. «Los flujos de trabajo de múltiples dispositivos son apuestas de mesa para los desarrolladores», escribió un usuario.
Poco después, varios usuarios anunciaron públicamente sus cancelaciones de suscripción en Reddit, citando la política inexistente como su razón. «Literalmente cancelé mi submarino», escribió el póster authentic de Reddit, y agregó que su lugar de trabajo ahora estaba «purgando por completo». Otros se unieron: «Sí, también estoy cancelando, esto es Asinine». Poco después, los moderadores bloquearon el hilo de Reddit y eliminaron el poste authentic.
