Este conjunto de datos ayuda a los investigadores a detectar estereotipos dañinos en LLMS
«Espero que las personas usen (sombras) como una herramienta de diagnóstico para identificar dónde y cómo podría haber problemas en un modelo», cube Talat. «Es una forma de saber qué falta en un modelo, donde no podemos estar seguros de que un modelo funciona bien y si es preciso o no».
Para crear el conjunto de datos multilingüe, el equipo reclutó hablantes nativos y fluidos de idiomas, incluidos árabe, chino y holandés. Tradujeron y escribieron todos los estereotipos que podían pensar en sus respectivos idiomas, que luego verificó otro hablante nativo. Cada estereotipo fue anotado por los oradores con las regiones en las que fue reconocido, el grupo de personas a la que se dirigió y el tipo de sesgo que contenía.
Luego, cada estereotipo fue traducido al inglés por los participantes, un idioma hablado por cada contribuyente, antes de que lo tradujeran a idiomas adicionales. Luego, los oradores señalaron si el estereotipo traducido fue reconocido en su idioma, creando un complete de 304 estereotipos relacionados con la apariencia física, la identidad private y los factores sociales de las personas como su ocupación.
El equipo está presente sus hallazgos en la Conferencia Anual de las Naciones de las Américas del Capítulo de la Asociación de Lingüística Computacional en mayo.
«Es un enfoque emocionante», cube Myra Cheng, una estudiante de doctorado en la Universidad de Stanford que estudia prejuicios sociales en IA. «Hay una buena cobertura de diferentes idiomas y culturas que reflejan su sutileza y matices».
Mitchell cube que espera que otros contribuyentes agregan nuevos idiomas, estereotipos y regiones a los tonos, que es disponible públicamentelo que lleva al desarrollo de mejores modelos de idiomas en el futuro. «Ha sido un esfuerzo de colaboración masivo de personas que desean ayudar a hacer una mejor tecnología», cube ella.
