La descarga: un renacimiento de «Dire Wolf» y salvaguardar a los compañeros de IA
«¡Ya no tengo que conducir un símbolo de racismo, codicia e ignorancia! ¡La vida de repente es mucho mejor!»
—Tor Bette Middler expresa su alegría al vender su Tesla, Persona enterada informes.
La gran historia
Los modelos de idiomas grandes pueden hacer cosas asombrosas. Pero nadie sabe exactamente por qué.
Hace dos años, Yuri Burda y Harri Edwards, investigadores de Operai, estaban tratando de averiguar qué se necesitaría para obtener un modelo de lenguaje grande para hacer una aritmética básica. Al principio, las cosas no salieron demasiado bien. Los modelos memorizaron las sumas que vieron pero no pudieron resolver otras nuevas.
Por accidente, Burda y Edwards dejaron algunos de sus experimentos funcionando durante días en lugar de horas. A los modelos se les mostró las sumas de ejemplo una y otra vez, y finalmente aprendieron a agregar dos números; acababa de tomar mucho más tiempo de lo que alguien pensó que debería.
En ciertos casos, los modelos aparentemente podrían fallar en aprender una tarea y, de repente, simplemente la consigue, como si una bombilla se encendiera, un comportamiento que los investigadores llamaron Grokking. Grokking es solo uno de varios fenómenos extraños que tienen investigadores de IA rascándose la cabeza. Los modelos más grandes y los modelos de idiomas grandes en explicit parecen comportarse de manera que las matemáticas de libros de texto dicen que no deberían.
Esto destaca un hecho notable sobre el aprendizaje profundo, la tecnología elementary detrás del increase de IA de hoy: a pesar de todo su éxito fugitivo, nadie sabe exactamente cómo, o por qué funciona. Lea la historia completa.
—Enscartará el cielo de Douglas
Todavía podemos tener cosas bonitas
Un lugar para la comodidad, la diversión y la distracción para alegrar su día. (¿Tienes alguna thought? Déjame una línea o Ségalos a mi.)
+ ¿Qué pasó cuando Wham! Llevó música pop occidental a China hace 40 años.
+ ¿Quién sabía eso? Los tiburones hacen ruidos ¿después de todo? 🦈
+ Microsoft está celebrando su 50 aniversario, y con él, 50 inventos muy extraños.
+ ¿Qué diablos es un prototaxita¿de todos modos?
