A continuación, la actualización de Gemini Reside permite que el modelo de IA de Google vea el mundo a través de su cámara

Take del editor: El impulso de Google para hacer de Gemini un asistente de IA más interactivo podría revolucionar cómo usamos la tecnología. Sin embargo, a medida que los usuarios comparten su cámara y pantalla con Gemini, ¿cuáles son las implicaciones de privacidad? Si bien los beneficios de la asistencia en tiempo actual son claros, el potencial para el mal uso de los datos o la extralimitación también es una preocupación.

Google subió al escenario en el Cellular World Congress (MWC) en Barcelona el lunes para mostrar las últimas mejoras a su asistente de IA, Gemini. La empresa reveló Dos nuevas características para hacer que Gemini sea más interactivo y consciente del contexto, incluidos el análisis de video en tiempo actual y las capacidades de intercambio de pantalla.

https://www.youtube.com/watch?v=blhy4op9y0u

Una actualización genial a Gemini Reside permite a los usuarios encender la cámara de su teléfono inteligente y apuntarla a objetos, alrededores o incluso la pantalla de su computadora para su análisis y comentarios instantáneos (arriba). Ya sea que identifique un elemento, explique algo técnico o ayude a solucionar problemas de un problema, Google quiere que Gemini sea más que un chatbot: su objetivo es ser un asistente práctico de IA que realmente ve lo que está sucediendo.

La segunda es una nueva función de intercambio de pantalla que permite a los usuarios mostrar a Gemini Reside su pantalla (a continuación). La IA puede guiarlos a través de tareas, proporcionar ayuda específica de aplicaciones o resumir información del contenido mostrado. Google tiene como objetivo hacer que la asistencia digital se sienta menos como un chatbot y más como un ayudante de IA siempre presente que puede interpretar y responder a los elementos en pantalla en tiempo actual.

https://www.youtube.com/watch?v=zcmul7ve9ao

Sin embargo, estas características no serán free of charge. Google está bloqueando el análisis de video en tiempo actual y el intercambio de pantalla detrás de su plan de AI Premium, que cuesta $ 20 por mes. Este movimiento sigue la tendencia de la industria de colocar capacidades de IA avanzadas detrás de los paredes de pago, como el GPT-4.5 de Opensei. acceso a través de chatgpt plus. También está la pregunta: ¿En qué confianza dar acceso a Google a la cámara de su teléfono?

Google demostró previamente estas capacidades el año pasado para los asistentes de WMC 2024 (a continuación), aunque se llamaba Venture Astra en ese entonces. A través de la cámara, Géminis podía identificar puntos de referencia y objetos y recordar dónde estaban las gafas del demostrador. Con el intercambio de pantalla habilitado, Gemini podría ayudar en tareas como comprar o proporcionar soporte técnico con un easy escaneo de cámara.

https://www.youtube.com/watch?v=nxvvvrhigji

Si bien la demostración fue impresionante, ARS Technica señala que la IA precise tiene problemas con el análisis de video en condiciones menos ideales (léase: no reclutadas). Sin embargo, la actualización está más evolucionada, y la respuesta temprana ha sido positiva, y los usuarios beta elogian el potencial de un asistente de IA que puede ver y responder a su entorno. El resto del mundo pronto puede ver por sí mismos. Google confirmó que las actualizaciones se extenderán a la aplicación Gemini en Android a finales de este mes, con la disponibilidad de iOS esperada poco después.