El Tensor G3 del Pixel 8 Pro delega las tareas de IA generativa a la nube

 (notebookcheck.net)
1 puntos por GN⁺ 2023-10-23 | 1 comentarios | Compartir por WhatsApp
  • Las nuevas funciones de IA generativa del Pixel 8 Pro no se procesan directamente en el Tensor G3, sino que pasan por los servidores de Google, lo que deja en evidencia la brecha entre el marketing del chip centrado en IA y la experiencia real percibida
  • AI Wallpaper y Magic Editor requieren conexión permanente a internet, y el punto clave es que las tareas solicitadas por el usuario se procesan en la nube, no dentro del dispositivo
  • Google presentó el Tensor G3 como un chip “AI-first” y destacó el machine learning on-device y la base para IA generativa, pero algunas de sus funciones más representativas están lejos de ejecutarse localmente
  • Notebookcheck añadió un breve video de verificación que muestra que Magic Editor y AI Wallpaper requieren procesamiento basado en la nube con conexión continua a internet
  • Según Geekbench 6, pese a contar con una arquitectura de CPU moderna, el Tensor G3 está más cerca del Snapdragon 7+ Gen 2 que del Snapdragon 8 Gen 2, por lo que el debate sobre la promoción de funciones de IA y el rendimiento del chip gana más relevancia

Lanzamiento del Pixel 8 Pro y críticas al Tensor G3

  • El Pixel 8 Pro es presentado como un caso de lanzamiento más accidentado de lo habitual para la serie flagship de Google
  • Arun Maini, conocido como @Mrwhosetheboss, otorgó al Pixel 7 Pro del año anterior el reconocimiento de “Best Smartphone of 2022”, pero no dedicó al Pixel 8 Pro elogios del mismo nivel
  • También hubo elementos valorados positivamente en la serie Pixel 8
    • diseño
    • acabado de cristal esmerilado en la parte trasera del Pixel 8 Pro
    • software avanzado
    • rendimiento en fotografía fija
    • funciones basadas en IA como Best Photo, Magic Editor y Audio Magic Eraser
  • Entre los puntos débiles se mencionan la torpeza del zoom al cambiar de lente y la estabilización de video con aspecto artificial
  • La crítica más fuerte se concentra en el procesador Tensor G3 de la serie Pixel 8

Dependencia del servidor para las funciones de IA generativa

  • Maini considera que las nuevas funciones de IA generativa como AI Wallpaper y Magic Editor exigen más cómputo del que el SoC Tensor G3 puede ofrecer
  • Estas funciones requieren conexión permanente a internet
    • todas las tareas del usuario deben pasar por los servidores de Google
    • las considera lo bastante lentas como para que se note que no se ejecutan dentro del dispositivo
  • La idea central de la cita de Maini es la siguiente
    • las funciones para crear algo con IA generativa requieren una conexión permanente a internet
    • las tareas se procesan a través de los servidores de Google
    • eso hace evidente que el Tensor G3 no está al nivel de un flagship

Choque con el marketing de Google sobre el Tensor G3

  • Google promociona el Tensor G3 como “AI-first” y enfatiza su capacidad de procesamiento de IA
  • En el blog oficial de Google, Monika Gupta, VP of Product Management de Google, plantea lo siguiente
    • gran parte de la innovación reciente en IA se ha construido sobre capacidad de cómputo a nivel de centros de datos
    • para usar el poder transformador de la IA en la vida diaria, esta debe ser accesible desde los dispositivos que se usan todos los días
    • el Tensor G3 es el chip de silicio personalizado más reciente de Google
  • Google explica que el Tensor G3 amplía los límites del machine learning on-device
    • afirma que lleva directamente al Pixel 8 y al Pixel 8 Pro los resultados más recientes de la investigación en IA de Google
    • señala que el objetivo de Tensor no es la velocidad ni las métricas tradicionales de rendimiento, sino hacer avanzar la experiencia de computación móvil
    • explica que se actualizaron subsistemas clave y que se sentaron las bases para IA generativa on-device
    • incluye CPU Arm de última generación, una GPU mejorada, un nuevo ISP e Imaging DSP, y una TPU de nueva generación diseñada para ejecutar modelos de IA de Google

El punto sobre IA on-device según la explicación de Arm

  • La forma en que el Pixel 8 Pro procesa tareas de IA generativa entra en conflicto con el mensaje de IA on-device que Google ha enfatizado
  • Google resta importancia a las métricas de rendimiento, pero Arm destaca el papel de la CPU y la GPU en las tareas de IA
  • Arm explica que, a medida que el cómputo de IA se desplaza desde la nube hacia donde se recopilan los datos, las tecnologías Arm CPU y MCU están procesando la mayor parte de las cargas de trabajo de IA y ML en el edge y los endpoints
  • Según la explicación de Arm, la CPU es el centro de todos los sistemas de IA, ya sea que procese IA por sí sola o que se encargue de tareas específicas junto con procesadores auxiliares como GPU o NPU
  • En este contexto, aparece una diferencia entre la explicación de Google, que da la impresión de que las tareas de IA se procesan solo con la TPU, y la explicación de Arm

Bloqueo de benchmarks y resultados de Geekbench 6

  • Durante el periodo de embargo de reseñas no era fácil instalar aplicaciones populares de benchmark desde Play Store
  • Esta limitación continuó después del lanzamiento, aunque Google levantó el bloqueo tras el artículo de Notebookcheck
  • En el benchmark multiplataforma Geekbench 6 de Primate Labs, el Tensor G3 mostró puntuaciones de CPU más bajas de lo esperado pese a contar con una arquitectura moderna
  • El rendimiento del Tensor G3 resultó estar más cerca del chip de gama media Snapdragon 7+ Gen 2 que del actual chip flagship Snapdragon 8 Gen 2
  • Los breves videos añadidos en la actualización confirman que las nuevas funciones de IA del Pixel 8 Pro, incluido Magic Editor y AI Wallpaper, requieren conexión continua a internet

Lecturas relacionadas

1 comentarios

 
GN⁺ 2023-10-23
Comentarios en Hacker News

  • Google dijo lo siguiente: “Con el nuevo chip Tensor G3, actualizamos todos los subsistemas principales para abrir el camino a la IA generativa en el dispositivo”
    Claramente es una frase con margen para interpretaciones, y no necesariamente significa que toda la IA generativa corra en el Tensor G3. También podrían afirmar que una tarea hecha en el G3 es preparación para futuros chips. Aun así, ejecutar IA generativa en un SoC móvil, especialmente en el dispositivo con un rendimiento y consumo energético decentes, todavía parece bastante difícil

    • En iOS hay apps que ejecutan modelos tipo Stable Diffusion localmente en el dispositivo
      https://apps.apple.com/ca/app/draw-things-ai-generation/id64...
      Parece que los chips Tensor tendrían potencia suficiente para hacer lo mismo, pero probablemente evitan la ejecución local por su baja eficiencia
    • No veo por qué esta sería la queja principal. Un problema mucho mayor es el embargo posterior al lanzamiento para ocultar a los consumidores el rendimiento real

  • Si ves la cita de Google, dicen: “Tensor no busca la velocidad ni las métricas tradicionales de rendimiento, sino impulsar la experiencia de computación móvil hacia adelante… abrir el camino a la IA generativa en el dispositivo… incluye una TPU de nueva generación diseñada a medida para ejecutar modelos de IA de Google”
    Entonces, ¿por qué necesita conexión a internet? Me pregunto si fallaron al final y no les quedó de otra más que lanzarlo así, o si desde el principio era solo texto de marketing

    • Aunque dicen “Tensor no se trata de velocidad ni de métricas tradicionales de rendimiento”, en [1] también afirman: “Pixel 8 y Pixel 8 Pro incorporan Google Tensor G3, el chip más rápido, eficiente y seguro de Google… todos los componentes principales fueron mejorados para aumentar el rendimiento y la eficiencia… la cantidad de modelos de machine learning en el dispositivo se ha más que duplicado desde 2021, y también han aumentado en complejidad y sofisticación”
      Eso suena bastante relacionado con el rendimiento
      [1] https://store.google.com/intl/en/ideas/articles/google-tenso...
    • Parece bastante probable. Si el rendimiento del chip queda por debajo de lo esperado, bloqueas el uso de apps de benchmark y luego le dices a la prensa que en realidad nunca te importó la velocidad. Problema resuelto
    • Un chip en el dispositivo para algunas tareas de IA y tarjetas gráficas/GPU/aceleradores avanzados de servidor que consumen cientos de watts para correr IA generativa son cosas bastante distintas
      Incluso el estado del arte en IA generativa de bajos recursos consiste en ejecutar modelos optimizados en GPU de escritorio y obtener resultados no tan buenos. Un teléfono la tiene difícil para hacer eso. Mucho machine learning ya corre en el dispositivo y más se está moviendo allí, pero la IA generativa todavía no parece estar en esa etapa
    • Está bastante claro. Algunas tareas de machine learning son suficientemente fáciles para un teléfono, como el reconocimiento de voz. Otras no, como el inpainting
      Google usa una redacción algo resbaladiza, pero no debería sorprender que un modelo de machine learning que necesita una GTX 4090 no corra en un teléfono
    • Fue exactamente la misma dinámica que con la negative latency de Stadia, y eso nunca se implementó de verdad hasta que Stadia cerró

  • ¿Alguien ha revisado el tráfico de red para ver si al usar Magic Editor realmente se manda el procesamiento afuera, o es una conclusión inferida porque requiere conexión a internet?
    ¿No podría ser que solo necesite internet para descargar modelos nuevos y que el procesamiento siga ocurriendo en el dispositivo?

    • Magic Editor, o sea el botón arcoíris de Google Photos, solo funciona si activas el respaldo en la nube, así que debe ser por eso
    • Esta parece la respuesta más plausible, pero no parece recibir mucha atención aquí

  • Hasta cierto punto tiene sentido. La IA generativa es muy costosa
    Pero lo generativo es solo una clase de tareas de IA, y es probable que predicción e inferencia sean donde más se use Tensor. En Magic Eraser, “encontrar el objeto dentro de la foto” podría hacerse en el dispositivo, mientras que “decidir con qué rellenar tras borrar el objeto” podría hacerse en el servidor

    • Hay inferencia y entrenamiento, y lo generativo también es inferencia

  • Si lo están mandando a la nube, entonces ¿para qué sirve exactamente el procesador de IA del Tensor G3?

    • Se usa para algunas tareas no generativas, como el reconocimiento de voz, pero otros chips también pueden hacer ese tipo de trabajo
      La única parte en la que Tensor G3 parece mejor es quizá evitar la costumbre de Qualcomm de descontinuar temprano sus chips para smartphones de consumo
    • Ni idea si también soporta aceleración por hardware para tareas HTTP
    • Credibilidad de marketing

  • Según la respuesta de IA de Google, el Google Pixel 8 Pro puede ejecutar modelos de IA generativa localmente en el dispositivo, pero no todos
    Google anunció en el evento Made by Google de octubre de 2023 que el chip Tensor G3 personalizado del Pixel 8 Pro puede ejecutar versiones destiladas de los modelos de generación de texto e imagen de Google. Esos modelos pueden impulsar funciones como edición de imágenes y respuestas inteligentes de Gboard. Pero algunas tareas de IA generativa, como ejecutar modelos de lenguaje grandes tipo Bard, todavía requieren demasiada capacidad de cómputo para correr localmente en un smartphone, así que se envían a la nube
    Como ejemplos de ejecución local se mencionan Magic Eraser, Zoom Enhance, Best Take, Audio Magic Eraser, Gboard Smart Replies y los resúmenes con IA de Google Recorder. Dicen que, a medida que mejoren los chips Tensor, más funciones de IA generativa podrían ejecutarse en el dispositivo en futuros Pixel ʘ ‿ ʘ

  • No es que Tensor esté offloadeando algo, sino que las apps de Android son las que mandan ese trabajo a Google Cloud. No me queda claro qué tiene que ver el SoC con eso

    • ¿Y quién hizo esas apps de Android?
    • Pero entonces, ¿por qué esas apps no usan el motor local de IA?

  • En cuanto vi el título pensé en Juicero
    ¿Cómo se puede anunciar algo como en el dispositivo y de inmediato mandar los datos a otro lado?

  • ¿No era de esperarse? Si funciones generativas de alta calidad corrieran en el dispositivo, eso sí sería un avance enorme

  • Me parece bien decir que “las funciones de IA generativa en las que realmente hay que crear algo con IA, como generar AI Wallpaper o Magic Editor, requieren una conexión permanente a internet… es tan lento que constantemente te hace sentir que no se ejecuta on-device”.
    La razón por la que la IA generativa ha mejorado es porque se ha vuelto enormemente más grande y consume muchos recursos. Ni siquiera en una GPU de consumo de más de 1000 dólares es especialmente rápida. Reducir este tipo de tareas generativas para que encajen en un entorno on-device pequeño, aun sabiendo que el resultado será mucho peor, se siente como un desperdicio enorme de tiempo y esfuerzo. Aun así, entonces sigue quedando la duda de qué tareas hace exactamente bien Tensor en el edge, y es una pregunta bastante importante porque fabricantes de chips como AMD, Qualcomm y ARM también están metiendo redes neuronales grandes y núcleos Tensor

    • Todo lo sensible a la latencia, literalmente lo que sea, es apto para procesamiento en el edge. El reconocimiento de voz off-device se vuelve una experiencia terrible cuando la conexión no es perfecta
      Basta con imaginar Photoshop: haces clic sobre un objeto y la IA busca los bordes, pero cada vez que haces clic tiene que empaquetar la imagen, subirla a la nube y esperar 5 segundos por selección entre planificación, procesamiento y retorno. Tampoco tendría sentido que el enfoque con reconocimiento de objetos por machine learning en una app de cámara dependiera de la nube si esta siguiera los objetos del visor con 3 segundos de retraso
    • Aunque se considere aceptable, entonces eso significaría que es un procesador deficiente que no puede hacer lo que se anunció. El G3 rinde peor que el Snapdragon Gen 2 y quizá esté más cerca del Gen 1. Tampoco estoy seguro de si el consumo de batería es similar, y además pronto saldrá el Snapdragon Gen 3
    • Está el reconocimiento de voz, la detección de palabra de activación, el reconocimiento de objetos y el autocompletado
      En particular, la detección de palabra de activación consiste en ejecutar continuamente una red neuronal convolucional relativamente pequeña sobre una ventana fija, por lo que la eficiencia energética es muy importante
    • Si anuncian esta “magia” como on-device, entonces no está bien
      Justo antes del lanzamiento del Pixel 8, leí los papers de RealFill[0] y Break-A-Scene[1] publicados por investigadores de Google e intenté implementar rápidamente un ensamble de modelos, así que esperaba que el núcleo Tensor del G3 hubiera dado un salto como el núcleo de procesamiento de lenguaje natural y reconocimiento contextual del Moto X de 2013[2], o que ofreciera un rendimiento de inferencia sorprendentemente bueno como Coral[3], el edge TPU desarrollado por Google. El Moto X ofrecía implementaciones mejores que el 95% de los dispositivos móviles actuales en Active Display, reconocimiento de gestos y reconocimiento de voz en entornos ruidosos; Coral también era impresionante, pero por la escasez de chips, la naturaleza voluble de la empresa y la retirada de IoT, la producción de hardware pasó a ASUS en 2022
      El punto es que los supuestos sobre el rendimiento de inferencia en hardware de más de 1000 dólares estaban fundamentalmente equivocados. El hecho de que se apoyen en la palabra de moda “generativa” da la impresión de que aprendieron mal de influencers de Twitter o de intentos recientes de desplegar modelos de lenguaje grandes. Incluso en dispositivos móviles, el hardware personalizado para tareas específicas era posible en el pasado y de hecho se desarrolló. Si no podían cumplir los requisitos de rendimiento, consumo y tiempo de procesamiento, deberían haber replanteado el mensaje publicitario en lugar de exponerse de una manera que podría terminar en demandas colectivas relacionadas con el hardware
      [0] https://realfill.github.io/
      [1] https://omriavrahami.com/break-a-scene/static/paper/Break-A-...
      [2] https://en.wikipedia.org/wiki/Moto_X_(1st_generation)#Hardwa...
      [3] https://coral.ai/