Cómo AlphaChip revolucionó el diseño de chips de computadora

• En 2020 publicamos un preprint que presentaba un nuevo método de aprendizaje por refuerzo para diseñar layouts de chips
• Más tarde, este método fue publicado en Nature y se ofreció como código abierto
• Hoy publicamos un addendum en Nature que explica en detalle este método y el impacto que ha tenido en el campo del diseño de chips
• También publicamos checkpoints preentrenados, compartimos los pesos del modelo y presentamos el nombre AlphaChip
• Los chips de computadora han impulsado los sorprendentes avances de la inteligencia artificial (IA), y AlphaChip usa IA para acelerar y optimizar el diseño de chips
• Este método se ha usado para diseñar layouts de chips sobrehumanos en las 3 generaciones más recientes de la Tensor Processing Unit (TPU), el acelerador de IA personalizado de Google
• AlphaChip es uno de los primeros enfoques de aprendizaje por refuerzo usados para resolver un problema real de ingeniería
• En lugar de requerir semanas o meses de trabajo humano, genera layouts de chips sobrehumanos o comparables en cuestión de horas, y estos layouts se usan en distintos chips, desde centros de datos en todo el mundo hasta teléfonos móviles

Cómo funciona AlphaChip

• Diseñar el layout de un chip no es una tarea simple
• Los chips de computadora están compuestos por muchos bloques interconectados, conectados tanto por jerarquías de componentes de circuito como por cables muy delgados
• Además, hay muchas restricciones de diseño complejas y entrelazadas que deben cumplirse al mismo tiempo
• Debido a esa complejidad, los diseñadores de chips han tenido dificultades durante más de 60 años para automatizar el proceso de floorplanning de chips
• Al igual que AlphaGo y AlphaZero, construimos AlphaChip para que abordara el floorplanning de chips como si fuera una especie de juego
• Empezando desde una cuadrícula vacía, AlphaChip coloca un componente del circuito a la vez y repite esto hasta completar la colocación de todos los componentes
• Luego recibe una recompensa según la calidad del layout final
• Mediante una nueva red neuronal de grafos “basada en aristas”, AlphaChip puede aprender las relaciones entre componentes interconectados del chip y generalizar a lo largo del chip, lo que le permite mejorar con cada layout que diseña

Diseñando con IA los chips aceleradores de IA de Google

• Desde su presentación en 2020, AlphaChip ha generado layouts de chips sobrehumanos usados en todas las generaciones de TPU de Google
• Estos chips hacen posibles grandes modelos de IA basados en la arquitectura Transformer de Google
• Las TPU están en el corazón de potentes sistemas de IA generativa, desde grandes modelos de lenguaje como Gemini hasta generadores de imagen y video como Imagen y Veo
• Estos aceleradores de IA también son centrales para los servicios de IA de Google y se ofrecen a usuarios externos a través de Google Cloud
• Para diseñar layouts de TPU, AlphaChip primero practica con varios bloques de chips de generaciones anteriores, como bloques de red dentro del chip y entre chips, controladores de memoria y búferes de transferencia de datos (a esto se le llama preentrenamiento)
• Luego se ejecuta AlphaChip sobre los bloques de la TPU actual para generar layouts de alta calidad
• A diferencia de enfoques anteriores, AlphaChip mejora y se vuelve más rápido cuanto más instancias de tareas de colocación de chips resuelve, de manera similar a un experto humano
• En cada nueva generación de TPU, incluida la más reciente Trillium (sexta generación), AlphaChip ha diseñado mejores layouts de chips y cubierto una mayor parte del floorplan completo, acelerando el ciclo de diseño y produciendo chips de mayor rendimiento

El amplio impacto de AlphaChip

• El impacto de AlphaChip puede verse en aplicaciones en Alphabet, en la comunidad de investigación y en toda la industria del diseño de chips
• Más allá del diseño de aceleradores de IA especializados como las TPU, AlphaChip ha generado layouts para otros chips dentro de Alphabet, como el procesador Axion, el primer CPU de propósito general para centros de datos basado en Arm de Google
• Organizaciones externas también han adoptado AlphaChip y están construyendo sobre él (por ejemplo: MediaTek, una de las principales compañías de diseño de chips del mundo, amplió AlphaChip para mejorar potencia, rendimiento y área del chip, al mismo tiempo que aceleraba el desarrollo de sus chips más avanzados, como Dimensity Flagship 5G usado en teléfonos Samsung)
• AlphaChip desató una explosión de trabajo en IA para diseño de chips y se ha extendido a otras etapas importantes del diseño de chips, como la síntesis lógica y la selección de macros

Creando los chips del futuro

• Creemos que AlphaChip tiene el potencial de optimizar todas las etapas del ciclo de diseño de chips, desde la arquitectura computacional hasta la fabricación
• Puede revolucionar el diseño de chips para hardware personalizado presente en dispositivos cotidianos como smartphones, equipos médicos y sensores agrícolas
• Ya se están desarrollando futuras versiones de AlphaChip, y esperamos seguir innovando en este campo y colaborar con la comunidad para construir un futuro en el que los chips sean más rápidos, más baratos y más eficientes energéticamente

Opinión de GN⁺

• El enfoque basado en IA de AlphaChip está revolucionando el campo del diseño de chips. En particular, ha logrado grandes avances en la automatización del proceso de diseño de layouts de chips
• AlphaChip es uno de los primeros casos de aplicación del aprendizaje por refuerzo a un problema real de ingeniería, y es un buen ejemplo de cómo la IA puede usarse en el mundo real
• El impacto de AlphaChip en el diseño de TPU será un hito importante en el avance del hardware acelerador de IA. Mejores aceleradores de IA permitirán modelos de IA más potentes, lo que a su vez acelerará aún más el avance de la IA
• Sin embargo, depender en exceso de herramientas de diseño con IA podría llevar a la pérdida de experiencia de los diseñadores humanos. A largo plazo, la colaboración entre IA y expertos humanos será lo más deseable
• Herramientas de diseño similares basadas en IA incluyen Cerebrus de Cadence y DSO.ai de Synopsys. Parece que la competencia entre herramientas de automatización de diseño basadas en IA se intensificará en el futuro

[GN⁺]

Opiniones de Hacker News

• El artículo de Google en Nature fue criticado por investigadores del área de EDA/CAD
  • Artículo de réplica de un investigador interno de Google: "Stronger Baselines for Evaluating Deep Reinforcement Learning in Chip Placement"
  • Artículo del equipo de UCSD en ISPD 2023: "Assessment of Reinforcement Learning for Macro Placement"
  • Artículo crítico de Igor Markov: "The False Dawn: Reevaluating Google's Reinforcement Learning for Chip Macro Placement"
• El algoritmo de colocación de macros con RL de Google no fue comparado de manera justa con otros algoritmos modernos
  • Afirma tener mejor rendimiento que los humanos en la colocación de macros, pero no alcanza el desempeño de los algoritmos actuales de colocación híbrida
  • La técnica de RL requiere más recursos de cómputo que otros algoritmos y no aprende una nueva representación del problema de colocación en sí, sino una función sustituta
• Hay escepticismo sobre el trabajo de Google, y se escribió una publicación detallada en un sitio web personal
• Hubo casos de investigadores de Google que fueron acosados y luego se fueron a Anthropic
  • Artículo relacionado: "Google Brain AI Researcher Fired Tension"
• TSMC destaca que el software más reciente de automatización de diseño de chips puede seleccionar diseños lógicos orientados al TDP
  • Esto podría ser una forma de mantener el escalado de Dennard
  • La velocidad de la luz y la proximidad física siguen siendo importantes, pero da curiosidad cuánto beneficio puede aportar evitar el thermal throttling
• Preguntas sobre cómo medir la calidad del diseño de chips
  • Se duda si las métricas que reporta Google son válidas o si solo buscan hacerlos quedar bien
  • La "calidad" del diseño de chips tiene muchas dimensiones y depende mucho del caso de uso
  • Un chip para centros de datos y uno para la cámara de un teléfono móvil o para un automóvil se verán muy distintos
  • Da curiosidad qué significa exactamente "mejor" en este problema/tarea en particular
• Eurisco se usó en su momento para realizar tareas de placement and routing, y lo hacía muy bien
  • Eurisco se utilizó para diseñar flotas de naves de combate en el juego Traveler TCS
  • Eurisco usaba placement basado en simetría aprendido en diseño VLSI
  • Da curiosidad si las heurísticas de AlphaChip podrían usarse también en otros lugares
• El trabajo de Google en diseño de chips es "controvertido"
  • Da curiosidad por qué hacen solo PR sin aportar nada realmente nuevo
• El problema de que muchos artículos de DeepX se envían a Nature en lugar de a foros adecuados de CS
  • Si realmente están haciendo un mejor trabajo en diseño de chips, deberían enviarlo a ISPD o ISCA, etc.
  • No se entiende cómo Nature maneja este tipo de artículos
• Da curiosidad por qué siguen usando la expresión "sobrehumano"
  • Se usan algoritmos para estas tareas, y los humanos no colocan a mano billones de transistores
• Ojalá existieran herramientas para diseño/layout de PCB
• Da curiosidad qué tan cerca está la computación basada en memoria de pasar de la investigación a productos competitivos
  • Parece que ya se llegó al punto de invertir muy agresivamente para escalar a gran tamaño experimentos como los memristores
  • Se está discutiendo cuántos nuevos reactores podrían hacer falta para los centros de datos de IA