Por qué la propuesta de YC sobre “diseño de chips con LLM” falla

 (zach.be)
1 puntos por GN⁺ 2024-11-18 | 1 comentarios | Compartir por WhatsApp
  • YC considera que los LLM pueden reducir drásticamente el costo de diseñar sistemas digitales a medida, pero el cuello de botella clave no está en generar código sino en el diseño y la verificación de la arquitectura del chip
  • Aunque los LLM a veces pueden producir Verilog funcional, todavía rinden por debajo de los humanos y no pueden diseñar arquitecturas nuevas que determinan el rendimiento de los chips aceleradores modernos
  • El enfoque de reducción de costos se parece a la antigua síntesis de alto nivel (HLS), que mejoró la productividad pero ofreció menor calidad de resultados y menor rendimiento que los flujos RTL, por lo que no se volvió dominante en el mercado de chips de alto valor
  • Las áreas donde los LLM o HLS pueden ayudar son limitadas, como la aceleración con FPGA en equipos con poca experiencia en RTL; además, mercados como genomics o CFD ya están cubiertos en parte por GPU y también son pequeños
  • Una oportunidad más realista está en la productividad de la verificación de chips más que en la automatización del diseño, aunque sigue pendiente el reto de hacer que los LLM entiendan y razonen sobre especificaciones complejas de chips

El cuello de botella del diseño de chips que YC pasó por alto

  • YC planteó en su reciente Request for Startups que diseñar sistemas digitales a medida ha sido caro por el diseño personalizado, el desarrollo y las pruebas, y que los modelos de lenguaje de gran escala podrían reducir mucho ese costo
  • Al optimizar algoritmos o cómputo especializados, tareas como cryptocurrency mining, data compression y special-purpose encryption pueden ejecutarse 5x~100x más rápido, con 10x~100x menos energía
  • Si Gary Tan y YC creen que los LLM pueden diseñar chips 100 veces mejores que los humanos, entonces están subestimando seriamente la dificultad del diseño de chips y la especialización de sus diseñadores
  • Los LLM a veces escriben Verilog funcional, pero todavía rinden peor que los humanos y no tienen la capacidad de diseñar nuevas arquitecturas de chips que impulsen las mejoras de rendimiento en los chips aceleradores modernos
  • En última instancia, los LLM se parecen más a una herramienta para producir código Verilog mediocre que a un agente capaz de hacer los chips mucho mejores

Los límites del enfoque de reducción de costos que HLS ya enfrentó

  • La expectativa de que herramientas basadas en LLM reduzcan el costo del diseño de chips y amplíen la viabilidad económica de la aceleración por hardware se parece a intentos anteriores con la síntesis de alto nivel (HLS)
  • HLS apareció con la fundación de Forte Design Systems en 1998, y Cynthesizer convertía automáticamente SystemC a Verilog con base en ciertas restricciones de temporización
  • Las herramientas HLS convierten código en lenguajes de alto nivel como C, C++ o Scala a Verilog, y luego permiten sintetizarlo en compuertas lógicas para ASIC y FPGA
  • El objetivo era ayudar a equipos sin una especialización profunda en Verilog a desarrollar silicio de forma más barata y sencilla
  • Cynthesizer no logró una adopción amplia, y Forte fue adquirida por Cadence en 2014, tras lo cual se integró en la herramienta HLS de Cadence, Stratus

La evaluación actual de HLS y el mercado de chips de alto rendimiento

  • Xilinx, hoy AMD, impulsó con fuerza HLS para la aceleración con FPGA, y Vitis es considerada una de las buenas herramientas HLS del sector
  • La introducción de una revisión reciente del estado del arte en HLS por Lan Huang señala varias limitaciones de las herramientas HLS
    • Los diseñadores siguen expuestos a muchos aspectos del diseño de hardware
    • El ciclo de desarrollo sigue siendo largo
    • La calidad de resultados (QoR) queda muy por detrás de los flujos RTL
  • Las revisiones de otros investigadores arrojan resultados decepcionantes similares
  • HLS puede aumentar la productividad del diseñador, pero reduce el rendimiento de los diseños producidos
  • En mercados de chips de alto valor y competencia intensa, como los aceleradores de IA, el rendimiento es la métrica competitiva clave, así que tiene sentido asumir el costo inicial de contratar grandes diseñadores de RTL para construir chips más rápidos

El problema económico de los pequeños mercados de aceleradores

  • HLS no logró establecerse en chips de alto valor y gran volumen donde importan el rendimiento y la eficiencia, y es muy probable que los LLM que generan Verilog de baja calidad enfrenten el mismo problema
  • Algunos casos donde HLS sí tuvo éxito fueron áreas en las que ingenieros sin experiencia en silicio pudieron aprovechar la aceleración por hardware
    • Aceleración con FPGA para cargas de trabajo de genomics
    • Aceleración con FPGA para cargas de trabajo de CFD
  • En estos casos, HLS es valioso porque los ingenieros que construyen esos aceleradores no tienen experiencia para crear desde cero diseños optimizados a nivel RTL
  • Pero los mercados de aceleración por hardware en genomics y CFD son relativamente pequeños, las GPU ya satisfacen parte de la demanda y ni siquiera se acercan a una fracción de las ventas de chips de IA o aceleradores criptográficos
  • Si el mercado fuera mayor, existiría la viabilidad económica para asignar ingenieros de hardware experimentados a crear silicio optimizado

Lo que la reducción de costos puede abrir, y sus límites

  • Los LLM pueden reducir el costo de desarrollar silicio y hacer posibles ASIC dedicados para aplicaciones como genomics, que antes no eran económicamente viables
  • Sin embargo, la razón por la que esos ASIC no eran viables antes es que no se trataba de mercados enormes
  • Las aplicaciones que todavía no requieren aceleración por hardware probablemente pertenezcan a mercados pequeños, por lo que son un mal objetivo para una startup
  • En mercados en crecimiento, un chip diseñado por LLM y de baja calidad puede servir como una plataforma inicial barata para una startup
  • Pero cuando el mercado crezca lo suficiente como para justificar un equipo completo de diseño de chips, es probable que en el futuro cercano los chips diseñados por humanos superen con facilidad en rendimiento a los chips diseñados por LLM

El papel realista de los LLM en el diseño de chips

  • Si el diseño de chips basado en LLM solo abre mercados de bajo valor, hay otra razón por la que startups y empresas EDA establecidas quieren aprovecharlos
  • Un copiloto LLM para Verilog, en el mejor de los casos, será mediocre, pero si se le pone a escribir fragmentos de código simples puede ahorrar tiempo de ingeniería y reducir costos para la empresa
  • El área más importante es la verificación de chips
    • Por lo general, los bugs en silicio son extremadamente costosos, por lo que se necesitan 2 ingenieros de verificación por cada diseñador
    • Hoy en día es difícil encontrar buenos ingenieros de verificación
  • Si los LLM pueden hacer que la verificación sea más rápida, más fácil y más efectiva, eso generaría mucho valor tanto para las empresas de semiconductores ya establecidas como para las startups de semiconductores
  • Sin embargo, lograr que los LLM realmente entiendan y razonen sobre especificaciones de diseño de chips no es un reto menor, y hay escepticismo frente a enfoques como simplemente aplicar LLM ajustados finamente a la verificación de chips, como hacen Bronco o Instachip

El tipo de modelo necesario para la verificación y quién se beneficia

  • Las especificaciones de chips suelen ser complejas, incompletas y laberínticas
  • Para que la verificación de chips tenga éxito, el LLM debe entender el estado interno esperado del chip
  • En esencia, el modelo de lenguaje debe tener un modelo formal del chip, algo más cercano a una versión de AlphaProof aplicada a la verificación de semiconductores que a las matemáticas
  • Normal Computing está trabajando en una dirección parecida junto con nuevas thermodynamic chip architectures
  • Los LLM pueden abaratar el diseño de chips, pero los principales beneficiarios serían las grandes empresas de semiconductores que puedan reducir personal de verificación, las startups de chips convencionales que puedan operar con equipos más pequeños y las startups de software EDA que vendan herramientas basadas en LLM
  • Los LLM no permitirán crear chips 100 veces mejores ni habilitarán startups de hardware orientadas a mercados que carecen de aceleración por hardware; la economía simplemente no da

Lecturas relacionadas

1 comentarios

 
GN⁺ 2024-11-18
Opiniones de Hacker News

  • En el campo de EDA, a los LLM todavía les falta mucho camino por recorrer
    Hace unos meses, en LinkedIn, alguien les preguntó a los principales LLM cuál era la capacitancia total de un circuito con 3 capacitores que, aunque estaba dibujado de forma contraintuitiva, en realidad estaban en paralelo, y ninguno acertó. No solo lo juzgaron erróneamente como si estuvieran en serie, sino que incluso calcularon mal la capacitancia en serie, y aunque se probaron varios prompts no pudieron dar la respuesta correcta
    También vi un anuncio de una herramienta de IA que supuestamente ayuda a entender esquemas de circuitos; en un circuito que parecía un pedal de distorsión de guitarra, acertó en que el capacitor bloquea la corriente continua, pero se le pasó que era un componente de un filtro RC pasaaltas. Me dio risa la narración de “en 4 años de ingeniería eléctrica no me enseñaron esto”, porque me hizo pensar: ¿de verdad no enseñan que un capacitor bloquea CC ni los filtros RC?
    Para este campo parece que habría que crear un corpus seleccionado a mano y entrenar un modelo más especializado. Los modelos de propósito general se pierden demasiado

    • Supongo que el modelado interno de un LLM será más o menos del nivel de “es un dibujo de un circuito con capacitores para tarea de estudiantes, y si una tarea de cálculo de componentes eléctricos fuera simple suma sería demasiado fácil, así que seguramente usa la regla de la suma de recíprocos”
      También hay mucha gente con educación universitaria que no cree haber aprendido algo significativo en cierta materia. Puedo creer perfectamente que esas personas no hayan aprendido ni recordado algo significativo de esa materia, pero me resulta mucho más dudoso que la culpa sea de la clase
    • Para empezar, no sé por qué deberíamos esperar que un LLM de propósito general ajustado para seguir instrucciones acierte esto. Que no lo haya logrado no sorprende en absoluto; si lo hubiera hecho, más bien me habría sorprendido bastante
    • La clase introductoria de ingeniería eléctrica que tuve que tomar por mi título de CS todavía me persigue como una pesadilla
      Los circuitos RC sí que fueron duros
    • ¿Cuántas palabras tendrá The Art of Electronics? ¿No se podría ver si ayuda dárselo como contexto?

  • Está bien usar LLM en etapas que de entrada no son reproducibles, como la generación de ideas o el aprendizaje. Pero me sigue costando creer que los ingenieros quieran meter una caja negra lenta, cara y no determinista en el núcleo de sistemas extremadamente complejos que requieren confiabilidad, verificabilidad y comprensibilidad

    • ¿Lo que cuesta creer es que cajas negras no deterministas en el núcleo de sistemas complejos quieran meter cajas negras no deterministas en el núcleo de sistemas complejos?
    • Ya lo acepté. La ingeniería y ganar dinero con la ingeniería son cosas completamente separadas, y esto último a veces ni siquiera requiere tecnología. Claro que estafar no es ético
    • Totalmente de acuerdo. No puedo encontrar ahora todas las fuentes, pero [1] y sus referencias podrían ser un buen punto de partida para profundizar
      Recuerdo haber visto una prueba o conjetura de que es imposible crear un “firewall para LLM” que bloquee todos los prompts posibles, aunque quizá mi memoria me falla
      [1] https://arxiv.org/abs/2410.07283
    • Los humanos en sí también se parecen bastante a cajas negras lentas, caras y no deterministas
    • Los LLM pueden hacerse completamente deterministas según el método de muestreo que se use. Algunos métodos no tienen ningún elemento aleatorio
      En lo demás tienes razón. Todavía no son verificables ni comprensibles

  • Las tareas que requieren una “comprensión” profunda o una invención nueva no son algo que deba encargársele a un reproductor estadístico de palabras. Todavía no he visto ni un solo caso en ningún campo en el que un LLM haya inventado algo realmente nuevo. Me refiero a algo que un experto de ese campo considere nuevo
    Donde los LLM brillan es en generar texto repetitivo o de plantilla, y eso es muy útil. Hasta ahora no he visto en los LLM nada que parezca un “pensamiento” original. Y eso que uso IA todos los días en el trabajo

  • A YC no le interesa si diseñar chips con LLM “tiene sentido”. Como otros VC, son técnicamente incompetentes, y lo único que les interesa es producir startups basadas en hype con posibilidades de ser adquiridas
    A Gary Tan no le interesa “hacer mejores chips”, sino encontrar a algún incauto que compre una empresa pésima basada en hype por miles de millones de dólares. Le quedaría perfecto un banco de inversión a la antigua
    YC es técnicamente incompetente y no es una organización que busque mejorar el mundo. Todo lo que dicen es mentira y oculta su verdadera intención: ganar dinero

    • Yo lo habría expresado de otra forma, pero en general es correcto. Un VC de hoy empujaría la IA aun sabiendo que es la herramienta equivocada, y cuanto más compleja sea el área de aplicación, más fácil es encontrar al supuesto incauto
    • Primero, los VC no ganan dinero porque se adquieran “startups pésimas”, sino con verdaderos éxitos atípicos. Esa es la única forma estable de ganar dinero en el negocio de VC
      Segundo, ¿puedes dar un ejemplo de una “empresa basada en hype” sin tracción real de ingresos que se haya vendido por “miles de millones”?
      Tercero, los bancos de inversión intermedian ventas de activos; no los compran directamente
      Si ni siquiera conoces lo básico de VC, startups y banca, quizá sería mejor que te mantengas fuera de esta conversación

  • Trabajé un año en el equipo de arquitectura DSP de Qualcomm, así que tengo algo de experiencia en este campo, aunque no mucha.
    El autor se está perdiendo varios puntos importantes del diseño de chips. La mayor parte del tiempo y del trabajo no se dedica a escribir Verilog de alto rendimiento. Los diseñadores pasan una cantidad enorme de tiempo respondiendo preguntas, escribiendo documentación, copiando código repetitivo y leyendo manuales y diagramas crípticos. Los LLM ya pueden ayudar con todas esas tareas.
    Creo que, incluso con los LLM en su estado actual, un equipo de diseño podría moverse al menos 2 veces más rápido; y con mejores herramientas, aun sin mejorar la inteligencia del modelo, quizá 4 o hasta 10 veces más rápido. La mayor parte del beneficio vendría de ejecutar más experimentos, probar más cosas, recibir feedback más rápido sobre decisiones de diseño y reducir el tiempo dedicado a documentar, comunicarse y leer documentación pésima.

    • Soy el autor. No es que esté en desacuerdo. De hecho, en el artículo escribí esto:
      “Resulta que los LLM son bastante valiosos incluso en chips para mercados lucrativos. Solo que probablemente no harán la mayor parte del trabajo de diseño. Un copiloto LLM para Verilog es, en el mejor de los casos, mediocre. Pero hacer que un LLM escriba fragmentos simples de código puede ahorrar tiempo de ingeniería y, al final, reducir costos para el empleador”.
      Creo que decir que los diseñadores se volverán 2 veces más rápidos quizá sea optimista, aunque podría estar equivocado. La mayor parte de mi experiencia en diseño de chips fue enfocándome en arquitectura y diseño de datapaths en empresas pequeñas con buena documentación, así que puede que esté subestimando cuánta plantilla repetitiva maneja el ingeniero promedio.
      Aun así, no creo que los LLM vayan a diseñar pronto datapaths de alto rendimiento ni Verilog de redes.

  • Estoy de acuerdo con la mayoría de los puntos técnicos del artículo.
    Aun así, puede tener valor que YC pida innovación en esta área. El artículo muestra correctamente que no hay victorias fáciles al aplicar LLM al diseño de chips. Si el mercado de una aplicación específica es demasiado pequeño, que un LLM ayude no cambia mucho; y si el chip es demasiado importante, querrás usar a los mejores ingenieros. A diferencia del software, en diseño de chips el efecto de larga cola no pesa tanto. Un tape-out de un chip no es algo que pueda hacer un hacker, e incluso jugar con FPGA tiene un costo de entrada más alto que hackear en una PC.
    Pero si hubiera un camino obvio para avanzar, YC no tendría que pedir enfoques innovadores.

    • Se podría llamar la arrogancia ingenua del principiante.
      También se vio cuando George Hotz intentó sacudir a las empresas de chips con sus planes de chips de IA https://geohot.github.io/blog/jekyll/update/2021/06/13/a-bre...; parece que no entendía bien la complejidad. Aunque hay que reconocerle que rápidamente giró hacia el software y a fabricar tiny-box.
    • ¿Cuántos expertos en diseño de chips hay en YC?
    • Hay un camino obvio para avanzar, pero parece ser una opinión minoritaria, o quizá una visión marginal. No sigue los compromisos tradicionales.
      Un arreglo sistólico de propósito general, no von Neumann y a nivel de bits, podría acelerar enormemente no solo los cálculos de IA sino casi todo. Es decir, un chip que hace cómputo de propósito general.
      El diseño del chip en sí es casi trivial. Creo que alguien con algunos años de experiencia podría hacerlo en pocos días. Quiero enviar un diseño al próximo TinyTapeout. Como tengo ingresos fijos, tuve que esperar un tiempo.
      El verdadero problema es la programación. Es casi una frontera infinita e inexplorada. No hay una buena forma de apuntar a esta arquitectura, y no querrías usar Verilog ni otro lenguaje de descripción de hardware.
    • Incluso un camino obvio puede ser riesgoso. Primero, conviene poder repartir el riesgo; segundo, con más inversión también aumentan las conexiones.
      Sobre el boom de los LLM, creo que al final nos daremos cuenta de que combinar LLM y algoritmos permite hacer mucho más que usar solo LLM. Tal vez “algoritmos” no sea la palabra adecuada; me refiero a herramientas auxiliares como bases de datos, algoritmos u otros modelos. Por ejemplo, se podría entrenar al LLM no con todo el conjunto de datos, sino solo con la API de acceso.

  • No sé nada sobre diseño de chips.
    Pero siempre me suena sospechosa la frase “aplicar IA al campo X no funciona, porque X es complejo y los LLM actuales rinden peor que los humanos”.
    Los VC no están invirtiendo para mejorar X con los sistemas actuales basados en LLM, sino en un futuro en el que los sistemas basados en LLM serán 100 veces más capaces.
    Escribir también era complejo y los LLM antes eran peores que los humanos, pero ahora eso cambió. Lo mismo pasa con el arte digital y la música. Basta ver suno.AI. Hay un patrón aquí.

    • El artículo no lo trata en profundidad, pero uno de los grandes obstáculos para lograr rendimiento sobrehumano en Verilog es la falta de datos de entrenamiento de alta calidad.
      La mayor parte del Verilog de nivel experto es privado, así que los LLM suelen ser mucho peores en Verilog que en Python. Y aun así, los LLM también son bastante malos en Python.
    • La IA todavía es peor que los humanos incluso en arte. El diagrama de Venn entre la gente optimista con los LLM y la gente que no entiende las curvas logísticas se siente como un círculo.
    • En este caso concreto, cuesta ver cómo los LLM podrían llegar de aquí hasta allá. El problema no es el código repetitivo, como cuando se construye un sitio web en React, sino la arquitectura realmente nueva y, en particular, las decisiones arquitectónicas que hay que tomar durante el proceso.
      Algunas de ellas pueden parecer muy arbitrarias, y para acertar hace falta una comprensión profunda. No se puede inferir eso solo a partir de tokens como en el lenguaje. Importa una comprensión fundamental de las leyes físicas y de las reglas empíricas.
    • Aun así, no veo una startup aquí.
      Si en algún caso de uso los LLM llegan a ser buenos en este campo, quienes se beneficiarían no serían pequeñas startups, sino las empresas de diseño de chips existentes.
    • Escribir era complejo y los LLM antes eran peores que los humanos, pero ahora pueden reemplazar fácilmente a un humano promedio. Como están ajustados para dar respuestas atractivas para los humanos, eso es especialmente cierto en estos casos de uso de valor subjetivo.
      El diseño de chips no se ve muy parecido. Se parece más a casos donde ayuda una herramienta entrenada de forma especializada. Las capacidades que un LLM general ha mostrado en tareas específicas son sorprendentes, pero hay cosas en las que parece muy difícil que un modelo entrenado con un corpus amplio de texto supere a una herramienta especializada. Volviendo al primer párrafo: ¿de verdad no te parece sospechoso pensar que un modelo entrenado con texto va a ganarle a Stockfish en ajedrez?

  • YC, como la mayoría de los inversionistas, está tirando de todo y rezando con la IA

    • A las startups de herramientas de automatización de diseño les va realmente difícil. Primero, los clientes no compran productos de startups y, segundo, el espacio para una salida mediante adquisición es muy pequeño
    • Se puede ganar dinero con la lógica del “tonto más grande”. Una venta exitosa, es decir, una salida, no necesariamente implica una empresa exitosa y rentable

  • Por lo que leo, la aceleración por hardware de un algoritmo específico puede ser 100 veces más rápida y eficiente que ejecutar el mismo algoritmo por software en un procesador de propósito general, y como el diseño automatizado de chips ha demostrado ser un espacio de problemas difícil, la idea sería aplicar IA para bajar la barrera de entrada a aceleradores de hardware especializados para distintas tareas
    No creo que signifique que la IA diseñe chips 100 veces mejor que los humanos; creo que esa es la concesión de ingeniería de la que hablan. Dicho eso, la redacción es tan dolorosamente torpe y comercial que no se puede culpar a nadie por confundirse

    • Leyéndolo con generosidad, yo también lo veo así
      Además, el texto original parece errar el punto al decir que las aplicaciones objetivo tienen mercados demasiado pequeños como para valer la pena
      Vistos de a uno, no son lo bastante grandes como para crear la capitalización bursátil de una empresa, pero una startup hipotética de chips de IA podría perseguir varios de esos mercados pequeños al mismo tiempo. ¿No sería una estrategia de cola larga?

  • Es un buen artículo, pero el principio central de YC es asumir que la tecnología sigue avanzando exponencialmente y pensar qué hará posible eso
    Sus propuestas siempre asumen que una startup se subirá a una especie de ley de Moore de la IA, y la síntesis de hardware es un caso de uso evidente. Es decir, asumen que en dos años habrá una empresa exitosa de síntesis de hardware con IA, y tratan de adelantarse a esa curva
    Estoy de acuerdo en que probablemente se equivocan, pero este artículo en realidad no explica por qué está mal apostar por el avance exponencial de las capacidades de la IA