Se acerca el momento Stable Diffusion para los LLM

xguru · 2023-03-13T11:40:39+09:00

La publicación de Stable Diffuion (SD) en agosto de 2022 fue un momento importante, y a partir de eso una innovación explosiva ha seguido avanzando hasta hoy Recientemente, ControlNet ha superado a MidJourney y DALL-E en funcionalidad La publicación de SD despertó un nuevo interés por la IA generativa, y esa ola se hizo aún más fuerte con el lanzamiento de ChatGPT en noviembre El momento SD también está llegando a los modelos de lenguaje de gran escala (LLM) Ahora ya es posible ejecutar un modelo de lenguaje del nivel de GPT-3 en una laptop personal LLaMA Los LLM como GPT-3 cuestan mucho más de construir y operar que los modelos de generación de imágenes Los mejores modelos han sido construidos por empresas como OpenAI y se puede acceder a ellos mediante API, pero no se publican para ejecutarlos directamente El modelo en sí también es enorme, así que aunque se obtuviera un modelo tipo GPT-3, no podría ejecutarse en hardware comercial (se necesitan varias GPU clase A100 de más de $8000 cada una) En los últimos años se han publicado muchos modelos de lenguaje, pero la mayoría no son adecuados para ejecutarse directamente Todo cambió gracias al modelo LLaMA de Facebook y a LLama.cpp LLaMA no es completamente abierto. Para acceder al modelo hay que aceptar varias condiciones estrictas Alguien subió una versión preliminar no oficial descargable por torrent, y así pasó a estar disponible para descarga llama.cpp Si LLaMA fuera difícil de ejecutar en una laptop personal, no sería gran cosa Georgi Gerganov, de Bulgaria, ya había creado Whisper.cpp, una versión en C++ del modelo de reconocimiento de voz Whisper de OpenAI Hizo lo mismo con LLaMA Su objetivo era hacerlo funcionar incluso en una MacBook usando cuantización de 4-bit (una técnica para reducir el tamaño del modelo y permitir que funcione en hardware más lento) Redujo el tamaño del modelo a 4GB para el modelo 7B y a menos de 8GB para el modelo 13B Funciona muy bien en una MacBook Ahora es posible ejecutar en una laptop el modelo 13B que Facebook afirma que puede competir con GPT-3 Al ver el texto generado en una laptop, se siente que el mundo está cambiando otra vez Pensé que tendríamos que esperar años para poder ejecutar un modelo del nivel de GPT-3 en el equipo que ya tengo, pero estaba equivocado. "El futuro ya está aquí" ¿Es este el peor escenario? No se trata de preocuparse por escenarios de ciencia ficción. Un LLM ejecutándose en una laptop tampoco se va a convertir en una "AGI que domine el mundo" Pero hay muchas formas en que esta tecnología puede usarse con malos fines Generación de spam, estafas románticas automatizadas, troleo y discurso de odio, noticias falsas y desinformación, radicalización automatizada Antes de este momento, existía al menos una capa delgada de defensa: empresas como OpenAI podían controlar cómo interactuaban las personas con estos modelos Pero ahora que se pueden ejecutar en el hardware de cada quien, ese tipo de control desaparece por completo ¿Cómo usar esto para un buen propósito? Creo que esto tendrá un gran impacto en la sociedad. Mi prioridad es guiar ese impacto hacia una dirección positiva Es fácil caer en una visión cínica que piense que la IA generativa es dañina o una pérdida de tiempo Personalmente uso herramientas de IA generativa todos los días. Me han dado una mejora material en productividad y, más importante aún, han ampliado mi ambición respecto a los proyectos que realizo La semana pasada usé ChatGPT para aprender en una hora el AppleScript que necesitaba para un nuevo proyecto Seguiré explorando y compartiendo formas positivas de aplicar esta tecnología Qué observar después A menos que Facebook flexibilice las condiciones de licencia, LLaMA probablemente terminará siendo solo una prueba de concepto de que estos modelos pueden ejecutarse en hardware de consumo Ahora ya comenzó una competencia por lanzar un modelo de lenguaje totalmente abierto que ofrezca funciones tipo ChatGPT en los propios dispositivos de la gente

(simonwillison.net)

37 puntos por xguru 2023-03-13 | 3 comentarios | Compartir por WhatsApp

La publicación de Stable Diffuion (SD) en agosto de 2022 fue un momento importante, y a partir de eso una innovación explosiva ha seguido avanzando hasta hoy
Recientemente, ControlNet ha superado a MidJourney y DALL-E en funcionalidad
La publicación de SD despertó un nuevo interés por la IA generativa, y esa ola se hizo aún más fuerte con el lanzamiento de ChatGPT en noviembre
El momento SD también está llegando a los modelos de lenguaje de gran escala (LLM)
Ahora ya es posible ejecutar un modelo de lenguaje del nivel de GPT-3 en una laptop personal

LLaMA

Los LLM como GPT-3 cuestan mucho más de construir y operar que los modelos de generación de imágenes
Los mejores modelos han sido construidos por empresas como OpenAI y se puede acceder a ellos mediante API, pero no se publican para ejecutarlos directamente
El modelo en sí también es enorme, así que aunque se obtuviera un modelo tipo GPT-3, no podría ejecutarse en hardware comercial (se necesitan varias GPU clase A100 de más de $8000 cada una)
En los últimos años se han publicado muchos modelos de lenguaje, pero la mayoría no son adecuados para ejecutarse directamente
Todo cambió gracias al modelo LLaMA de Facebook y a LLama.cpp
LLaMA no es completamente abierto. Para acceder al modelo hay que aceptar varias condiciones estrictas
Alguien subió una versión preliminar no oficial descargable por torrent, y así pasó a estar disponible para descarga

llama.cpp

Si LLaMA fuera difícil de ejecutar en una laptop personal, no sería gran cosa
Georgi Gerganov, de Bulgaria, ya había creado Whisper.cpp, una versión en C++ del modelo de reconocimiento de voz Whisper de OpenAI
Hizo lo mismo con LLaMA
Su objetivo era hacerlo funcionar incluso en una MacBook usando cuantización de 4-bit (una técnica para reducir el tamaño del modelo y permitir que funcione en hardware más lento)
Redujo el tamaño del modelo a 4GB para el modelo 7B y a menos de 8GB para el modelo 13B
Funciona muy bien en una MacBook
Ahora es posible ejecutar en una laptop el modelo 13B que Facebook afirma que puede competir con GPT-3
Al ver el texto generado en una laptop, se siente que el mundo está cambiando otra vez
Pensé que tendríamos que esperar años para poder ejecutar un modelo del nivel de GPT-3 en el equipo que ya tengo, pero estaba equivocado. "El futuro ya está aquí"

¿Es este el peor escenario?

No se trata de preocuparse por escenarios de ciencia ficción. Un LLM ejecutándose en una laptop tampoco se va a convertir en una "AGI que domine el mundo"
Pero hay muchas formas en que esta tecnología puede usarse con malos fines
- Generación de spam, estafas románticas automatizadas, troleo y discurso de odio, noticias falsas y desinformación, radicalización automatizada
Antes de este momento, existía al menos una capa delgada de defensa: empresas como OpenAI podían controlar cómo interactuaban las personas con estos modelos
Pero ahora que se pueden ejecutar en el hardware de cada quien, ese tipo de control desaparece por completo

¿Cómo usar esto para un buen propósito?

Creo que esto tendrá un gran impacto en la sociedad. Mi prioridad es guiar ese impacto hacia una dirección positiva
Es fácil caer en una visión cínica que piense que la IA generativa es dañina o una pérdida de tiempo
Personalmente uso herramientas de IA generativa todos los días. Me han dado una mejora material en productividad y, más importante aún, han ampliado mi ambición respecto a los proyectos que realizo
La semana pasada usé ChatGPT para aprender en una hora el AppleScript que necesitaba para un nuevo proyecto
Seguiré explorando y compartiendo formas positivas de aplicar esta tecnología

Qué observar después

A menos que Facebook flexibilice las condiciones de licencia, LLaMA probablemente terminará siendo solo una prueba de concepto de que estos modelos pueden ejecutarse en hardware de consumo
Ahora ya comenzó una competencia por lanzar un modelo de lenguaje totalmente abierto que ofrezca funciones tipo ChatGPT en los propios dispositivos de la gente

3 comentarios

ffdd270 2023-03-13

Dice que funciona en MacBook; si quieren configurar LLAMA en MacBook, consulten esto: https://dev.l1x.be/posts/2023/03/12/using-llama-with-m1-mac/

(También estaría bueno que otra persona lo publicara como noticia 'm' b)

dkmin 2023-03-15

Gracias por compartir.

xguru 2023-03-13

Es un artículo de Simon Willison, un habitual de GeekNews.
Como él sostiene, si este tipo de modelos de lenguaje se pueden ejecutar en dispositivos personales, creo que "se amplía la ambición de los proyectos y el alcance de lo que se puede implementar".
Incluso cuando intento añadir funciones relacionadas con ChatGPT en GeekNews, el costo de la API me hace pensarlo dos veces.
Ahora que ya es posible ejecutar LLM de un nivel bastante útil en equipos personales, espero que surja una gama más amplia de aplicaciones.

Como también escribí en el GeekNews Weekly de hoy,
para que se siga hablando de una tendencia tecnológica, es importante qué tanto los negocios reales basados en esa tecnología se construyen y se lanzan a un nivel que realmente ayude a los usuarios.