Apocalipsis de la IA: el 80% de los proyectos fracasa y se desperdician miles de millones de dólares
(salesforcedevops.net)- Un nuevo informe de RAND muestra que, a pesar del hype alrededor de la IA, la mayoría de los proyectos fracasan
- RAND: uno de los principales think tanks de Estados Unidos. Su nombre significa R&D. Fue fundado por Douglas Aircraft en 1948
- El informe, basado en entrevistas con 65 científicos de datos e ingenieros con experiencia, revela las causas de fondo de estos fracasos y ofrece una hoja de ruta para el éxito
Fracaso del liderazgo: ciegos guiando a ciegos
- La principal causa del fracaso de los proyectos de IA no es la tecnología, sino la alta dirección
- Con frecuencia, los ejecutivos entienden mal o comunican mal qué problema debe resolver la IA
- La dirección suele tener expectativas infladas sobre la IA y subestimar el tiempo y los recursos necesarios para una implementación exitosa
- Sin una comunicación clara entre la dirección y los equipos técnicos, y sin una comprensión compartida de los objetivos del proyecto, muchas iniciativas de IA están condenadas al fracaso desde el inicio
- En muchas organizaciones falta la paciencia necesaria para implementar IA con éxito. A menudo los proyectos se abandonan a medio camino o se redirigen hacia nuevas prioridades antes siquiera de tener la oportunidad de demostrar valor real
El dilema de los datos: entra basura, sale basura
- La calidad de los datos aparece como el segundo obstáculo más importante: "El 80% de la IA es el trabajo sucio de la ingeniería de datos"
- Muchas organizaciones no cuentan con suficientes datos de alta calidad para entrenar modelos de IA eficaces
- Los conjuntos de datos heredados pueden no ser adecuados para el entrenamiento de IA
- La escasez de ingenieros de datos provoca pérdida de conocimiento y aumento de los costos del proyecto
- La falta de experiencia en el dominio dentro de los equipos de IA puede llevar a interpretar mal los datos y a defectos en el diseño de los modelos
Perseguir objetos brillantes: cuando los ingenieros pierden el foco
- Los propios ingenieros también pueden contribuir al fracaso de los proyectos
- Muchos científicos de datos e ingenieros se sienten atraídos por usar los avances más recientes aunque una solución más simple sería suficiente
- Esta tendencia a perseguir "objetos brillantes" puede llevar a soluciones innecesariamente complejas, difíciles de mantener y de explicar a las partes interesadas
- Las organizaciones deben equilibrar la innovación con la practicidad. Es importante mantenerse al día con los avances tecnológicos, pero el foco debe estar en resolver problemas reales del negocio de forma efectiva
Infraestructura: la base poco glamorosa del éxito
- La falta de inversión en infraestructura aparece como otro factor clave en el fracaso de los proyectos de IA
- Muchas empresas intentan iniciar proyectos de IA sin haber establecido antes la base necesaria
- Las organizaciones necesitan una visión más integral de la implementación de IA. Esto implica invertir en pipelines de datos sólidos, sistemas automatizados de pruebas y despliegue, y herramientas para monitorear el rendimiento de los modelos en producción
- Muchas organizaciones tienen dificultades para pasar de un prototipo exitoso de IA a un sistema listo para producción. Este problema de la "última milla" suele descarrilar proyectos prometedores
Recomendaciones: una dosis de realidad para las aspiraciones de IA
- El informe de RAND plantea las siguientes recomendaciones para aumentar la tasa de éxito de los proyectos de IA:
- Asegurar que el personal técnico entienda el propósito del proyecto y el contexto del negocio. El informe señala que "los malentendidos y la mala comunicación sobre la intención y el propósito del proyecto son la razón más común del fracaso de los proyectos de IA". Para esto se requiere diálogo continuo entre los equipos de negocio y los técnicos, además de esfuerzos para construir un entendimiento y un lenguaje compartidos.
- Elegir problemas sostenibles. "Antes de iniciar un proyecto de IA, los líderes deben asegurarse de que cada equipo de producto esté preparado para comprometerse al menos durante un año a resolver un problema específico." Esta recomendación contradice la tendencia a perseguir resultados rápidos o a cambiar prioridades constantemente. Al enfocarse en problemas de largo plazo y alto impacto, las organizaciones pueden dar a sus iniciativas de IA el tiempo y los recursos necesarios para tener éxito.
- Centrarse en el problema, no en la tecnología. "Perseguir la tecnología de IA más nueva por sí misma es una de las rutas más frecuentes hacia el fracaso." El informe subraya la importancia de elegir la herramienta adecuada para la tarea, incluso si no es la solución más avanzada. Esto puede exigir cambios en la forma en que las organizaciones evalúan y recompensan a sus equipos técnicos.
- Invertir en infraestructura. "La inversión previa en infraestructura para respaldar la gobernanza de datos y el despliegue de modelos puede reducir considerablemente el tiempo necesario para completar proyectos de IA." Estas inversiones pueden no ser tan vistosas como la investigación en IA, pero son cruciales para el éxito a largo plazo. Esto incluye construir pipelines de datos sólidos, implementar control de versiones para modelos y datos, y desarrollar sistemas para monitorear y mantener las soluciones de IA desplegadas.
- Entender las limitaciones de la IA. "La IA no es una varita mágica capaz de resolver problemas difíciles. En algunos casos, incluso los modelos de IA más avanzados no pueden automatizar tareas complejas." El informe pide una evaluación más realista de lo que la IA puede y no puede hacer, e insta a las organizaciones a moderar sus expectativas y enfocarse en áreas donde la IA realmente pueda generar valor.
La perspectiva académica: publicar o desaparecer
- El estudio también examinó la investigación académica en IA y encontró que la presión por publicar artículos y la búsqueda de prestigio suelen pesar más que las aplicaciones reales
- El informe señala que "si un proyecto de IA no terminaba en una publicación, no se percibía como un éxito", destacando el desajuste entre los incentivos académicos y el impacto en el mundo real
- Este enfoque centrado en las publicaciones puede llevar a que los investigadores prioricen enfoques novedosos pero poco realistas, por encima de mejoras graduales que podrían tener un impacto significativo en el mundo real
- El informe sugiere que las instituciones académicas consideren ampliar sus criterios de éxito en la investigación en IA para incluir métricas relacionadas con aplicaciones prácticas o colaboración con la industria
- El estudio también encontró que muchos investigadores académicos tienen dificultades para acceder a conjuntos de datos reales de alta calidad. Esto puede ampliar la brecha entre la investigación académica y las aplicaciones prácticas
- El informe recomienda fomentar la colaboración entre la academia, la industria y las agencias gubernamentales para dar a los investigadores acceso a datos más relevantes, manteniendo al mismo tiempo las medidas necesarias de privacidad y seguridad
Una llamada de atención para la industria de la IA
- Este informe de RAND funciona como una dosis de realidad muy necesaria para la industria de la IA
- El potencial de la IA sigue siendo enorme, pero el camino hacia una implementación exitosa está lleno de desafíos
- Las organizaciones deben cerrar la brecha entre el hype y la realidad, y enfocarse en fundamentos sólidos como la calidad de los datos, la infraestructura y una comunicación clara entre los equipos técnicos y de negocio
- Como señaló sabiamente una persona entrevistada: "Las partes interesadas quieren participar en el proceso. No les gusta que les digan: 'está tardando más de lo esperado, así que volveremos a contactarte en dos semanas'. Tienen curiosidad." Esto subraya la necesidad de una comunicación continua y transparente a lo largo de los proyectos de IA, manteniendo informadas e involucradas a todas las partes interesadas
- El informe también destaca la importancia de la paciencia y la perseverancia en el desarrollo de IA. Los resultados rápidos son poco comunes, y las organizaciones deben estar preparadas para esfuerzos de largo plazo si quieren obtener beneficios sustanciales de sus iniciativas de IA. Esto puede requerir un cambio en la cultura organizacional y en las expectativas, alejándose del pensamiento de corto plazo hacia una visión más estratégica y de largo alcance sobre la implementación de IA
- Al asumir estas lecciones y adoptar un enfoque más realista y paciente para el desarrollo de IA, las organizaciones pueden aumentar sus probabilidades de éxito en este campo transformador
"El futuro de la IA es brillante, pero solo para quienes puedan navegar los desafíos profundamente humanos que hay en el camino. A medida que la industria madure, quienes logren equilibrar innovación y practicidad, y combinar excelencia técnica con criterio de negocio, estarán en la mejor posición para aprovechar el verdadero potencial de la IA."
6 comentarios
Si las empresas pueden soportar el fracaso...
Al final, gana quien logra resistir.
Es una publicación con la que empatizo muchísimo ^^ Si me permites hacer una pequeña observación, en este contexto "Publish" suena más natural como "presentación de un paper" que como "publicación".
Una persona muy inteligente dejó hace mucho tiempo la pregunta clave... ¿Dará dinero?
Las empresas están tratando de generar ganancias rápido y venden cualquier cosa etiquetada como IA solo de nombre, mientras que el nivel de expectativa de los usuarios probablemente corresponde a resultados que requerirían al menos más de 10 años de inversión... está difícil...
Si imaginamos que se les comunica por error a los inversionistas cifras falsas de estados financieros fabricadas por un LLM, ningún directivo racional estaría tan entusiasmado con los LLM. Por más que uno lo explique, creo que para algunas personas tercas una experiencia vergonzosa les servirá de lección.
Opiniones en Hacker News
Informe de RAND: dice que "las partes interesadas de la industria malinterpretan o comunican mal los problemas que deberían resolverse con IA"
Problema del fracaso de las inversiones: el problema no es que falle el 80%, sino que entre el 20% restante puede haber algunos cisnes negros que hagan rentable todo el portafolio de inversión
Enlace al informe de Rand: Rand Report
Problema del uso indebido de la IA: muchas empresas dan la instrucción de "meter IA en todas partes"
Tasa de éxito de startups: la regla 80/20 es mejor que el hecho de que el 90% de las startups fracasen dentro de 3 años
La historia se repite: hubo un caso en el que DART se introdujo en 1991 y para 1995 compensó los fondos de investigación en IA de DARPA
Problema con las funciones de IA: las funciones de IA se mantienen porque la gerencia está excesivamente obsesionada con la IA
Tasa de éxito de I+D: en tecnología de punta, que el 20% de los proyectos tenga éxito puede ser un resultado bastante bueno
Reemplazar la programación con IA: hay una visión escéptica frente a la afirmación de que la IA reemplazará la programación
Sitio web caído: el sitio de Wordpress se cayó por no poder soportar el tráfico de HN