Límites y problemas de la IA actual
Por qué es difícil usar la IA para fines serios
- Desde la perspectiva de la ingeniería de software, los sistemas de IA actuales carecen de confiabilidad porque les resulta difícil gestionar de forma efectiva la complejidad y la escala.
- El software de alto impacto debe contar con transparencia, capacidad de gestión y rendición de cuentas, pero la IA actual no cumple con estos requisitos.
- Falta responsabilidad sobre el origen de los datos, y también es ambiguo quién responde por los resultados de los algoritmos de IA.
- Ha habido intentos de "IA explicable" y de mitigación de sesgos, pero los problemas fundamentales de responsabilidad sobre los datos y la dificultad de ingeniería siguen sin resolverse.
Cómo funciona la IA basada en redes neuronales
- La IA actual se basa en redes neuronales a gran escala (LLM, Generative AI, etc.), con millones de neuronas interconectadas.
- El entrenamiento se realiza principalmente mediante aprendizaje no supervisado o auto-supervisado, con mínima intervención humana.
- La funcionalidad del sistema se determina durante el proceso de entrenamiento, en el que aprende a partir de los datos proporcionados para cumplir objetivos de salida.
- Requiere enormes recursos de cómputo, lo que implica costos y consumo energético muy altos.
La naturaleza no estructurada de las redes neuronales y el "comportamiento emergente"
- Los sistemas de IA actuales muestran comportamiento emergente, y es difícil explicar el funcionamiento del sistema completo solo con la definición matemática de neuronas individuales.
- La estructura interna del sistema no tiene una relación funcional y significativa, por lo que no es posible reutilizar componentes ni desarrollar de forma modular.
- No existen modelos intermedios ni un enfoque de desarrollo por etapas, y es difícil explicar las razones y la lógica del sistema.
- Incluso un "enfoque con intervención humana" no ayuda de manera sustancial a explicar los resultados del sistema.
El enfoque composicional en la ingeniería de software y el problema de la IA
- El enfoque composicional (compositionality) consiste en explicar el sistema completo entendiendo el significado de las partes individuales y cómo se combinan.
- La IA actual no soporta este enfoque, lo que provoca los siguientes problemas:
- La estructura interna carece de significado, por lo que no es posible la reutilización funcional.
- No es posible el desarrollo ni la verificación por etapas.
- Al no existir un modelo de conocimiento explícito, el sistema no puede explicar el "porqué".
Los límites de la verificación
- En los sistemas de IA actuales, el espacio de entradas y estados es demasiado grande, por lo que las pruebas exhaustivas son imposibles.
- En un sistema probabilístico, una salida correcta solo muestra una posibilidad para esa entrada, pero no garantiza siempre un resultado confiable.
- No es posible hacer verificaciones parciales como pruebas unitarias o de integración; solo puede verificarse el sistema completo.
- Incluso al probar el sistema completo, la cobertura es insuficiente, por lo que es difícil asegurar la confiabilidad.
El problema de los errores y las correcciones
- Pueden producirse errores por falta de datos de entrenamiento o por imperfecciones en los datos de entrada.
- Aunque se vuelva a entrenar para corregir errores, no es posible hacer correcciones localizadas y también es difícil realizar pruebas de regresión.
- Es muy probable que se introduzcan nuevos errores, y resulta difícil detectarlos.
Conclusión y propuestas
- Los sistemas de IA actuales carecen de confiabilidad y seguridad, por lo que no son adecuados para usos críticos.
- La tecnología actual solo permite mejoras limitadas mediante el aumento de datos de entrenamiento y recursos de cómputo, sin lograr una mejora fundamental en la confiabilidad.
- Propuestas:
- Desarrollar sistemas híbridos que combinen redes neuronales con IA simbólica.
- Generar modelos de conocimiento explícitos y niveles de confianza, o combinarlos con técnicas existentes de búsqueda de datos y demostración.
- Usarla en ámbitos limitados donde los errores puedan gestionarse de forma confiable.
- Aplicarla en áreas específicas como el pronóstico del tiempo, donde la predicción probabilística resulta adecuada.
13 comentarios
La clave es que la IA actual depende de una verificación inductiva sin ninguna validación deductiva: como fue segura hasta ayer y hoy también lo es, entonces probablemente mañana también lo será.
Como en la teoría del cisne negro, sigue existiendo la posibilidad de que algún día ocurra una anomalía fatal y, visto de otra manera, la seguridad actual depende de la suerte.
En la ingeniería de software tradicional, este problema podía abordarse identificando y analizando elementos individuales, y validándolos deductivamente por unidad mediante el diseño de escenarios y pruebas, pero en la IA eso todavía es completamente imposible.
Un problema que Tesla ya está resolviendo con la conducción autónoma..
Parece que el gran problema es que, como no es posible verificar el sistema del modelo, la confiabilidad no puede llegar al 100%. ¿Cómo se está resolviendo eso en la conducción autónoma?
Tesla está mostrando un ejemplo de cómo aplicar de verdad la IA al mundo real.
Nada puede ser 100%. El 100% es una estafa o una ilusión.
Como cualquier startup, avanzamos paso a paso, de manera ágil.
También podemos hacer remote control en situaciones problemáticas, y por ahora lo estamos operando de forma supervisada.
¿No es que el punto en discusión no es la cifra en sí de una confiabilidad del 100%, sino que la estructura del modelo no es explainable?
Parece que lo central es que, respecto a los resultados de inferencia del modelo, muchos de los enfoques actuales de deep learning, especialmente los basados en modelos de redes neuronales, son difíciles de explicar solo mostrando su estructura interna.
Últimamente, varias investigaciones y empresas como Anthropic ya están proponiendo métodos para resolver el problema de la black box, así que da la impresión de que pronto volverá a ser un problema resuelto.
Creo que tanto el 100% como la explicabilidad son una ilusión.
Como en el argumento de la "habitación china", lo importante es que, al final, la conducción autónoma de Tesla sea estadísticamente más segura que la conducción humana. Y la inteligencia artificial seguirá escalando y funcionará bien en "casi" todos los casos, acercándose al 100%.
Muchos gurús (Elon Musk, Eric Schmidt, etc.) dicen que la inteligencia artificial necesita barreras de seguridad precisamente porque saben que no es explicable.
Esto está en la opinión de Hacker News de abajo.
Si no consideramos la explicabilidad del modelo y solo evaluamos la precisión de los resultados, ¿cómo podemos confiar en el producto y usarlo?
Como lo plantea de forma demasiado ambigua, no termino de entenderlo bien, pero ¿no es importante que el funcionamiento interno del modelo también "deba ser explicable" para que sea posible validarlo hasta cierto nivel?
Según la opinión de kandik, la razón de ser de la Functional Safety desaparece.
¿Es posible explicar la mente humana? Si la mente humana no puede explicarse, entonces ¿cómo seleccionamos a los nuevos empleados?
La mecánica cuántica es un modelo 100% estadístico, y aun así explica bien el mundo.
También es posible que el concepto de "confianza" cambie con el avance de la tecnología.
De una forma u otra, desde la perspectiva de los desarrolladores, no puede dejar de ser una situación agotadora. Al final usan la IA para trabajar más cómodos, pero como no saben qué tan estrictas deben ser las pruebas adicionales para garantizar la fiabilidad, termina siendo un problema.
Al crear un producto, es bueno que sea explicable. Al final, como una persona no es un producto, en ciertos problemas se puede responsabilizar a la propia persona, pero si un producto tiene defectos, la responsabilidad recae en quien lo hizo.
Por eso mismo, también es aún más necesario hacer las pruebas en un entorno lo más cercano posible a la realidad. Como no conocemos el principio de funcionamiento, no queda más que entrenarlo de forma que haya la menor cantidad posible de situaciones excepcionales.
Opiniones de Hacker News
He seguido el desarrollo de las redes neuronales desde mediados de los años 90 y he observado que cada etapa de las redes neuronales llega a un callejón sin salida. Esto se debe a que el enfoque matemático dificulta la comprensión intuitiva. Resulta interesante que los LLM faciliten la búsqueda semántica.
No se puede predecir la escalabilidad de los sistemas de IA actuales. En comparación con el cerebro humano, tienen muy pocas conexiones neuronales.
La IA basada en LLM tiene fallas desde la perspectiva del desarrollo de software y no es adecuada para aplicaciones importantes.
Los humanos también cometen errores incluso en tareas importantes, y los sistemas de IA no son la excepción.
Ya se está usando activamente la IA y ha sido de gran ayuda en proyectos personales.
La expansión de datos ya no ofrece grandes beneficios. Los LLM no son el camino hacia la AGI.
Hay mucho debate sobre si la IA representa la inteligencia. El cerebro humano tampoco es confiable, y se discute la idoneidad de los LLM en ciberseguridad.