¿Por qué no conocí GNU Parallel todo este tiempo?

• GNU Parallel es útil para ejecutar pruebas E2E en paralelo
• El autor quería recopilar estadísticas sobre la tasa de aprobados/reprobados de un conjunto de pruebas de larga duración sobre un servicio en vivo a través de HTTP
• Al principio, el autor ejecutó las pruebas usando bucles anidados en bash, pero como cada prueba tardaba mucho en ejecutarse, este método era lento
• Después usó GNU Parallel para ejecutar las pruebas en paralelo, logrando una gran mejora en rendimiento y funcionalidades con menos código
• En GNU Parallel se especifica que los comandos se ejecuten en paralelo, y los marcadores de posición ({1}, {2}, etc.) se reemplazan con valores de entrada
• La entrada para el comando se especifica después del operador ::: y se proporciona al comando en todas las combinaciones posibles
• GNU Parallel ofrece opciones para controlar la concurrencia y evitar la contención de recursos, como limitar la cantidad de trabajos simultáneos o retrasar el inicio de cada trabajo
• Esta herramienta también ofrece la capacidad de generar un archivo CSV con los resultados de finalización de los trabajos: duración, código de salida y stdout/stderr capturados
• El autor recomienda el libro de Ole Tange, creador de GNU Parallel, para explorar más a fondo funciones de la herramienta como distribuir trabajos a otros hosts usando SSH, monitorear los tiempos de finalización de los trabajos, reintentar trabajos con alta probabilidad de fallo, reanudar trabajos si la ejecución en paralelo se interrumpe a mitad de camino o limitar la concurrencia de trabajos según el uso de CPU

[GN⁺]

Comentarios de Hacker News

• Señalan la utilidad y las limitaciones de GNU Parallel, y también proponen alternativas como YSH, Nushell y Fish
• Opinión de un usuario que sostiene que las computadoras actuales tienen límites para aprovechar la paralelización, y propone más núcleos y memoria local direccionable por contenido
• Varios usuarios comparten experiencias positivas con GNU Parallel para tareas como generación de datos de prueba, transferencia de datos, muchas cargas de trabajo en HPC y pipelines con dependencias de datos simples
• Usuarios comparan GNU Parallel con otras herramientas como xargs y task spooler; comentan que GNU Parallel es útil para ciertos trabajos, pero que puede ser más lento en términos de velocidad
• Algunos usuarios expresan preocupación por el tema de las citas relacionado con GNU Parallel, debido a la petición del autor de citar la herramienta o pagar por su uso
• Usuarios comparten casos en los que GNU Parallel les ahorró mucho tiempo, como la compresión por lotes de grandes cantidades de imágenes jpeg en archivos webp más pequeños
• Un usuario menciona una versión en script de shell de GNU Parallel que puede usarse para trabajos de pipelines de CI/CD
• Usuario comparte su experiencia con los cmdlets ForEach-Object de PowerShell que incluyen el parámetro -parallel, y destaca el atractivo de paralelizar usando herramientas de línea de comandos