3 puntos por GN⁺ 2023-12-16 | 1 comentarios | Compartir por WhatsApp
  • Yahoo Pipes fue un servicio de programación visual basado en el navegador, creado en 2007 por un pequeño equipo de Yahoo, que permitía importar datos de RSS, JSON, CSV y páginas web para filtrarlos, combinarlos, procesarlos y publicarlos como nuevos feeds o salidas de datos
  • Gracias a su forma de conectar nodos y líneas sin escribir código, y a una estructura de Pipes que se podían publicar, duplicar y modificar, también las personas no desarrolladoras podían crear flujos de datos por su cuenta
  • La beta pública esperaba alrededor de 1,000 personas, pero atrajo a cientos de miles; debido a código Perl sin optimizar y recursos de servidor limitados, poco después del lanzamiento se produjo una sobrecarga masiva
  • Pipes combinó corrientes como Automator, RSS, AJAX, la cultura de los mashups, Yahoo Maps y YQL, pero sin un modelo para vender volumen garantizado de llamadas ni una misión de producto clara, quedó principalmente en modo mantenimiento dentro de los cambios organizacionales de Yahoo
  • Incluso después de su cierre en 2015, dejó influencia en herramientas como Workflow/Shortcuts, Huginn y Node-RED, así como en debates sobre programación visual; pero hoy las API de pago, las restricciones al scraping y la incertidumbre sobre derechos de autor dificultan servicios abiertos similares para combinar datos

Lo que Yahoo Pipes hizo posible

  • Yahoo Pipes era un servicio alojado en la nube que permitía traer diversas fuentes de datos de la web para que las personas usuarias pudieran filtrarlas, combinarlas y transformarlas por su cuenta
  • Las tareas que se podían crear iban desde información cotidiana hasta filtrado de noticias
    • Verificar si los registros sísmicos recientes estaban cerca de la persona usuaria
    • Reunir 100 sitios de noticias y ver solo los ítems que mencionaban gatos
    • Extraer resultados deportivos desde sitios sin feed RSS
    • Buscar departamentos en Craigslist y otros listados de alquiler que cumplieran condiciones de precio y cercanía a parques
    • Excluir artículos sobre temas sin interés de medios a los que ya se estaba suscrito
  • Cada Pipe era personal y a la vez público, y otras personas podían copiarlo y modificarlo
  • La salida podía generarse como RSS, objetos JSON, HTML, KML, XML, entre otros, y también podía incrustarse en páginas web o conectarse a flujos de procesamiento de datos de otros sitios

Programación visual en la nube creada por un equipo pequeño

  • Después de volver a Yahoo en 2006, Pasha Sadri quiso crear una herramienta para trabajar con datos aprovechando las nuevas posibilidades de interacción del navegador
  • Pipes era un proyecto de tipo skunkworks aprobado dentro de Yahoo, y el equipo central era de unas 5 personas, incluido Sadri
    • Jonathan Trevor y Ed Ho se encargaron de la programación
    • Daniel Raffel asumió la gestión de producto
    • Kevin Cheng se sumó al diseño unos meses después
  • Las personas usuarias creaban feeds de información arrastrando elementos en el navegador y conectándolos con líneas
  • Las fuentes de datos se ampliaron a noticias, salidas de bases de datos, publicaciones de blogs, Atom, RDF, CSV, páginas web y más
  • Los resultados con etiquetas de ubicación podían pasar por filtros de Yahoo Maps para limitarse por proximidad a ciertas zonas o elementos geográficos como parques

La apertura y la duplicación se convirtieron en principios de diseño

  • El equipo tomó como principio central de diseño que todos los Pipes fueran públicos y que cualquiera pudiera copiarlos y modificarlos
  • Sadri consideraba que esa apertura tuvo un papel importante para hacerlos más accesibles a personas no desarrolladoras
  • Las personas usuarias podían aprender mirando los Pipes de otras personas, y el intercambio de conocimiento quedó incorporado en la propia forma de uso del servicio
  • El nombre Pipes venía del concepto de pipelines de Unix, donde la salida de un programa se pasa al siguiente programa

La demanda y los problemas de escalado tras el lanzamiento

  • Pipes se desarrolló durante unos seis meses, desde mediados de 2006 hasta inicios de 2007, y estaba previsto lanzarlo en una beta pública discreta en febrero de 2007
  • El equipo esperaba unos 1,000 usuarios iniciales, pero justo después del lanzamiento llegaron cientos de miles de personas, y muchas no pudieron conectarse
  • Los servidores limitados y el código sin optimizar no pudieron sostener la ejecución de workflows de feeds de noticias ni la entrega de páginas, por lo que el sistema quedó completamente sobrecargado
  • Un Pipe individual podía ejecutarse incluso en computadoras personales o de trabajo de la época, pero operar todo el servicio a gran escala en la nube requería recursos considerables de centro de datos
  • En cada ejecución no cacheada, un solo Pipe podía descargar desde decenas hasta cientos de MB, y en ese momento el ancho de banda solía ser escaso y caro
  • Sadri recordó que durante los seis meses siguientes tuvo que dedicar tiempo a escalar el sistema ya construido para alcanzar la demanda

El entorno interno de Yahoo y Brickhouse

  • Sadri trabajó principalmente en Yahoo entre 2000 y 2007; en 2005 se fue a Google para participar en Google Maps y en 2006 volvió a Yahoo
  • El Technology Development Group de Yahoo, es decir TechDev, se creó como una organización para Caterina Fake, cofundadora de Flickr, y estaba bajo la Yahoo Advanced Development Division
  • TechDev tenía el rol de probar nuevas direcciones no atadas al negocio de búsqueda y atraer a empleados con perfil emprendedor
  • Fake recibió de Jerry Yang el encargo de hacer que Yahoo fuera “como Flickr”, e impulsó la creación de equipos pequeños y eficaces y la reducción de barreras organizacionales
  • Pipes fue uno de los primeros proyectos surgidos de esa corriente y luego pasó a estar bajo Brickhouse, creada en San Francisco
  • Brickhouse era vista como una “última parada” para talento creativo e inquieto que estaba por irse de Yahoo

Las expectativas creadas por la escala de Yahoo

  • Yahoo obtenía la mayor parte de sus ingresos de la publicidad en búsquedas y de sitios con licencia de búsqueda
  • Según Kent Brewster, cuando se lanzó Pipes, la página principal de Yahoo registraba 1,200 millones de visitas mensuales, y todos los sitios de Yahoo recibían más de 1,000 millones de pageviews al día
  • Después de que Brewster propusiera incluir en la página principal de Yahoo un enlace a An Inconvenient Truth de Al Gore, la exposición en la portada fue tan influyente que el propio Al Gore agradeció personalmente en una proyección cerca de la sede de Yahoo
  • Detrás del regreso de Sadri a Yahoo estaba la expectativa de que, aunque en ese momento no lanzaba proyectos exitosos tan rápido como Google, Yahoo también podía producir “la próxima gran cosa”

De Automator a una herramienta basada en el navegador

  • El concepto gráfico de Pipes recibió una fuerte influencia de Automator de Apple
  • Automator era una herramienta de macOS que permitía crear automatizaciones arrastrando a workflows lineales acciones conectadas con apps o con el sistema
  • Apple presentó Automator en 2004 con el objetivo de que usuarios generales también pudieran manejar tareas que requerían habilidades de programación
  • Pipes desarrolló la idea de Automator, pero funcionaba en el navegador, no como app nativa
  • Automator podía ampliar sus funciones con varios lenguajes y scripts disponibles en Mac, pero como Pipes era un servicio alojado en la nube, no permitía ejecutar código arbitrario y solo ofrecía un conjunto limitado de funciones
  • En ese momento, permitir la ejecución de código arbitrario en un servicio en la nube podía consumir recursos de CPU en exceso y presionar otros recursos

La dificultad de implementar la UI en el navegador

  • El núcleo de Pipes era una UI de programación visual para manipular nodos y conexiones dentro del navegador sin escribir código
  • Después de que Google Maps mostrara en 2005 arrastre, zoom y actualización de mapas en tiempo real, la interacción en el navegador con CSS, JavaScript y AJAX se volvió una base más realista
  • Los integrantes del equipo recuerdan que, antes del lanzamiento, la mayor parte del tiempo y esfuerzo se dedicó a construir la estructura de nodos y líneas y expresarla como un entorno de codificación visual
  • En ese entonces, Firefox, Opera, Safari e Internet Explorer diferían en nivel de soporte y comportamiento, e Internet Explorer en particular tenía requisitos propios de codificación y HTML
  • Sadri consideraba que hacer funcionar cajas y curvas animadas en varios navegadores fue uno de los principales logros técnicos

Mario Kart y los colores de Wii quedaron en el diseño del producto

  • Después del almuerzo, el equipo jugaba todos los días Mario Kart en Nintendo DS, y tras las partidas seguía con feedback y discusiones ordenando ideas en un pizarrón
  • Raffel consideraba importante para el desarrollo del producto intercambiar feedback en un ambiente divertido mientras jugaban
  • Jugar Mario Kart de forma repetida hizo que el equipo siguiera teniendo muy presentes las combinaciones de colores brillantes y de alto contraste en el diseño de Pipes
  • Después de la salida de Nintendo Wii en noviembre de 2006, el equipo también recibió influencia del sistema inicial de colores de Wii y de sus tonos suavemente luminosos
  • La interfaz Aqua de Apple y las iMac multicolor también fueron referencias visuales

Un modelo de ejecución que hacía visible el flujo de datos

  • Pipes empezó como un flujo lineal, pero luego evolucionó hacia una estructura más dinámica en la que cada nodo podía ejecutar scripts y código dentro del orden del programa
  • Ofrecía estructuras de control como condicionales, bucles, ramificaciones y uniones, y envío de salidas a servicios web externos, lo que permitía tareas limitadas pero cercanas a un lenguaje de programación de propósito general
  • También usaba coloración sintáctica de enlaces, con las líneas de estructura de control en gris y los flujos de datos en azul
  • El equipo veía a las hojas de cálculo como una referencia importante de modelo de programación para personas no desarrolladoras
    • En una hoja de cálculo, los datos están visibles y los resultados se actualizan de inmediato cuando cambian las entradas
    • Se puede identificar rápidamente qué está mal sin compilación ni depuración basada en logs
  • Pipes ofrecía pipelines de datos reactivos que se ejecutaban y mostraban resultados apenas se conectaban los elementos
  • El depurador de texto opcional en la parte inferior de la pantalla mostraba los resultados actuales como ítems individuales
  • Sadri dijo que en Pipes era muy difícil escribir un programa incorrecto, y que al arrastrar algo a la pantalla funcionaba de inmediato y generaba una salida

Implementación interna y deuda técnica

  • Pipes se desarrolló con iteraciones rápidas, y funcionalidades, código y diseño se siguieron creando hacia una fecha de lanzamiento no definida
  • A veces el equipo usó implementaciones abreviadas pensando que, cuando se convirtiera en un producto completo, ellos u otras personas podrían limpiarlas
  • Según Ed Ho, el código base estaba escrito mayoritariamente en Perl
  • Perl era muy usado para sistemas del lado del servidor y procesamiento de texto, pero no alcanzaba para la escala de producción que Pipes terminó requiriendo
  • Trevor evaluó que el código Perl era muy ineficiente, no escalaba bien y estaba diseñado para una prueba de concepto rápida de v1

El elogio de O’Reilly y una beta explosiva

  • A inicios de 2007, después de varios meses de desarrollo sin un punto final definido, el equipo recibió de un gerente superior la instrucción de terminar Pipes en dos semanas
  • El equipo sentía que no estaba a dos semanas de terminar, pero finalmente lo lanzó
  • Unos días antes del lanzamiento, Caterina Fake llevó a Sadri a mostrarle una demo a Tim O’Reilly
  • O’Reilly calificó a Pipes como un hito en la historia de internet y escribió que democratizaba la programación web y permitía a las personas usuarias controlar mejor los servicios de información de internet que consumían
  • Ese elogio disparó el interés, y Sadri recordó que hizo que todos los servidores se derritieran
  • Durante todo el día del lanzamiento, el uso no disminuyó, y el equipo de centros de datos de Yahoo destinó a Pipes servidores que iban a asignarse a otros grupos
  • El equipo ni siquiera había preparado una página de caída, y tras la beta primero creó una página con una frase similar a “our pipes are clogged”

Pipes que giraban sin fin y carga operativa

  • Después del lanzamiento, el equipo empezó a identificar problemas que no había podido cerrar durante el proceso de salida rápida
  • Cuando una persona usuaria creaba un Pipe, este seguía ejecutándose sin un punto de finalización separado
  • No hacía falta iniciar sesión ni solicitar actualizaciones, y los lectores RSS sondeaban actualizaciones automáticamente
  • Raffel consideraba que muchas tareas creadas como “zombis” generaron rápidamente un uso del que no estaba claro si venía de usuarios reales
  • Yahoo agregó más servidores, los programadores optimizaron el código más ineficiente y, después de unos meses, la estabilidad mejoró

Su fuerza como herramienta para combinar datos

  • Pipes creció sobre la cultura de mashups de mediados de los 2000 y el auge de RSS
  • RSS se usaba como estándar para distribuir actualizaciones de blogs, episodios de podcasts, resultados de búsqueda y otras unidades de información de una forma simple y legible por máquinas
  • Jon Udell consideraba que, como RSS estandarizaba la forma de acceso, Pipes podía sufrir menos el problema de hablar por separado con innumerables fuentes
  • Pipes manejaba no solo RSS, sino también Atom, RDF y CSV, y con algo de trabajo también podía traer páginas web y filtrar datos específicos
  • También se conectaba con servicios internos de Yahoo, en especial Flickr, y más adelante incorporó soporte para Yahoo Query Language, es decir YQL
  • YQL era un proyecto a nivel de toda la empresa para que productos internos de Yahoo y desarrolladores externos pudieran consultar mediante un endpoint común
  • Las salidas de Pipes podían incrustarse en páginas o generarse como HTML, JSON, KML, RSS o XML
  • También era posible que sitios web externos consultaran un workflow de Pipe con JavaScript y recibieran los resultados

El caso del bloqueo de Craigslist

  • Pipes era útil, pero también podía cargar a otros sitios
  • En 2009, Craigslist bloqueó Pipes después de que un desarrollador ajeno a Yahoo usara Pipes para crear un mapa de listados de alquiler de Craigslist
  • El CEO de Craigslist afirmó que Pipes consumía demasiados recursos
  • Con el bloqueo, varios mashups de internet perdieron datos, y algunos desarrolladores mantuvieron sus Pipes sin usar Craigslist como fuente de datos
  • El bloqueo se levantó unas dos semanas después

Falta de modelo de negocio y de apoyo organizacional

  • El declive de Pipes empezó desde su lanzamiento, y para escalarlo de concepto a producto completo necesitaba un equipo más grande y una misión clara
  • Kent Brewster dijo que en conferencias la gente veía Pipes y decía que era impresionante, pero cuando preguntaban cuánto podían pagar por el servicio, Yahoo tenía que responder que todavía no estaba en esa etapa
  • No existía un producto para comprar una cantidad mensual garantizada de llamadas a Pipes, y en esas condiciones era difícil que profesionales o grandes empresas invirtieran
  • En enero de 2008, Yahoo despidió a unas 1,000 personas, y luego rechazó la oferta de adquisición en efectivo y acciones de Microsoft por USD 44,600 millones
  • Más adelante ese mismo año, despidió a otro 10% del personal, unas 1,500 personas
  • Desde 2008 hasta su venta y desmantelamiento de facto en 2017, el acontecimiento más destacado en los resultados financieros de Yahoo fue el acuerdo de Marissa Mayer en 2012 para vender la participación en Alibaba
  • Yahoo había adquirido en 2005 su participación en Alibaba por USD 1,000 millones, y al momento de la venta su valor había subido a USD 7,600 millones

Brickhouse y la disolución del equipo

  • Brickhouse creó varios proyectos que recibieron atención de medios tecnológicos en 2007
    • BravoNation: un sistema en línea para darse elogios
    • FireEagle: un servicio que ofrecía información de ubicación e intermediaba la privacidad
    • KickStart: un sitio para conectar a estudiantes universitarios con empleos
    • Yahoo Live: un servicio temprano de streaming de webcams en vivo
  • Esos proyectos no llegaron al éxito
  • Fake inició su licencia por embarazo y maternidad en abril de 2007 y dejó Yahoo en junio de 2008
  • Bradley Horowitz se fue a Google en febrero de 2008, y Salim Ismail se fue en marzo de 2008
  • Chad Dickerson también se fue a mediados de 2008, en una época similar a Fake
  • Brickhouse cerró a fines de 2008
  • El equipo de Pipes también se dispersó: algunos dejaron Yahoo y otros se mudaron a otros equipos, y el soporte del servicio pasó a personal de administración dentro de la compañía

Por qué Pipes sobrevivió tanto tiempo y su cierre

  • Sadri fundó Polyvore unos meses después del lanzamiento de Pipes
  • Polyvore era una plataforma donde las personas usuarias podían compartir collages de imágenes, y se usaba con frecuencia en moda y diseño de interiores
  • Yahoo adquirió Polyvore en 2015, y Sadri luego estuvo en Sutter Hill Ventures
  • Ho también se fue en una época similar a Sadri, y Cheng y Raffel se fueron dentro del primer año tras el lanzamiento de Pipes
  • Trevor permaneció en Yahoo hasta 2010, moviéndose entre varios equipos y llevándose Pipes con él, y dijo que gracias a eso el servicio pudo mantenerse por más tiempo
  • Trevor reescribió Pipes de Perl a Java para hacerlo compatible con el lenguaje interno YQL
  • Consideraba que, después de eso, solo quedaba esperar cuándo lo apagarían
  • Yahoo cerró definitivamente Pipes en 2015
  • En el hilo de Hacker News sobre el anuncio de cierre, siguieron apareciendo usuarios que buscaban alternativas y reacciones lamentando el potencial no concretado
  • Sadri escribió entonces que “ojalá Pipes se hubiera lanzado en la era de los contenedores, por ejemplo Docker”, y que existía la idea de desplegar con un clic en lo que hoy llamamos contenedores

La influencia que dejó en herramientas posteriores y en la programación visual

  • Pipes inspiró a una generación de programadores, diseñadores de UI y responsables de producto
  • Workflow, una app de automatización para iPhone/iPad adquirida por Apple en 2017, luego fue cerrada e integrada, y volvió a distribuirse como Shortcuts en iOS, iPadOS y macOS; se la menciona como una de las herramientas cercanas a Pipes
  • Andrew Cantino, creador de Huginn, escribió en Hacker News en 2021 que Yahoo Pipes lo inspiró a crear Huginn
  • Node-RED se lanzó en 2013 y se menciona como una herramienta con un espíritu similar a Pipes
  • Las herramientas públicas y privadas mencionadas como alternativas a Pipes siguieron aumentando
  • Una persona usuaria del hilo de cierre en Hacker News compartió que Pipes sirvió como base para clases de mashups de datos, y que estudiantes no desarrolladores podían crear pequeñas apps de datos personalizadas en unas horas
  • Ese caso incluía geocodificar un blog de arte callejero mediante extracción de entidades de ubicación y generar un feed enriquecido como vista de mapa

Por qué hoy es difícil crear un servicio similar

  • Greg Wilson dijo que las herramientas de programación visual existen ampliamente como herramientas especializadas por oficio e industria, y que incluso animación avanzada de Hollywood se crea con herramientas que conectan bloques de flujo de datos como Yahoo Pipes
  • También se menciona que MATLAB, como plataforma de modelado matemático, tiene cerca de 4 millones de usuarios en todo el mundo, y que muchos usan interfaces de programación visual
  • Una de las razones por las que las herramientas gráficas de propósito general no se difundieron ampliamente es la incertidumbre sobre derechos de autor
  • Anil Dash escribió en un comentario al artículo de O’Reilly sobre Pipes en 2007 que no había respuesta a si la existencia de un feed permite implícitamente suscribirse, sondearlo con frecuencia y volver a publicarlo
  • Incluso 16 años después, esas preguntas no se resolvieron con claridad, y el riesgo de demandas puede tener un efecto inhibidor sobre empresas que quieran crear servicios gratuitos o pagos
  • La internet actual cerró con más candados los feeds de información libremente disponibles, y también restringe con más fuerza el scraping que trae páginas web comunes para parsear datos
  • Sadri dijo que muchas API legítimas se convirtieron en API comerciales detrás de planes de pago
  • Aun así, el cariño por Pipes permanece, y Sadri dijo que piensa si con la infraestructura actual sería posible crear una versión de próxima generación como “Pipes 2”

1 comentarios

 
GN⁺ 2023-12-16
Opiniones de Hacker News
  • Como empleado de Retool, trabajé en este artículo; es la segunda entrega de una serie periódica sobre nuevos entornos de programación que tuvieron un gran impacto en los desarrolladores.
    Estos artículos son proyectos hechos con mucho cariño, y nos gusta poder hablar directamente con los equipos originales que crearon productos que tuvieron una influencia formativa en nosotros.
    Una de las partes más interesantes de crear productos como Retool es la evolución de ideas del pasado, y en viejos papers y productos de computación hay muchas grandes ideas que se adelantaron a su época o que se perdieron en los cambios de la industria.
    Pipes fue un punto de referencia al crear nuestro nuevo producto, Retool Workflows, y hay muchas otras ideas de entornos de programación que queremos cubrir en el futuro; si cada quien tiene algún entorno al que le tenga cariño, nos encantaría saberlo.
    El primer artículo en profundidad fue sobre Visual Basic: https://retool.com/visual-basic
    Retool Workflows: https://retool.com/workflows

    • Me gusta el enfoque artístico, pero en Firefox 120 sobre Linux 6.6 la página casi no funciona.
      En general se traba muchísimo y el secuestro del scroll es grave; Chromium va mucho más fluido, pero el secuestro del scroll sigue siendo malo.
      Normalmente no consideraría Linux una plataforma objetivo a la que haya que prestarle mucha atención, pero si el contenido es sobre programación, la cosa puede ser distinta.
    • Me pregunto si habrá pistas sobre la próxima entrega. ¿Podría ser algo como Smalltalk, HyperCard o NeXTSTEP Interface Builder?
    • Como autor del artículo original, gracias por este trabajo realmente genial. Todavía sigo buscando más easter eggs.
      A otros lectores les recomendaría hacer clic en todo lo que vean en el escritorio de la primera pantalla.
    • ¿Hay algún feed RSS o JSON para suscribirse solo a esta serie? Si no, al menos sería bueno tener una página web que reúna todas las entregas.
  • Pipes era mi técnica favorita de conciencia de proyecto en el trabajo, y desde entonces no he usado nada tan rápido.
    Con Yahoo Pipe combinaba entre 10 y 15 proyectos de Jira y entre 30 y 50 streams de commits de GitHub, eliminaba duplicados y los convertía en un solo feed RSS, que leía con Google Reader.
    Podía enterarme rápidamente de quién cambió qué, cuándo y dónde; y como era RSS, era excelente porque no tenía que rebuscar en el correo ni revisar varias páginas de notificaciones.

  • Extraño muchísimo Yahoo Pipes y YQL.
    En 2009 armé, básicamente, un plugin XHR (AJAX) cross-domain sobre jQuery, que permitía traer cualquier página web del lado del cliente y consultarla con XPath convertido desde selectores CSS.
    YQL devolvía JSONP y todo se sentía mágico en esa época.

    • Te convendría probar Node-RED. Ofrece toda la funcionalidad de Ypipes y más.
      Además, el hecho de que use jQuery en la UI también es una ventaja.
      Se presenta como algo para IoT, pero es muy flexible y permite hacer casi cualquier cosa.
      https://nodered.org
    • Pipes podía usarse como proxy CORS.
      En esa época hice apps cliente tipo Spotify usando solo jQuery, buscando y haciendo streaming de MP3 desde radioblogclub y VK.com, y trayendo metadatos y recomendaciones similares desde last.fm.
  • Es la animación más trabada que he visto hasta ahora. En Chrome para Android, en un Pixel 7, está completamente inutilizable; ¿hay una versión en texto?

    • También está completamente inutilizable en Chrome sobre un M1 Pro.
      Si la pestaña de esta página está visible, todas las ventanas de Chrome se vuelven inutilizables.
    • Ya lo dijeron arriba, pero agrego: en Firefox en una workstation Linux es realmente malo.
      Chromium va bastante mejor, pero el secuestro del scroll sigue siendo grave.
    • También es completamente inutilizable en Safari con una M3 Pro de 64 GB y la versión más reciente de macOS.
    • Pensé que la página se había congelado; no pude hacer que nada funcionara correctamente.
    • En iOS se traba, hace un pequeño zoom y luego se rompe, quedando como una gran página blanca desplazable.
      Si funcionara bien, la animación probablemente sería bastante genial, pero es una lástima que hayan hecho tanto trabajo para terminar expulsando lectores.
  • Quiero recomendar Pipedream, una herramienta reciente de automatización de workflows con un nombre parecido y que me gusta: https://pipedream.com/
    Si buscas automatización al estilo Yahoo Pipes, definitivamente vale la pena probarla.
    No tengo ninguna relación; solo soy un usuario satisfecho.

    • Me acabo de registrar, y parece que podría reemplazar algunos contenedores Docker que corría en el plan gratuito de fly.io y que mandaban datos al plan gratuito de Supabase.
    • Su dueño, tod sacerdoti, lo está usando como bomba de arbitraje de karma: scrapea posts populares de lobste.rs y los envía a HN.
      Para ver a qué me refiero, busca todsacerdoti en https://gerikson.com/hnlo/.
      Por la cantidad de karma de HN que acumuló, parece que le funciona bastante bien.
    • https://windmill.dev es una alternativa open source y autoalojable a pipedream.
      Aclaro que soy fundador.
    • ¿Se puede autoalojar?
  • También podría interesarles Flowpipe, un motor open source de scripting en la nube que lanzamos esta semana.
    Permite crear pipelines en HCL para encadenar consultas HTTP, ejecutar contenedores, ejecutar funciones compatibles con Lambda, hacer consultas a bases de datos y más, desde tu propia máquina y la CLI.
    También se puede combinar con Steampipe, un proyecto open source para consultar recursos cloud con SQL, y tiene más de 139 plugins.
    Nosotros estamos más enfocados en DevOps, pero Yahoo Pipes también fue una inspiración para llamar “pipes” a estas cosas.
    https://github.com/turbot/flowpipe
    https://github.com/turbot/steampipe

    • Me gusta Steampipe. Permite obtener feedback simple y claro sobre muchos recursos cloud.
      select * from cloud es un buen resumen, y voy a revisar Flowpipe también.
  • En la universidad usé Pipes para definir al azar el orden de elección de habitaciones en la residencia.
    Tomaba los titulares principales del sitio de NY Times, los hasheaba y sacaba de forma determinista un número entre 1 y 6.
    Como lo hicimos a distancia durante el verano, era la mejor forma de convencer a todos de que era justo sin tener que ejecutar código yo mismo, y fue útil además de divertido.

  • Pipes definitivamente era excelente.
    Encajaba bien con la época dorada de la Web 2.0, cuando todavía quedaba una interoperabilidad laxa y abierta gracias a tecnologías de uso extendido como RSS y similares.
    Era eficaz para encadenar cosas simples y crear algo simple pero útil.
    Pero ¿qué onda con el diseño y la cantidad enorme de trabajo de este artículo en profundidad? Retool de verdad le puso muchísimo esfuerzo, al punto de que me pregunto por qué no lo hicieron antes.

  • Me resulta interesante cómo se hacen artículos como este.
    Es evidente que le pusieron mucho cuidado y que pulir el resultado final debe haber tomado bastante tiempo, porque el contenido de alta calidad y el pulido implican costos altos.
    Aun así, todavía no tengo claro el objetivo. No parece un artículo de marketing, pero el mensaje entre líneas se lee claramente como si te gustaba Pipes, también te gustará Retool.

    • Lo estoy leyendo y tengo exactamente la misma duda.
      La calidad de producción es alta, y la URL es simplemente retool.com/pipes, así que no parece un simple post de blog.
  • Me tomó un tiempo darme cuenta de que AWS Step Functions se parece a Yahoo Pipes.
    No es tan simple ni tiene tantos componentes clicables, pero me pareció raro haber tardado tanto en notarlo.
    Probablemente alguien con más perspectiva pueda señalar en qué me equivoco.