Lanzamiento de Silurian (YC S24): tecnología de simulación de la Tierra

• Silurian está creando modelos fundacionales para simulación de la Tierra y eligió como primera aplicación el pronóstico del tiempo, donde predecir aunque sea un día antes tiene gran valor
• La predicción meteorológica tradicional ha mejorado aproximadamente 1 día cada 10 años, pero las GPU recientes y el deep learning moderno están acelerando ese ritmo
• Desde 2022, NVIDIA, Google DeepMind, Huawei, Microsoft y otros han impulsado investigaciones de predicción meteorológica basada en deep learning, y los modelos basados en datos pueden lograr mejores resultados que las simulaciones tradicionales de física atmosférica
• GFT (Generative Forecasting Transformer), creado a partir de la experiencia con ClimaX y Aurora de Microsoft, simula el clima global hasta 14 días adelante con una resolución de unos 11 km
• El objetivo a largo plazo es modelar también infraestructura afectada por el clima, como redes eléctricas, agricultura, logística y defensa; por ahora están publicando predicciones de trayectorias de huracanes de 2024

---

Empezar la simulación de la Tierra con la predicción meteorológica

• Silurian es un equipo creado por Jayesh, Cris y Nikhil, que desarrolla modelos fundacionales para simulación de la Tierra
• Su primera aplicación es la predicción meteorológica, y sus resultados recientes de predicción de huracanes pueden verse en hurricanes2024.silurian.ai
• El objetivo es escalar el modelo y llevarlo hasta el límite de lo físicamente predecible
• A largo plazo, buscan modelar también infraestructura afectada por el clima
  • Redes eléctricas
  • Agricultura
  • Logística
  • Defensa

Pronósticos con deep learning y desempeño actual de GFT

• Los sistemas tradicionales de predicción han mejorado su rendimiento alrededor de 1 día cada 10 años; por ejemplo, el pronóstico a 6 días de hoy se volvió tan preciso como el pronóstico a 5 días de hace 10 años
• Desde 2022, la investigación en sistemas meteorológicos con deep learning creció rápidamente en NVIDIA, Google DeepMind, Huawei, Microsoft y otros
• Estos modelos tienen pocas o ninguna ley física incorporada y aprenden a predecir solo a partir de datos
• Jayesh y Cris experimentaron directamente el potencial de esta tecnología al liderar en Microsoft los proyectos ClimaX y Aurora, respectivamente
  • Esos modelos fundacionales obtuvieron resultados mejores que los pronósticos de ECMWF, considerados el estándar en predicción meteorológica
  • Los datos de entrenamiento utilizados eran solo una parte de los datos disponibles
• Este verano, Silurian construyó su propio modelo fundacional, GFT (Generative Forecasting Transformer)
  • Es un modelo frontier con 1.500 millones de parámetros
  • Simula el clima global hasta 14 días hacia el futuro
  • Su resolución es de aproximadamente 11 km
• Aunque los registros históricos contienen pocos datos de fenómenos meteorológicos extremos, GFT ya mostró un muy buen desempeño en la predicción de trayectorias de huracanes de 2024
• Las predicciones de huracanes pueden consultarse directamente en hurricanes2024.silurian.ai
• Para la visualización usan la herramienta open source de visualización meteorológica cambecc/earth

[GN⁺]

Comentarios de Hacker News

• Me alegra que ahora se puedan hacer pronósticos por conjuntos de ciclones tropicales

  • Me decepciona la comparación entre el modelo de ML y el modelo HRES de ECMWF
  • HRES es una sola realización posible del clima, no la mejor estimación del clima promedio
  • NeuralGCM está entre los primeros lugares en el leaderboard de WeatherBench
  • Me gustaría comparar el rendimiento de los modelos en WeatherBench

• Un modelo sin física incorporada hace mejores predicciones solo con datos

  • El dicho de NLP de que "cada vez que despides a un lingüista, el rendimiento mejora" también aplica a los físicos

• Silurian está construyendo un modelo fundacional para simular la Tierra

  • Si tiene éxito, me pregunto qué más querrán simular

• Me entusiasma el potencial comercial de ClimaX

  • Me pregunto si alguna industria específica se ha puesto en contacto por su potencial comercial (por ejemplo, exploración de recursos naturales)

• Como organización sin fines de lucro, estamos construyendo un modelo similar para la tierra

  • Me gustaría ayudar a reemplazar la máscara de tierra por embeddings de tierra
  • Esto ayudaría mucho a hacer downscaling de los efectos regionales

• Me pregunto en qué se diferencia de GraphCast, que Google lanzó el año pasado

• Los modelos meteorológicos me confunden

  • Me pregunto si los métodos de ML son numéricamente más estables que las simulaciones basadas en física
  • Me pregunto cómo se comparan en términos de requisitos computacionales
  • En el pasado tuve la experiencia de convertir modelos de FORTRAN a Verilog

• Me pregunto si han probado este enfoque en terremotos impredecibles

• Parece otro caso más de "The Bitter Lesson"

• Me pregunto qué más simularán en el futuro

  • Construimos una demo en San Francisco para buscar objetos con lenguaje natural
  • Probé los embeddings de Clay, pero rindieron peor que los embeddings de captions de OSM ajustados finamente con CLIP