HN presenta: experiencia inmersiva de Gaussian Splat en la Sutro Tower de San Francisco

• Introducción

  • Es una descripción del modelo 3D de la Sutro Tower de San Francisco.
  • En dispositivos móviles se puede explorar la escena mediante el modo AR.
  • La Sutro Tower es una gran obra arquitectónica, y si quieres más información puedes consultar el tour digital oficial.

• Contexto técnico

  • Este escaneo fue posible gracias a los avances recientes en Gaussian Splatting.
  • Se capturó con dron y se alineó con RealityCapture; luego se entrenó con gsplat, se comprimió con SOGS y se renderizó con PlayCanvas.

• Agradecimientos

  • Agradecimientos a Wieland Morgenstern por ayudar con el desarrollo y la comprensión de la compresión Self Organizing Gaussian.
  • Agradecimientos a Donovan Hutchence por ayudar con la implementación de la decodificación del nuevo formato de compresión.
  • Agradecimientos a Daylen Yang por pilotar el segundo dron.

• Cómo usarlo

  • Anotaciones, música, control orbital: clic izquierdo, tocar + arrastrar
  • Paneo: botón central del mouse, deslizamiento
  • Vista: clic derecho
  • Zoom: rueda del mouse, pellizcar
  • Vuelo: WASD, teclas de flecha
  • Ajuste de velocidad de vuelo: Shift (rápido), Ctrl (lento)
  • Reiniciar cámara: R

[GN⁺]

Opiniones de Hacker News

• Gracias por compartir este proyecto. De verdad está increíble
• Pasé unos 30 minutos en el nivel 6 en mayo de 2023, y fue tan genial como uno puede imaginar
  • Si tienes aunque sea un poco de miedo a las alturas, esta experiencia sería una pesadilla
• No tiene nada que ver, pero las fotos aéreas de San Francisco sorprenden por lo poco densa que es la ciudad
  • Uno de los lugares más habitables del mundo está ubicado en una pequeña península
  • Pero hasta donde alcanza la vista hay un mar de casas unifamiliares
  • La distancia entre Sutro Tower y el "downtown" de San Francisco es más corta que la distancia entre el Puente de Brooklyn y Central Park
  • Uno se puede imaginar cómo sería si ese espacio estuviera lleno de casas adosadas de 2 o 3 pisos
• Mi esposa me regaló una camiseta de Sutro Tower en Navidad
  • Fue cuando salió la televisión digital OTA
  • Mientras otras personas en San Jose quitaban sus antenas de TV o las dejaban abandonadas, yo compré una antena nueva y secciones de mástil en Rat Shack y la instalé en mi casa
  • Escaneé el espectro para recibir KQED y otros canales
  • La primera vez que vi Austin City Limits en HD fue realmente increíble
  • Las estaciones de TV que llegaban a South Bay a través de Sutro eran todas excepto una
• La antena de Sutro Tower es clave para que 10 estaciones de televisión, 3 estaciones de radio FM y 20 usuarios de comunicaciones inalámbricas y móviles (por ejemplo, fuerzas del orden, taxis, autobuses escolares, internet inalámbrico, etc.) transmitan señales a toda el Área de la Bahía
• Excelente trabajo. Es uno de los mejores Gaussian Splats que he probado
  • Especialmente en lo que respecta a los objetos lejanos y al cielo
  • Pude notar más detalles en el modo VR
  • No encontré el "easter egg" hasta después de cambiar de vista
• ¡Wow! Me gustaría leer una publicación de blog más profunda que explique cómo hacer algo así por cuenta propia
  • Incluso podría aportar mi propio splat a una biblioteca colaborativa para lugares emblemáticos
  • Me imagino splats interactivos de lugares populares agregados a Wikipedia
• Como alguien que creció en los 90, esto parece uno de los pocos ejemplos realmente auténticos del "museo del ciberespacio" que imaginaban los futuristas de esa época
  • Gracias por mantener vivo el sueño
• ¡Qué genial! Alrededor de 2009, desde el punto de observación de Sutro Tower, tomé decenas de fotos de alta resolución de la ciudad con una cámara digital e hice una increíble nube de puntos en alta resolución de la ciudad usando Microsoft Photosynth
  • Empecé con muchas fotos alejadas y luego tomé imágenes de una cuadrícula superpuesta en distintos niveles de zoom
  • Si Photosynth todavía existiera, me gustaría volver a ver el resultado