Speakz - herramienta de doblaje con IA creada para ver videos en otros idiomas junto a una niña de 7 años

Speakz: servicio de traducción multimedia multilingüe

• Traduce un video en un idioma a otro y genera una nueva pista de audio
• Ofrece traducciones naturales y auténticas al armonizar el significado, la personalidad y el ritmo, mientras preserva la voz original, otros sonidos y la música de fondo
• El desarrollador creó la herramienta para que él, siendo alemán, y su hija de 7 años pudieran disfrutar contenido de YouTube en alemán

Idiomas compatibles y velocidad de traducción

• Idiomas de salida: admite inglés, chino, español, árabe, francés, ruso, alemán, italiano, coreano, polaco y neerlandés
• Idiomas de entrada: adicionalmente admite varios idiomas como hindi, bengalí y portugués
• Traducir un video de 30 minutos toma alrededor de 1 hora, con potencial de avanzar hacia traducción en tiempo real y streaming

Usos para creadores y usuarios generales

• Los creadores pueden usar Speakz para llegar a una audiencia más amplia con su contenido existente
• YouTube permite agregar varias pistas de audio a los videos, por lo que con Speakz se pueden añadir automáticamente pistas de audio en distintos idiomas
• Los usuarios generales también pueden unirse a la beta privada para traducir los videos que quieran

Costos y participación en la beta privada

• El costo aún no está definido, pero se estima en unos 5 dólares por hora por idioma
• Podría haber descuentos por volumen para creadores o al traducir el mismo video a varios idiomas
• Los usuarios que quieran participar en la beta privada pueden postularse a través del sitio web

Opinión de GN⁺

• Speakz es una herramienta útil tanto para quienes quieren consumir contenido multilingüe como para creadores que apuntan al mercado global
• La función de traducción en tiempo real tiene el potencial de derribar barreras idiomáticas en transmisiones en vivo o eventos en tiempo real
• Otros servicios con funciones similares incluyen los subtítulos automáticos de Google o plataformas de traducción comunitaria como Amara
• Al adoptar Speakz, hay que considerar la precisión de la traducción y los matices culturales
• El beneficio de elegir esta tecnología es el acceso a contenido sin barreras idiomáticas, aunque es necesario considerar el costo y la calidad de la traducción

[GN⁺]

Opiniones de Hacker News

• En Alemania, la mayoría de los videos se doblan, pero se opina que incluso un niño de 7 años podría leer subtítulos, y que eso sería una buena forma de aprender inglés. En Suecia, se dice que la mayoría de los niños aprenden inglés de esta manera antes de entrar a la escuela. También se plantea la afirmación de que existe una fuerte correlación entre los países donde el doblaje es común y un menor nivel promedio de inglés.
  • La muestra del sitio web es impresionante, y surge la pregunta de cómo se realiza la separación de hablantes y la clonación de voz. Se especula que podría incluir un proceso de dividir por oraciones usando reconocimiento de voz e indicadores de tiempo, ofrecer varias opciones de traducción con un motor de traducción, clonar la voz original sin importar el idioma y elegir la traducción que mejor coincida en tiempo.
• Hay una solicitud para agregar inglés simple como opción de idioma de salida. Esto permitiría ajustar la complejidad del idioma al nivel de los niños e ir retirando gradualmente el apoyo.
• Un usuario de ruso elogia que el doblaje de la muestra de Lex se parece muchísimo a la realidad. Dice que no está al nivel de un doblaje profesional, pero que es muy bueno y también muy cercano a las voces de Lex y Elon.
• Un usuario con experiencia desarrollando una solución de generación automática de subtítulos elogia el proyecto de doblaje automático. Explica que el doblaje automático requiere ajustes manuales para lograr un resultado cómodo para la audiencia, y que están enfocados en ofrecer un editor avanzado que permita afinar el doblaje sin tener que volver al software de edición.
• Hay comentarios de admiración por el proyecto, junto con la opinión de que estarían dispuestos a pagar por video de forma individual. Como retroalimentación sobre la página, se señala el problema de que el video sigue reproduciéndose, lo que dificulta comparar la misma parte en distintos idiomas. También se mencionan errores de traducción y problemas de sincronización, además de casos en los que partes del audio original no se traducen.
• Se comenta que la experiencia con doblaje al neerlandés había sido solo en TV infantil, pero que el modelo en neerlandés necesita mejoras. En particular, se dice que el doblaje de un documental taiwanés fue difícil de entender. También se cuestiona por qué se incluyó el neerlandés, mencionando que la mayoría de los hablantes de neerlandés entienden inglés.
• Se señala que en muchos países donde las películas y programas de TV no se doblan, como Grecia, las personas con discapacidad visual o problemas de visión por envejecimiento, si no dominan el inglés, no tienen más opción que ver películas y programas producidos localmente. Se valora este proyecto como una posible solución a ese problema.
• Se elogia lo ingenioso del método de sincronización de audio, y se pregunta qué modelo están usando.
• Se comenta que, al ver contenido en alemán, alguna vez surgió la duda de si los subtítulos en inglés habían sido generados por IA. A veces los subtítulos se sienten más confusos que el alemán y parecen generados automáticamente, más que hechos por un traductor real que use pistas de contexto y otros elementos.