Una cámara de “metaóptica” del tamaño de un grano de sal
(cacm.acm.org)- Investigadores de Princeton University y University of Washington implementaron una cámara de metaóptica del tamaño de un grano de sal, y proponen un dispositivo de captura de imágenes 500,000 veces más pequeño que las cámaras convencionales que ofrecen una calidad de imagen similar
- Sobre una metasuperficie de 0.5 mm de ancho colocaron 1.6 millones de nanoantenas cilíndricas, en una estructura que puede fabricarse de forma similar a un chip semiconductor, lo que aumenta su potencial de miniaturización
- Las cámaras de metaóptica anteriores tenían limitaciones para obtener imágenes nítidas, a todo color y con amplio campo de visión, pero este dispositivo genera imágenes a todo color y con amplio campo de visión con una calidad similar a la de cámaras convencionales
- Los investigadores usaron un pipeline integrado de hardware y software: optimización con IA para calcular rápidamente el diseño de las nanoantenas, y una red neuronal basada en física para eliminar las aberraciones generadas por la cámara
- Podría derivar en aplicaciones como endoscopios más pequeños, cámaras para smartphones, wearables y AR/VR, drones, arreglos que conviertan superficies completas en cámaras, y telescopios ultraligeros para el espacio
Una cámara de metaóptica del tamaño de un grano de sal
- Investigadores de Princeton University y University of Washington implementaron una cámara de metaóptica del tamaño de un grano de sal
- Esta cámara busca ofrecer una calidad de imagen a todo color comparable a la de cámaras convencionales, siendo mucho más pequeña que ellas
- Comparada con cámaras convencionales que capturan imágenes de calidad similar, es 500,000 veces más pequeña
- El dispositivo es un sistema de cámara ultraminiaturizado desarrollado por los investigadores y está basado en tecnología de metasuperficies
- La metasuperficie contiene 1.6 millones de pilares cilíndricos
- Su método de fabricación es similar al de la producción de chips de computadora
Las limitaciones de las lentes convencionales y el enfoque con metasuperficies
- En el diseño de cámaras, una restricción clave es el compromiso entre tamaño y cantidad de luz: hacer el dispositivo lo más pequeño posible y, al mismo tiempo, registrar mucha luz
- Los smartphones son un ejemplo de esto: aunque el cuerpo se vuelve más delgado, los módulos de cámara crecen y sobresalen al incorporar varias lentes para lograr mayor calidad fotográfica
- Una metasuperficie es un material artificial capaz de controlar la luz de formas singulares
- Es una estructura plana y ultradelgada, de alrededor de 0.5 mm de ancho
- Su superficie contiene millones de pilares cilíndricos llamados “nanoantenas”
- Cada nanoantena puede ajustarse para moldear la luz de una forma específica
- Las lentes refractivas estándar mejoran su desempeño mediante la forma de la superficie de la lente y cambios en los materiales, pero una metasuperficie puede controlar la luz a nivel sublongitud de onda
- La lente metaóptica de esta cámara mide 0.5 mm y el sensor mide 1 mm; una sola metasuperficie está diseñada para tener una capacidad de direccionamiento de la luz mayor que la de una lente tradicional
Diferencias frente a cámaras de metaóptica anteriores
- Los investigadores no se enfocaron en el concepto en sí de usar una metasuperficie en una cámara, sino en lograr una calidad utilizable para video e imágenes reales
- Los enfoques anteriores no habían llegado a un diseño de cámara de metaóptica capaz de capturar imágenes a todo color nítidas y con amplio campo de visión
- Este dispositivo se presenta como el primer generador de imágenes nanoóptico independiente de la polarización de alta calidad para captura a todo color y con amplio campo de visión
- Incluso comparado con cámaras convencionales un orden de magnitud más grandes, su calidad de imagen es equivalente
Diseño basado en IA y pipeline de posprocesamiento
- Los investigadores redujeron las limitaciones de sistemas de imagen metaópticos anteriores mejorando en conjunto el diseño de hardware y el posprocesamiento de software
- El primer paso consiste en calcular el diseño de las nanoantenas sobre la metasuperficie usando un algoritmo de optimización con IA
- Simular la respuesta óptica de la metasuperficie y calcular sus gradientes tiene un alto costo computacional
- Los investigadores crearon un “proxy” que aproxima rápidamente la física de la metasuperficie para calcular el diseño con rapidez
- El segundo paso consiste en procesar las imágenes capturadas por la cámara con una red neuronal basada en física
- Esta red neuronal se entrena con base en la física de la metasuperficie
- Puede eliminar las aberraciones generadas por la cámara
- Los investigadores trataron la metasuperficie como una capa diferenciable optimizable, optimizándola como una capa de red neuronal óptica que calcula con luz
- El simulador físico de la metasuperficie y el algoritmo de posprocesamiento se combinan en un solo pipeline
- Este pipeline se usa para fabricar la cámara metaóptica real
- Reconstruye las imágenes capturadas como imágenes a todo color de alta calidad
- Para que una lente funcione correctamente en aplicaciones de banda ancha, se necesita un enfoque combinado con procesamiento computacional
Aplicaciones en medicina, dispositivos de consumo y drones
- El campo de aplicación más directo es la imagenología médica
- Cuanto más pequeña es una cámara, menor es su invasividad
- Los endoscopios ultraminiaturizados con cámaras de metaóptica podrían habilitar nuevos diagnósticos y cirugías no invasivas
- También existe la posibilidad de capturar imágenes de partes del cuerpo difíciles de alcanzar con la tecnología actual
- En hardware de consumo, las cámaras y lentes también podrían diseñarse un orden de magnitud más pequeñas que en los dispositivos actuales
- La pantalla de un smartphone o la parte trasera del propio smartphone podría convertirse en una cámara
- Podrían integrarse cámaras de alta calidad en superficies de wearables como lentes o anteojos
- Los visores de VR podrían volverse más ligeros y estilizados
- Los drones también podrían verse afectados por cámaras más pequeñas
- Tanto los usos militares, como el reconocimiento, como los civiles, como la entrega, necesitan cámaras
- Cámaras mucho más pequeñas podrían traducirse en drones más ligeros y con menor consumo de batería
La posibilidad de convertir superficies completas en cámaras
- La pequeña cámara de los investigadores permite repensar las cámaras grandes como arreglos planos de cámaras del tamaño de un grano de sal
- Este tipo de arreglos podría llevar a convertir la propia superficie en una cámara
- Una metasuperficie más grande podría reemplazar las lentes necesarias en telescopios
- Podría facilitar la fabricación de telescopios
- También podría facilitar el envío de lentes más potentes al espacio
Método de fabricación y materiales
- La metasuperficie puede fabricarse con los mismos métodos que tecnologías maduras usadas en la producción de chips de computadora
- Hoy, los chips de computadora se producen sobre obleas, y una sola oblea contiene cientos de copias del mismo chip
- Como las metasuperficies también se producen de la misma forma, existe la posibilidad de reducir significativamente el costo por metasuperficie individual
- Los investigadores usaron obleas de sílice para la superficie de montaje y nitruro de silicio para las nanoantenas
- Ambos materiales son compatibles con las tecnologías de fabricación de semiconductores que se usan actualmente para producir chips de computadora
Para leer más
- Researchers shrink camera to the size of a salt grain: presentación de la investigación de 2021 de Princeton University
- Researchers develop tiny camera the size of a grain of salt – and it could turn your phone into one big camera: artículo relacionado de The Independent
- Neural nano-optics for high-quality thin lens imaging: artículo relacionado publicado en Nature Communications
1 comentarios
Opiniones en Hacker News
La frase “produce imágenes a todo color con una calidad equivalente a la de una cámara común” me generó bastante escepticismo porque el artículo no incluye ejemplos de fotos tomadas con la nanocámara, pero el paper original sí tiene ejemplos bastante impresionantes.
https://www.nature.com/articles/s41467-021-26443-0/figures/2
La nitidez y el color claramente parecen quedarse cortos.
Si simplemente reconstruye la imagen con una red neuronal, no me parece muy impresionante; sería parecido a lo que hacía Samsung cuando detectaba un disco blanco y le pegaba encima una foto de la Luna.
Hace unos años escuché algo así en una entrevista con un futurólogo: algún día los niños comprarían una hoja de stickers en una juguetería, y cada sticker en realidad sería una cámara con una dirección IPv6.
Pegas el sticker en algún lugar, abres esa dirección en el navegador y puedes ver video en vivo de la cámara.
La idea era que los componentes para armar esa tecnología ya existen, solo que todavía no son lo bastante baratos para llegar al mercado masivo; cuando entren las economías de escala, la sociedad tendrá que replantearse en serio qué significa la privacidad física.
Tal vez sea posible si se cambia mucho el significado de “sticker”.
Parece que hay que sumarle otro caso a Vernor Vinge.
Esta tecnología podría habilitar directamente la vigilancia universal de A Deepness in the Sky, así que hay que mirarla con atención.
Si no recuerdo mal, eran del tamaño de una semilla.
https://en.wikipedia.org/wiki/The_Peace_War
Puede ser porque otros temas se llevaron la atención y la inversión, aunque también parece posible que ya haya llegado a un nivel lo bastante interesante como para que muchos equipos de I+D hayan pasado a estar bajo acuerdos de confidencialidad con gobiernos.
Por cierto, el nombre correcto es “Vernor”.
Las cámaras siempre se describían como mucho más grandes que un grano de arena.
Allí, la niebla utilitaria orphidnet hace posible la percepción y visualización universales.
Aquí todos piensan en privacidad y vigilancia, pero yo me pregunto si esta tecnología permitiría acelerar nanocámaras con láser hasta velocidades relativistas para fotografiar de cerca otros sistemas solares.
Aunque no lleguemos hasta Próxima Centauri, estaría bueno tener más cámaras dentro de nuestro propio sistema solar.
https://en.wikipedia.org/wiki/Breakthrough_Starshot
Si el tamaño es muy pequeño y el campo de visión es amplio, parecería posible poner una lente convencional encima del arreglo y crear en la cámara de un smartphone un ultra gran angular de alrededor de 160×160 grados.
También sería posible una cámara independiente diminuta de 360×180 grados, y si se ponen varias cámaras en lentes de AR se podría tener una muy buena percepción del entorno en un rango de 360×160 grados.
Otra aplicación podría ser una pequeña cámara de campo de luz.
No sé si esta tecnología se puede aplicar directamente o si requeriría modificaciones, pero una cámara de campo de luz pequeña y barata sería útil para ajustar el foco después de la captura y para detección 3D y reconstrucción de escenas mejores que con estéreo.
Al leer que “implementa un posprocesamiento de imágenes basado en IA propio para generar imágenes de alta calidad desde la cámara”, cuesta considerarla comparable con una cámara común en el sentido intuitivo.
Escalado, reducción de ruido, deblurring, ajuste de color, corrección de sombras y altas luces: después de pasar por el pipeline de procesamiento, queda muy poco de lo que vio el sensor tal cual.
Las cámaras de los teléfonos lo hacen de forma mucho más extrema que las cámaras profesionales, pero todas aplican ese procesamiento.
No parece ser una noticia nueva.
Es un paper publicado en 2021, y ya se había subido aquí también.
https://news.ycombinator.com/item?id=29399828
Si es cierto, quizá se podría poner en un smartphone un arreglo de 10,000 cámaras (100×100) y hacer cosas interesantes con fotografía computacional.
Si se aplica de forma ingenua a 10,000 sensores, tomaría alrededor de 10 minutos, aunque claramente habría margen para optimización y paralelización.
Como cada sensor produce una imagen de 720×720 px, un arreglo de 100×100 daría 72,000×72,000 px, es decir, una imagen de unos 5 gigapíxeles.
Es una cantidad enorme de píxeles para que un smartphone la procese y almacene.
Por eso los profesionales todavía cargan cámaras full-frame grandes en vez de usar teléfonos.
También hay temas de velocidad, como en fotografía deportiva, pero simplificando, la velocidad también se ve afectada por la cantidad de datos a procesar y la resolución.
Los sensores de alta resolución tienen el problema de generar archivos excesivamente grandes, procesan más lento que fotos pequeñas de alta calidad y además ocupan mucho más almacenamiento.
En video esto se vuelve todavía peor.
Probablemente por eso Apple mantuvo durante mucho tiempo la cámara principal en 12 megapíxeles.
Hay una explicación de la óptica que suena muy bien, pero no queda claro cómo se registra realmente la imagen.
Además está la parte de la “red neuronal”.
Me pregunto si la IA generativa “mejora” la imagen rellenando las partes borrosas con los píxeles estadísticamente más probables.
El artículo es bastante malo.
Supongo que también se podría hacer con un modelo computacional estándar, pero requeriría muchísima capacidad de cálculo.
Así que tal vez sea una “mejora” en un sentido parecido a cómo JPEG guarda imágenes con pérdida.
(2021) El texto original real está aquí: https://light.princeton.edu/publication/neural-nano-optics/