Lichtfeldkamera

Lytro Illum 2. Generation Lichtfeldkamera
Vorder- und Rückseite eines Lytro, die erste Verbraucherlichtfeldkamera, die den Frontobjektiv und den LCD -Touchscreen zeigt

A Lichtfeldkamera, auch bekannt als a Plenoptikkamera, ist ein Kamera Das erfasst Informationen über die Lichtfeld aus einer Szene ausgehen; Das heißt, die Lichtintensität in einer Szene und auch die genaue Richtung, in die sich die Lichtstrahlen im Weltraum bewegen. Dies steht im Gegensatz zu herkömmlichen Kameras, die nur Lichtintensität aufzeichnen.

Ein Typ verwendet eine Reihe von Mikroverbindungen, die vor einem ansonsten herkömmlichen Bildsensor platziert sind, um Intensität, Farbe und Richtungsinformationen zu erkennen. Multi-Kamera-Arrays sind ein anderer Typ. Hologramme sind eine Art von filmbasiertem Lichtfeldbild.

Geschichte

Frühe Forschung

Die erste Lichtfeldkamera wurde von vorgeschlagen von Gabriel Lippmann 1908 nannte er sein Konzept "Integrale Fotografie". Zu den experimentellen Ergebnissen von Lippmann gehörten rohe integrale Fotografien mit einer Plastikfolie fotografische Emulsion.

1992 schlugen Adelson und Wang ein Design vor, das die reduzierte Korrespondenzproblem in Stereo -Matching.[1] Um dies zu erreichen, wird eine Reihe von Mikrolensen an der platziert Fokusebene der Kamera -Hauptlinse. Das Bildsensor ist leicht hinter den Mikrolensen positioniert. Mit solchen Bildern kann die Verschiebung von Bildteilen, die nicht im Fokus stehen, analysiert werden und die Tiefeninformationen können extrahiert werden.

Standard -Plenoptikkamera

Dies zeigt die Fähigkeit, die Brennweite zu verändern und Tiefenschärfe Nachdem ein Foto aufgenommen wurde - in der Nähe von Fokus (oben), FAR FOCUS (Mitte), Volltiefe des Feldes (unten) - mit der Lytro Illum Light Field Camera Software

Die "Standard -Plenoptikkamera" ist a mathematisches Modell Wird von Forschern verwendet, um Designs zu vergleichen. Per Definition hat es Mikrolensen, eine Brennweite von der Bildebene eines Sensors entfernt.[2][3][4] Im Jahr 2004 ein Team bei Universität in Stanford Das Computergrafiklabor verwendete eine 16-Megapixel-Kamera, um zu demonstrieren, dass Bilder nach ihrer Aufnahme neu ausgerichtet werden können. Das System verwendete ein 90.000-Mikrolens-Array, das eine Auflösung von 90 Kilopixel ergab.[2] Untersuchungen haben gezeigt, dass die maximale Grundlinie auf die Hauptschülers der Hauptlinse beschränkt ist, die relativ zu stereoskopischen Setups klein ist.[1][5] Dies impliziert, dass die "Standard -Plenoptikkamera" für Anwendungen aus nächster Nähe bestimmt werden kann, da sie in Abständen eine erhöhte Tiefenauflösung aufweist, die basierend auf den Parametern der Kamera metrisch vorhergesagt werden können.[6]

Fokussierte plenoptische Kamera

Lumsdaine und Georgiev beschrieben ein Design, bei dem das Mikrolens -Array vor oder hinter der Fokusebene der Hauptlinse positioniert werden kann. Diese Modifikation probiert das Lichtfeld auf eine Weise ab, die handelt Winkelauflösung für höher räumliche Auflösung. Mit diesem Design können Bilder mit einer viel höheren räumlichen Auflösung neu ausgerichtet werden als Bilder einer Standard -Plenoptikkamera. Die niedrigere Winkelauflösung kann jedoch einführen Aliasing Artefakte.

Codierte Aperture -Kamera

Ein Design, das einen kostengünstigen gedruckten Film verwendete Maske Anstelle eines Mikrolens -Arrays wurde 2007 vorgeschlagen.[7] Dieses Design reduziert die Chromatische Aberrationen und Verlust von Grenzpixeln, die in Mikrolens zu sehen sind, ermöglicht eine größere räumliche Auflösung. Das Maskenbasis-Design reduziert jedoch die Lichtmenge, die den Bildsensor erreicht und die Helligkeit verringert.

Merkmale

Features sind:

  • Variable Tiefenschärfe und "Refocusing": Lytros "Focus Spread" -Funktion ermöglicht die Feldtiefe (Fokusstiefe) einer zweidimensionalen Darstellung eines Lytro -Bildes, nachdem ein Bild aufgenommen wurde.[8] Anstatt den Fokus auf eine bestimmte Entfernung festzulegen, ermöglicht "Focus Spread" mehr von einem 2D -Bild im Fokus. In einigen Fällen kann dies das gesamte 2D -Bildfeld sein. Benutzer können auch 2D -Bilder in bestimmten Entfernungen für künstlerische Effekte "neu ausführen". Der Illum ermöglicht es, dass der Bereich "Refocus-Are-Focus" und "Focus Spreadable" mithilfe der optischen Fokus- und Zoomringe auf der Linse ausgewählt werden. Der Illum verfügt außerdem über "Fokusklammer", um den reflektierbaren Bereich zu erweitern, indem 3 oder 5 aufeinanderfolgende Bilder in verschiedenen Tiefen erfasst werden.[9]
  • Geschwindigkeit: Da es weniger benötigt wird, um das Objektiv vor dem Aufnehmen eines Bildes zu fokussieren, kann eine Lichtfeldkamera Bilder schneller aufnehmen als herkömmliche Point-and-Shoot-Digitalkameras.[10] Dies ist beispielsweise ein Vorteil bei der Sportfotografie, bei dem viele Bilder verloren gehen, da das Auto-Fokus-System der Kameras ein schnell bewegendes Thema nicht genau verfolgen kann.
  • Empfindlichkeit bei geringem Licht: Die Fähigkeit, den Fokus bei der Nachbearbeitung anzupassen, ermöglicht die Verwendung von größeren Apertures als machbar für herkömmliche Kameras, wodurch Fotografie in schlechten Lichtverhältnissen ermöglicht wird.[10][11]
  • 3D -Bilder: Da eine plenoptische Kamera Tiefeninformationen aufzeichnet, können Stereobilder in Software aus einer einzelnen plenoptischen Bildaufnahme konstruiert werden.[12][13]

Metalens Array

Im Jahr 2022 kündigte NIST ein Gerät mit einem Brennweite von 3 cm (1,2 Zoll) bis 1,7 km (1,1 mi) an. Das Gerät verwendete einen 39x39-Element Titandioxid Metallens Array. Jedes Metalens ist entweder rechts- oder linkskreisend polarisiert eine andere Brennweite zu erzeugen. Jedes Metalens hatte eine rechteckige Form. Das Licht wird separat durch die kürzeren und längeren Seiten des Rechtecks ​​geleitet und erzeugt zwei Brennpunkte im Bild. Die Unterschiede zwischen den Metallsen wurden algorithmisch korrigiert.[14][15]

Hersteller

Produkte

Lytro wurde von der Stanford University Computer Graphics Laboratory Alumnus gegründet Ren ng Um die Lichtfeldkamera zu kommerzialisieren, entwickelte er sich als Doktorandin.[16] Lytro'S Light Field Sensor verwendet eine Array von Mikroverbindungen, die vor einem ansonsten herkömmlichen Bildsensor platziert sind. Intensität, Farbe und Richtungsinformationen zu spüren.[17] Die Software verwendet diese Daten dann, um Anzeige- oder 3D -Bilder zu erstellen.[18] Lytro handelt in einer bestimmten Entfernung eine maximale 2D -Auflösung, um bei anderen Entfernungen eine erhöhte Auflösung zu erhalten. Benutzer können das proprietäre Bild der Lytro -Kamera in eine reguläre 2D -Bilddatei in jeder gewünschten Brennweite konvertieren. Die maximale Auflösung von 2D -Auflösung von Illum beträgt 2450 × 1634 (4,0 Megapixel), die Auflösung des 3D -Lichtfeldes beträgt 40 "Megarays".[19] Es hat eine maximale 2D -Auflösung von 1080 × 1080 Pixel (ungefähr 1,2 Megapixel),[20] Lytro stellte im März 2018 den Betrieb ein.[21]

Raytrix hat seit 2010 mehrere Modelle von Plenoptikkameras für industrielle und wissenschaftliche Anwendungen angeboten, wobei der Sichtfeld von 1 Megapixel beginnt.[22][23]

Die Photonik von D'Ptron und Rebellion bieten plenoptische Kameras, die sich auf Mikroskopie- bzw. Gasleckdetektion spezialisiert haben.

Prototypen

Das Stanford University Computer Graphics Laboratory entwickelte einen Prototyp Lichtfeldmikroskop Verwenden eines Mikrolens -Arrays ähnlich wie in ihrer Lichtfeldkamera. Der Prototyp basiert um a Nikon Finsternis übertragenes Lichtmikroskop/großes Feld Fluoreszenzmikroskop und Standard CCD -Kameras. Die Lichtfeldaufnahme wird durch ein Modul erhalten, das ein Mikrolens -Array und andere optische Komponenten enthält, die im Lichtweg zwischen dem platziert sind Objektivlinse und Kamera, mit dem endgültigen vielfähigen Bild, das verwendet wird Entfaltung.[24][25][26]

Ein späterer Prototyp fügte ein Lichtfeldbeleuchtungssystem hinzu, das aus einem Videoprojektor (der eine Computersteuerung der Beleuchtung ermöglicht) und ein zweites Mikrolensarray im Beleuchtungslichtpfad des Mikroskops. Die Zugabe eines Lichtfeldbeleuchtungssystems ermöglichte beide zusätzliche Arten der Beleuchtung (wie z. Schrägbeleuchtung und Quasi-dunkles Feld) und Korrektur für optische Aberrationen.[25]

Das Adobe Lichtfeldkamera ist ein Prototyp 100-Megapixel Kamera, die a nimmt dreidimensional Foto der Szene im Fokus mit 19 einzigartig konfigurierten Objektiven. Jedes Objektiv macht ein 5,2-Megapixel-Foto der Szene. Jedes Bild kann später auf irgendeine Weise fokussiert werden.[27]

Cafadis ist eine plenoptische Kamera, die von entwickelt wurde von Universität von La Laguna (Spanien).[28] Cafadis steht (auf Spanisch) für die Phasendistanzkamera, da sie für die Entfernung und optische Verwendung verwendet werden kann Wellenfront Einschätzung. Aus einer einzigen Aufnahme kann es Bilder erzeugen, die auf unterschiedliche Entfernungen, Tiefenkarten, All-in-Focus-Bilder und Stereopaare fokussiert sind. Ein ähnliches optisches Design kann in verwendet werden Adaptive Optik in Astrophysik.

Mitsubishi Electric Research Laboratories's (Merl) Lichtfeldkamera[7] basiert auf dem Prinzip von Optische Heterodie und verwendet einen gedruckten Film (Maske), der in der Nähe des Sensors platziert ist. Jede Handkamera kann mit dieser Technologie in eine Lichtfeldkamera umgewandelt werden, indem einfach ein kostengünstiger Film über den Sensor eingefügt wird.[29] Ein Maskenbasis-Design vermeidet das Problem des Auflösungsverlusts, da ein hochauflösendes Foto für die fokussierten Teile der Szene erzeugt werden kann.

Die pelikanische Bildgebung hat dünne Multi-Kamera-Array-Systeme, die für Unterhaltungselektronik bestimmt sind. Pelicans Systeme verwenden anstelle eines Mikro-Objektiv-Array-Bildsensors von 4 bis 16 eng verteilten Mikrokameras.[30] Nokia Investiert in die Pelican-Bildgebung, um ein Plenoptikkamerasystem mit 16-Linsen-Array zu erzeugen, das voraussichtlich in Nokia implementiert wird Smartphones im Jahr 2014.[31] Pelican wandte sich zu ergänzenden Kameras, die der Hauptkamera eines Geräts und eher eigenständigen Array-Kameras eines Geräts verleihen.[32]

Eine Zusammenarbeit zwischen der University of Bedfordshire und ARRI führte zu einer maßgeschneiderten Plenoptikkamera mit einem Strahlenmodell zur Validierung von Lichtfeldgeometrien und echten Objektabständen.[4][5]

Im November 2021 die deutsch ansässige Firma K | Linsen[33] kündigte das erste Lichtfeldobjektiv für alle Standard -Objektivmontage an Kickstarter. Das Projekt wurde im Januar 2022 abgesagt.

Die Modifikation von Standard-Digitalkameras erfordert kaum mehr als geeignete Blätter aus Mikroobjektivmaterial, daher haben eine Reihe von Hobbyisten Kameras hergestellt, deren Bilder verarbeitet werden können, um entweder eine selektive Feldtiefe oder die Richtungsinformationen zu ergeben.[34]

Anwendungen

In einer Studie aus dem Jahr 2017 stellten die Forscher fest, dass die Einbeziehung von Lichtfeldbildern in ein Online -Anatomie -Modul nicht zu besseren Lernergebnissen im Vergleich zu einem identischen Modul mit herkömmlichen Fotografien sezierter Leichen führte.[35]

Plenoptische Kameras eignen sich gut für die Bildgebung von schnell bewegenden Objekten, die Autofokusfunktionen übertreffen, und für Bildgebungsobjekte, bei denen Autofokus nicht praktisch ist, z. B. bei Überwachungskameras.[36] Eine Aufnahme von a Überwachungskamera Basierend auf der plenoptischen Technologie könnte es verwendet werden Erstellen Sie ein genaues 3D -Modell eines Subjekts.[37]

Software

Lytro Desktop ist eine plattformübergreifende Anwendung, um Lichtfeldfotografien von Lytro-Kameras zu rendern. Es bleibt geschlossen und wird seit der Erwerb von Lytro durch Google nicht aufrechterhalten.[21] In der Zwischenzeit wurden mehrere Open-Source-Tools veröffentlicht. Ein MATLAB-Tool für die Camera-Verarbeitung vom Typ Lytro finden Sie.[38] Plenopticam ist eine GUI-basierte Anwendung unter Berücksichtigung von Lytros und maßgeschneiderten plenoptischen Kameras mit plattformübergreifender Kompatibilität und dem online gestellten Quellcode.[39]

Siehe auch

Verweise

  1. ^ a b Adelson, E. H.; Wang, J. Y. A. (1992). "Single -Objektiv -Stereo mit Plenoptikkamera". IEEE -Transaktionen zur Musteranalyse und Maschinenintelligenz. 14 (2): 99–106. Citeseerx 10.1.1.53.7845. doi:10.1109/34.121783.
  2. ^ a b "Lichtfeldfotografie mit einer handgehaltenen plenoptischen Kamera". Graphics.stanford.edu.
  3. ^ Lumsdaine, A., Georgiev, T.,, Die fokussierte plenoptische Kamera, ICCP, April 2009.
  4. ^ a b Hahne, C.; Aggoun, a.; Velisavljevic, V.; Fiebig, S.; Pesch, M. (2016). "Neueinstufung einer Standard -Plenoptikkamera". Optics Express. 24 (19): 21521–21540. Bibcode:2016oexpr..2421521h. doi:10.1364/oe.24.021521. HDL:10547/622011. PMID 27661891.
  5. ^ a b Hahne, C.; Aggoun, a.; Velisavljevic, V.; Fiebig, S.; Pesch, M. (2017). "Grundlinie- und Triangulationsgeometrie in einer Standardkamera" standardmäßig " (PDF). Int. J. Comput. Vis.
  6. ^ "Schätzer des Lichtfeldgeometrie".
  7. ^ a b Ashok Veeraraghavan, Ramesh Raskar, Amit Agrawal, Ankit Mohan und Jack Tumblin. Dappled Photography: Mask Enhanced -Kameras für heterodyed Lichtfelder und codierte Apertur -Repokusion. ACM -Transaktionen auf Grafiken, Vol. 26, Ausgabe 3, Juli 2007.
  8. ^ "Lytro -Software -Update führt die Fokus -Spread -Funktion ein". Dpreview. Abgerufen 25. März 2015.
  9. ^ "Tiefenzusammensetzungsmerkmale". Lytro Illum Manual. Lytro. Abgerufen 19. Oktober, 2014.
  10. ^ a b Gebraten, ina. "Treffen Sie das verstohlene Start-up, das darauf abzielt, den Fokus der gesamten Kameratustrie zu schärfen.". Alles digital. Abgerufen 24. Juni 2011.
  11. ^ Geron, Tomio (21. Juni 2011). "Schießen Sie zuerst, konzentrieren Sie sich später mit Lytros neuer Kamera -Technologie". Forbes. Abgerufen 19. August 2011.
  12. ^ José Manuel Rodríguez-Ramos (1. April 2011). "3D -Bildgebung und Wellenfrontempfindung mit einem plenoptischen Ziel". Spie.
  13. ^ "Plenoptische Objektivarrays signalisieren Zukunft?". TVB Europa. 23. September 2011. Archiviert vom Original am 18. Dezember 2012.{{}}: CS1 Wartung: Bot: Original -URL -Status unbekannt (Link)
  14. ^ Blain, Loz (2022-04-29). "Rekordkamera hält alles zwischen 3 cm und 1,7 km im Fokus". Neuer Atlas. Abgerufen 2022-04-30.
  15. ^ Fan, Qingbin; Xu, Weizhu; Hu, Xuemei; Zhu, Wenqi; Yue, Tao; Zhang, Cheng; Yan, Feng; Chen, Lu; Lezec, Henri J.; Lu, Yanqing; Agrawal, Amit (2022-04-19). "Trilobit-inspirierte neuronale nanophotonische Lichtfeldkamera mit extremer Feldtiefe". Naturkommunikation. 13 (1): 2130. doi:10.1038/s41467-022-29568-y. ISSN 2041-1723.
  16. ^ "Lytro -Website". Archiviert von das Original Am 2011-11-04. Abgerufen 2011-10-30.
  17. ^ Carewey, Devin. "Zweifel an Lytros" Fokus später "Kamera". Techcrunch. Abgerufen 19. August 2011.
  18. ^ Lars Rehm, DP Review. "CES 2012: Lytro Photowalk." 13. Januar 2012. Abgerufen am 20. April 2012
  19. ^ "Lytro Illum 40 Megaray Light Field Kamera". Digital Photography Review. Abgerufen 2014-10-19.
  20. ^ Goldman, Joshua (26. Oktober 2011). "Lytro -Kamera: 5 Dinge zu wissen, bevor Sie kaufen". CNET -Editor. CNET. Abgerufen 21. November 2018.
  21. ^ a b "Google kauft Lytro für etwa 40 Millionen US -Dollar". Techcrunch.com.
  22. ^ "Eine Kamera mit 40.000 Objektiven verhindert verschwommene Bilder". 18. März 2019.
  23. ^ "Die erste plenoptische Kamera auf dem Markt | Petapixel". petapixel.com.
  24. ^ Levoy, M; Ng, r; Adams, a; Fußzeile m; Horowitz, M (2006). "Lichtfeldmikroskopie". ACM -Transaktionen auf Grafiken. 25 (3): 924–93. doi:10.1145/1141911.1141976.
  25. ^ a b Levoy, M; Zhang, Z; McDowall, I (2009). "Aufnahme und Steuerung des 4D -Lichtfelds in einem Mikroskop". Journal of Microskopy. 235 (2): 144–162. Citeseerx 10.1.1.163.269. doi:10.1111/j.1365-2818.2009.03195.x. PMID 19659909. S2CID 13194109.
  26. ^ "Stanford Light Field Microscope Project". www.graphics.stanford.edu.
  27. ^ Keats, Jonathon; Holland, Kris; McLeod, Gary. "Popsci's Wie es funktioniert - 100 Megapixelkamera". Popsci.com. Populärwissenschaften. Archiviert von das Original (Adobe Flash) am 2008-01-17. Abgerufen 26. Juli 2009.
  28. ^ "Cafadis - Universität von La Laguna". Archiviert Aus dem Original am 26. November 2019.
  29. ^ Amit Agrawal (2013-12-31). "Lytro vs Maskenbasis Lichtfeldkamera". Archiviert von das Original Am 2013-12-31.
  30. ^ "Pelicanimaging.com". www77.pelicanimaging.com.
  31. ^ "Die 16-Linsen-Array-Kamera von Pelican Imaging kommt nächstes Jahr zu Smartphones". 2. Mai 2013.
  32. ^ Koifman, Vladimir (2015-07-25). "Pelican Imaging Entlassungen?". Bildssensoren Welt. Archiviert Aus dem Original am 26. November 2019. Abgerufen 2015-11-17.
  33. ^ "Klens Company".
  34. ^ "Lightfield -Kamera". Cameramaker.se.
  35. ^ Pascoe, Michael A.; Lee, Lisa M. J. (September 2017). "Die Einbeziehung der Lichtfeldfotografie in eine Online -Anatomie -Ressource hat keinen Einfluss auf die Quizleistung der Schüler oder die Wahrnehmung der Benutzerfreundlichkeit". Mediziner Erzieher. 27 (3): 465–474. doi:10.1007/s40670-017-0410-8. ISSN 2156-8650. S2CID 148803076.
  36. ^ "Polydioptric Camera Design - VideoeOmetrie :: Homepage von Jan Neumann". Sites.google.com.
  37. ^ Strehlow, Anne (3. November 2005). "Informatiker erstellen eine" Lichtfeldkamera ", die Fuzzy -Fotos verbannt". Universität in Stanford.
  38. ^ "Lightfieldtoolbox".
  39. ^ "Plenopticam -Software".

Externe Links