Um die Umgebung zu überwachen und in der realen Welt zu navigieren, sollte der Roboter in der Lage sein, Bilder und Umgebungsmessungen unter verschiedenen Hintergrundbeleuchtungsbedingungen zu erfassen. In den letzten Jahren haben Forscher und Ingenieure auf der ganzen Welt daran gearbeitet, immer fortschrittlichere Sensoren zu entwickeln, die in Roboter, Überwachungssysteme oder andere Geräte integriert werden können, die ihre Umgebung erfassen können.
Laut Memes Consulting haben Forscher der Polytechnischen Universität Hongkong, der Peking-Universität, der Yonsei-Universität und der Fudan-Universität kürzlich einen neuartigen bionischen Sehsensor entwickelt, der einen Mechanismus verwendet, der die Netzhautfunktion künstlich simuliert und in dem eine Vielzahl von Daten gesammelt wurden unter Lichtverhältnissen. Dieser bionische Vision-Sensor basiert auf Fototransistoren aus Molybdändisulfid.
Foto des biomimetischen Vision-Sensor-Arrays (links); Schematischer Aufbau der Vision Sensor Unit und lichtmikroskopische Aufnahme (rechts)
"Our research team started work on optoelectronic memory five years ago," said Yang Chai, one of the researchers who developed the vision sensor. "This emerging device can output light-dependent and history-dependent signals, enabling image integration. , Weak signal accumulation, spectral analysis and other complex image processing functions, the multi-functional integration of sensing, data storage and data processing into one device."
Im Jahr 2018 veröffentlichten Yang Chai und seine Kollegen die erste Veröffentlichung über optoelektronische Speicher, in der sie ein resistives Schaltspeichergerät vorstellten, das Lichterfassungs- und Logikoperationen durchführen kann. Ein Jahr später stellte das Team einen neuen Typ von photoresistivem Direktzugriffsspeicher mit drei verschiedenen Funktionen vor. Insbesondere kann das neue Gerät die Umgebung erfassen, die Informationen im Gedächtnis speichern und neuromorphe visuelle Vorverarbeitungsoperationen durchführen.
"We studied the concepts of near-sensor and in-sensor computing paradigms in 2020 and published our views in the field." Yang Chai continued, "This new research on biomimetic vision sensors builds on our On top of all previous efforts."
The intensity of ambient natural light varies widely, with a total range of 280 dB. When the human retina senses external light signals, it adjusts the light sensitivity of its photoreceptors (i.e., rods and cones) according to the strength of the signal. This ultimately enables the human eye to gradually adapt to varying levels of lighting, allowing it to see clearly in both dark and bright environments, an ability known as "visual adaptation."
"For example, when you enter a dark cinema from a bright hall, you can hardly see anything at first, but after a while in the cinema, it becomes easier to see things," explains Yang Chai. "This phenomenon is called scotopic adaptation. Conversely, if you go from a dark movie theater to a sunny outdoors, you'll feel very dazzled at first, and it takes a while to get used to seeing what's going on around you. The process The opposite of dark adaptation is called photopic adaptation."
The main goal of Yang Chai and his colleagues' recent work is to build a vision sensor inspired by the structure and function of the human retina. To do this, they first started by studying the human retina and then tried to design perceptual strategies that would allow them to artificially simulate visual adaptations.
Hochmoderne Bildsensoren- der-- Technik, die auf CMOS-Technologie basieren, haben normalerweise einen begrenzten Dynamikbereich von 70 dB. Dieser Dynamikbereich ist jedoch viel schmaler als der Beleuchtungsbereich natürlicher Szenen (280 dB).
"To achieve visual perception over a wide range of light intensities, researchers have explored the use of controlled optical apertures, liquid lenses, adjustable exposure times, and denoising algorithms in post-processing," said Yang Chai. "However, these Methods often require complex hardware and software resources."
Dark and light adaptation of biomimetic vision sensor arrays. (a) Schematic of the dark adaptation test: recognition of low-light images using an 8 x 8 pixel array in a dark environment. (b) Schematic diagram of light adaptation test: recognition of high-illuminance images using an 8 x 8 pixel array in a bright environment. (c) Dark adaptation process to identify the "8" pattern. (d) The photoadaptation process to identify the "8" pattern.
Optoelektronische Geräte mit licht-adaptiver Sicht und breitem Erfassungsbereich an sensorischen Terminals könnten sehr wertvolle Anwendungen haben. Beispielsweise können sie dazu beitragen, die Leistung von Computer-Vision-Tools zu verbessern, die Hardwarekomplexität zu reduzieren, die zum Bau von Robotern oder anderen Sensorsystemen erforderlich ist, und die Genauigkeit von Bilderkennungssystemen verbessern.
Allerdings haben andere Forschungsteams in der Vergangenheit optoelektronische Geräte entwickelt, die sich an unterschiedliche Lichtverhältnisse anpassen können. Die meisten der bisher demonstrierten Geräte können jedoch nur den Lichtanpassungsmechanismus der Netzhaut nachahmen. Der Dunkeladaptionsprozess erweist sich bisher als schwieriger zu simulieren.
"There is still a long way to go to fully replicate the visual adaptation function of the retina," explains Yang Chai. "To achieve this, we designed a phototransistor-based vision sensor using ultra-thin semiconductors that can The degree of dark adaptation and light adaptation in the same device was controlled by applying different gate voltages. In this way, we simulated photoreceptors and horizontal cells in the retina and successfully achieved a sensing range of 199 dB. Vision-adaptive devices in biomimetic sensors."
Künstliche Simulation von Photorezeptoren und horizontalen Zellen in der Netzhaut zur visuellen Anpassung (Dunkeladaption und Helladaption)
Der von Yang Chai und Kollegen entwickelte biomimetische Bildsensor basiert auf Fototransistoren aus einem ultradünnen Halbleitermaterial namens Molybdändisulfid. Die verwendeten Fototransistoren haben mehrere Ladungseinfangzustände, die Elektronen innerhalb des Kanals bei unterschiedlichen Gate-Spannungen einfangen oder freisetzen können.
Ultimately, these states allow researchers to dynamically tune the conductance of their devices. This, in turn, allowed them to artificially simulate the dark- and light-adaptive mechanisms of the human retina, thereby expanding the range of their sensor's perception of different lighting conditions.
"Our bionic vision sensor has several advantages and features," said Yang Chai. "First, the visual adaptation function is implemented in a single device, which greatly reduces the footprint. Second, multiple functions can be implemented on a single device. , including light sensing, memory, and processing. Finally, dark and light adaptation under different light intensities can be achieved by controlling its gate voltage."
Yang Chai und seine Kollegen bewerteten den bionischen Vision-Sensor in einer Reihe von Tests und stellten fest, dass er die Funktion der menschlichen Netzhaut effektiv nachahmen und bemerkenswerte Ergebnisse sowohl bei der Dunkel- als auch bei der Helladaption erzielen konnte. Darüber hinaus hat es einen deutlich höheren Wahrnehmungsbereich (199 dB) im Vergleich zu früher vorgeschlagenen Lösungen.
"Our vision sensor can enrich machine vision functions, reduce hardware complexity, and achieve high image recognition efficiency," said Yang Chai, "All these advantages are available in areas such as autonomous driving, face recognition, and industrial manufacturing in complex lighting environments. great application prospects."
In zukünftigen Studien planen die Forscher, die Leistung des Bildsensors weiter zu verbessern und ihn gleichzeitig zur Herstellung von -großen Systemen zu verwenden, die aus Sensorarrays bestehen. Idealerweise möchten sie dieses Sensorarray auf einem flexiblen oder halbkugelförmigen Substrat aufbauen, um ein breiteres Sichtfeld zu ermöglichen.
"One area that needs improvement is the adaptation time of our vision sensor, as it is still not enough to support machine vision applications." Yang Chai added, "Our goal is to reduce the adaptation time to the microsecond level. In addition, the vision sensor array scale Further improvements are also needed. Our near-term target for array size is greater than 100 x 100 pixels. Finally, the heterogeneous integration of vision sensors and post-processing units, including silicon-based control circuits, is a very important step toward practical applications."
GMKJ Technology engagiert sich intensiv für gesunde und intelligente Lichtquellen und bietet dem Markt eine vollständige Palette von UVA-, UVB-, UVC-LED-, Infrarot-IR-LED-VCSEL-Produkten und -Lösungen. Es hat Hunderte hochkarätiger- Partner auf in- und ausländischen Märkten, um gemeinsam den Einsatz von Lichttechnologie zu fördern, um ein gesundes und intelligentes Leben zu schaffen. .
