Lehrinhalte
Die eventbasierte Bildverarbeitung ist eine neuartige Technologie, die Vorteile verspricht, um einige der Einschränkungen herkömmlicher, bildbasierter Kameras und visueller Verarbeitungspipelines (von den Sensoren bis zur Ausgabe verwertbarer Informationen) zu überwinden, wie z. B. Latenzzeit, Dynamikumfang, Bandbreite und Stromverbrauch. Um die Vorteile eventbasierter Kameras nutzen zu können, werden neue Algorithmen benötigt, um ihre unkonventionelle Ausgabe (eine Liste asynchroner pro-pixel Intensitätsänderungen im Gegensatz zu den bekannten Videobildern von Standardkameras) zu verarbeiten. Dieses Projekt befasst sich mit der Untersuchung und Entwicklung maßgeschneiderter Algorithmen und Methoden zur Lösung spezifischer Probleme beim eventbasierten Sehen (Bewegungsschätzung, Segmentierung, Objekterkennung und Klassifizierung usw.).
Zu Beginn des Moduls erhalten die Studierenden Projektthemen aus einer Liste möglicher Themen sowie einige einführende Materialien zu dem gewählten Problem. Nach der Festlegung der Projektteams und -themen werden die geeigneten Werkzeuge für die Durchführung des Projekts besprochen und eingerichtet. Die Studierenden erstellen einen Projektplan, legen die Daten fest, an denen sie arbeiten werden, und die Schritte, die für einen erfolgreichen Abschluss des Projekts vorgesehen sind. In den verbleibenden Wochen entwickeln die Studierenden ihre Projekte und besprechen die Fortschritte mit dem Ausbilder, um künftige Maßnahmen festzulegen. Am Ende des Projekts stellen die Studierenden ihre Ergebnisse in einer mündlichen Präsentation den anderen Teilnehmern des Moduls vor. Sie fassen nicht nur das technische Ergebnis des Projekts zusammen, sondern auch die Schwierigkeiten und Erkenntnisse, die während des Projekts gewonnen wurden.
Zu den allgemeinen Themen gehören unter anderem:
- Algorithmen: visuelle Odometrie, SLAM, 3D-Rekonstruktion, Schätzung des optischen Flusses, Rekonstruktion der Bildintensität, Erkennung, Rekonstruktion der Stereotiefe, Erkennung von Merkmalen/Objekten, Verfolgung, Kalibrierung, Sensorfusion (Videosynthese, visuell-inertiale Odometrie, usw.).
- Eventkamera-Datensätze und/oder -Simulatoren.
- Eventbasierte Signalverarbeitung, Darstellung, Steuerung, Bandbreitenkontrolle.
- Eventbasiertes aktives Sehen, eventbasierte sensomotorische Integration.
- Anwendungen in: Robotik (Navigation, Manipulation, Drohnen...), Automobil, IoT, AR/VR, Weltraumforschung, Inspektion, Überwachung, Personenzählung, Physik, Biologie.
- Modellbasierte, eingebettete oder lernende Ansätze.
- Neuartige Hardware (Kameras, neuromorphe Prozessoren usw.) und/oder Software-Plattformen.
- Neue Trends und Herausforderungen im eventbasierten und/oder biologisch inspirierten Sehen (SNNs, etc.).
- Eventbasiertes Sehen für die Computergrafik.
Eine längere Liste verwandter Themen finden Sie im Inhaltsverzeichnis dieses Repositorys: https://github.com/uzh-rpg/event-based_vision_resources/
