Im WS2023 wird die LV Realtime Media Systems durch Oliver Lietz vertreten.
Structure / Ablauf
This class can be hold in English or German.
Die LV teilt sich in einen Theorie- und Praxisteil auf.
Alle Studis sollen sich selbst Themen erarbeiten und praktisch umsetzen.
- Theorieteil: Erarbeiten eines Themas und Kurzvortrag / Referat
- Praxisteil: Entwicklung/Bereitstellung eines Realtime-Media-Systems
Der Praxisteil kann erfolgen durch:
- Softwareentwicklung
- Prototyp / Mockup auf Basis existierender Tools (z.B. OpenAI)
- Produktion (Kamera, Live)
Die LV findet vorwiegend online statt.
Schwerpunkte
Realtime Media Systems bezeichnen Systeme, die audiovisuelle Medien in Echtzeit bearbeiten und bereitstellen. Im Internet geschieht dies über Streaming. Dies kann über vorbereiteten Content geschehen oder im Live-Betrieb z.B. von einer Kamera.
Realtime Media Anwendungen können sein:
- Live Video Produktion und Streaming (z.B. mit OBS und Youtube Live oder Twitch)
- Webbasierte Kommunikation mit WebRTC im Browser
Hierfür werden die Grundlagen erarbeitet und praktisch umgesetzt.
In der aktuellen LV sollen moderne Bild- und Videoverarbeitungsmethoden thematisiert werden, insbesondere neue Anwendungsmöglichkeiten durch die Verbindung von Audio-/Video- und AI-Technologien.
Anwendungsbeispiele
- Interaktive Live-Streaming-Anwendungen (Seminare, Auktionen, …)
- Bildverbesserung mit Filtern (z.B. WebGL)
- Gesichtserkennung und -Verbesserung (z.B. banuba, deepar)
- AI-unterstützte Systeme zur Spracherkennung (z.B. automatische Untertitel, whisper)
- AI-unterstützte Systeme zur Bilderkennung
- Automatische Zusammenfassung eines Videos (z.B. LLAMA)
- Webanwendung für Live-Konferenz (WebRTC, Jitsi Meet)
- Integration von Live Streaming in Meetinganwendungen
Die Studierenden können eigene Anwendungsbeispiele einbringen!
Voraussetzungen
– Technische Grundkenntnisse A/V-Medien, Streaming und Webanwendungen
– Grundkenntnisse Programmierung und Skripting (JS, bash)
– Grundkenntnisse git und Beispielanwendungen
Offizielle Modulbeschreibung
Im seminaristischen Unterricht werden theoretische und technische Grundlagen der modernen Live- und On-Demand Übertragung von Internet- & Broadcast Audio- und Videoinhalten sowie deren Einbindung in interaktive
Applikationen und vernetzte Media-Ecosysteme erarbeitet.
• Streaming-Technologien und -Verfahren
• Serverbasierte Technologien für automatisierte Video- und Audioverarbeitung
• Technologien und Ecosysteme für Hybrid-TV, WebTV und Mobile Video
• Automatische Konvertierung, Szenen- und AV-Objektverarbeitung in Media Systemen
• Echtzeitbasierte, kollaborative Audio- und Video-Konferenzsysteme
• Mixed-Reality und Augmented Reality Technologien und Applikationen
• Vernetzungs- und Synchronisationstechniken zwischen mehreren Media
Devices
In den Übungen werden in kleinen Gruppen ausgewählte Medienframeworks, Enkodierungsanwendungen und interaktive Streaming-Systeme praktisch angewendet und basierend auf diesen Applikationen programmiert.