64-197 Projekt Deep Learning for Audio Processing

Lehrende: Danilo De Oliveira Ribeiro e Silva; Bunlong Lay

Veranstaltungsart: Projekt

Anzeige im Stundenplan: PJ Audio Processing

Semesterwochenstunden: 6

Credits: 9,0

Unterrichtssprache: Deutsch

Min. | Max. Teilnehmerzahl: - | 15

Anmeldegruppe: Anmeldegruppe Projekte

Kommentare/ Inhalte:
Audioanwendungen spielen eine wichtige Rolle im täglichen Leben wie z. B. bei Hörgeräten, Telekommunikation und automatische Spracherkennung. Diese Anwendungen werden oft in verrauschten Umgebungen eingesetzt, wie z. B. in einer belebten Straße oder einem Café. Unter solchen Bedingungen kann die Sprachkommunikation erschwert sein, da zusätzliche Hintergrundgeräusche und sich überlagernde Sprecher die wahrgenommene Qualität und Verständlichkeit der Sprache beeinträchtigen. Dies hat zur Entwicklung von Algorithmen geführt, welche das Ziel haben, Audioquellen zu trennen. Es kann zusätzlich Wissen über Audioquellen in der Umgebung genutzt werden, um kontextbewusste Geräte zu entwickeln.

Ziel dieses Projekts ist es, Neuronale Netze in Python zu implementieren, um audiobezogene Aufgaben zu bewältigen. Dabei geht es entweder um die Erkennung der Umgebung oder einzelner Quellentypen (Szenen-/Ereigniserkennung/-klassifizierung), um die Entfernung von Rauschen aus einer Aufnahme (Sprachverbesserung) oder um die Trennung von überlappender Sprache (Sprachtrennung). Die Ergebnisse werden mit geeigneten Metriken ausgewertet, die üblicherweise in den Bereichen Sprachtrennung/Klassifikation verwendet werden.

Zu den Aufgaben dieses Projekts gehören, dass Grundkenntnisse aus dem maschinellen Lernen und der klassischen digitalen Signalverarbeitung erworben werden. Außerdem soll eine geeignete Softwarearchitektur implementiert und entworfen werden. Darüber hinaus, sollen Kenntnisse im Projektmanagement gelernt werden. Ziel ist es, in kleinen Gruppen Modelle zur Bewältigung der Aufgaben zu implementieren, aber auch die Interaktion und den Austausch mit anderen Gruppen zu pflegen.

Grundlegende Kenntnisse der digitalen Signalverarbeitung, wie sie im Modul "Digitale Mediensignalverarbeitung" (DMSP) vermittelt werden, sowie Kenntnisse in Python und maschinellem Lernen sind für diesen Kurs hilfreich, können aber auch im Rahmen des Projekts erworben werden.

In den ersten Wochen werden wir uns mit den Konzepten der digitalen Signalverarbeitung und des Deep Learning beschäftigen. Wir werden auch über Projektmanagement-Themen in der Softwareentwicklung (z.B. Versionskontrolle) und wissenschaftliche Kommunikation sprechen.

Lernziel:

• Sie haben ein Verständnis für gängige Methoden für audiobezogene Aufgaben und deren aktuelle Herausforderungen.
  
• Sie haben Ihre Fähigkeiten in der Programmierung (insbesondere in Python), im Deep Learning und in der digitalen Signalverarbeitung (DSP) erworben und vertieft.
  
• Sie sind in der Lage, wissenschaftliche Erkenntnisse in die Praxis umzusetzen.
  
• Sie haben gelernt, wissenschaftlich zu kommunizieren und Präsentationen zu halten.
  
• Sie haben gelernt, im Team zu arbeiten und Grundkenntnisse im Projektmanagement erworben.
  

Vorgehen:
Für eine erfolgreiche Teilnahme wird am Ende des Projekts eine Präsentation gehalten. Außerdem müssen Teilnehmer erklären, wie ihre implementierte Architektur das Problem gelöst hat. Die Ergebnisse werden im wissenschaftlichen Umfeld vorgetragen.

Literatur:
Wird zu Beginn des Projekts bekannt gegeben.