Damit AllThatSounds möglichst passende Suchergebnisse liefern kann, werden unterschiedliche Ansätze zur Audioanalyse kombiniert. AllThatSounds baut auf vier Säulen auf:

• Deskriptive Analyse
• Hörerspezifische Analyse
• Musikalisch technische Analyse
• Semantische Analyse

Damit AllThatSounds möglichst passende Suchergebnisse liefern kann, werden unterschiedliche Ansätze zur Audioanalyse kombiniert. AllThatSounds baut auf vier Säulen auf:

Deskriptive Analyse

Diese Teilaufgabe beschäftigt sich mit der Beschreibung der Audiodaten aus der Sicht des Urhebers bzw. Produzenten. Es sollen hier u.a. folgende Fragen geklärt werden: Wofür bzw. für welchen Zweck wurde komponiert bzw. produziert? In welchem sozialen, kulturellen, geographischen Kontext wurde komponiert? Welcher Stilrichtung soll die Musik zugeordnet werden? Welches Tonart, welche Besetzung, welches Tempo, welchen Takt, welchen Rhythmus, welche Besetzung etc. hat die Musik? Wo, wie, warum etc. wurden die Sounds aufgezeichnet? usw.
Je mehr solcher Fragen bereits vom Urheber beantwortet werden, desto besser wird die Kategorisierung der Audiodaten in diesem Bereich funktionieren. Nun besteht aber ein Hauptproblem bestehender Ansätze (z.B. ID3-Tags bei mp3-Dateien) darin, dass genau diese Informationen oft nicht oder nur unzureichend vorhanden sind.

Es müssen im System AllThatSounds daher Anreize geschaffen werden, die Urheber dazu veranlassen, ihre Audiodaten mit den gewünschten Zusatzinformationen zu versehen.
Ein weiteres Problem ist die Kategorisierung nach Musikstilen. Bestehende Systeme kennen eine unüberschaubare Vielzahl von mehr oder weniger gängiger Genres, konzentrieren sich dabei aber lediglich auf die westlich geprägte Unterhaltungsmusik. Für Ethno- und Volksmusik, für Alte Musik oder den Bereich der Klassik gibt es hingegen nur ganz wenige brauchbare Kategorien. Gerade für den Bereich der Medienproduktion sind bestehende Kategorisierungen daher weitgehend unbrauchbar.
Zentrales Ziel dieser Teilaufgabe ist, die Entwicklung eines einfach handhabbaren,
effizienten, möglichst umfassenden und erweiterbaren Modells für die deskriptive Analyse.

Hörerspezifische Analyse

Welche Anwender eine Audiodatei unter welchen Voraussetzungen für welche Produktionen bzw. in welchem Kontext einsetzen bzw. hören, stellt im Allgemeinen eine ganz wichtige Charakterisierung dar: ÑMusik die vom User X bzw. der Usergruppe Y bevorzugt gehört wird." Die Teilaufgabe 2 ÑHörer-spezifische Analyse" trägt diesem Umstand Rechnung. Durch Vergleich von Hörer-Profilen kann das System AllThatSounds dann entsprechende Vorschläge auf bestimmte Suchanfragen machen: ÑHörer A hat zur Entspannung Musik X gerne gehört und User B gerne Song Y. Dein Profil liegt zwischen A und B, wähle daher Musik Z." ƒhnliche Ansätze werden in verschiedenen Branchen bereits erfolgreich eingesetzt (vgl. z.B. Amazon). In dieser Teilaufgabe werden bestehende Systeme analysiert, evaluiert und für die Anforderungen von AllThatSounds adaptiert.

Musikalisch technische Analyse

Zahlreiche internationale Forschungsinstitute erarbeiten zur Zeit wichtige Grundlagen, um aus den Ergebnissen einer technischen Signalanalyse auf den musikalischen Kontent einer Audiodatei rückschließen zu können. Beispiele hierfür sind automatische Beat- und Tempodetection, Extraktion von Tonhöhen bzw. Melodien, Erkennung von Instrumenten bzw. Klangfarben etc. In dieser Teilaufgabe werden Algorithmen und Ergebnisse aus der Grundlagenforschung getestet, evaluiert und an die Anforderungen von AllThatSounds angepasst.

Semantische Analyse

Dem Bereich des semantischen Gehalts von akustischen Ereignissen kommt gerade für den Bereich der Medienproduktion eine herausragende Bedeutung zu. Beispielsweise werden Ñafrikanische Rhythmen", Ñfurchterregende Geräusche" oder Ñtraurige Musik" benötigt, um im Medienprodukt den geographischen Kontext zu beschreiben, um Spannung zu erzeugen oder um die Stimmung eines Protagonisten zu verdeutlichen.
Wodurch erhalten Audiodaten aber die Bedeutung Ñafrikanisch", Ñfurchterregend" oder Ñtraurig" etc.? Wie können unterschiedliche Bedeutungen kategorisiert werden? Wie ist es möglich, die Semantik von Audiodaten zumindest teil-automatisiert zu erfassen?
Die aktuelle Forschung gibt auf derartige Fragen nur unbefriedigende Antworten. Das soziale und kulturelle Umfeld scheint ein wichtige Rolle zu spielen. Wechselwirkungen zwischen visueller und akustischer Wahrnehmung dürften ebenfalls große Bedeutung haben.

In dieser Teilaufgabe werden zunächst die wenigen bisher bestehenden Ansätze in den Bereichen Ñakustische Semantik" und ÑAkustisch-musikalische Wirkungsforschung" für das Forschungsvorhaben AllThatSounds und die Fachhochschule St. Pölten verfügbar gemacht, analysiert und evaluiert. Darauf aufbauend werden konkrete Maßnahmen für die Weiterentwicklung erarbeitet. Wichtig erscheint auch, für die Bedeutung des semantischen und symbolischen Gehalts von akustischen Ereignissen im Zuge der Gestaltung der Tonspur eines Medienprodukts das allgemeine Problembewusstsein zu vertiefen. In Zusammenarbeit mit potenziellen Usergruppen werden eigene Versuchsreihen durchzuführen, die neue Aufschlüsse über die Semantik von akustischen Ereignissen geben sollen.
Wesentliches Ziel ist die Definition eines erweiterbaren Datenmodells, das eine möglichst umfassende Kategorisierung von Audiodaten nach semantischen Kriterien erlaubt.