Forschungslinie · 2005–2019
Lässt sich automatisch herausfinden, wie man einen Klang beschreibt?
Audioanalyse mit künstlicher Intelligenz. Das Audiosignal durch Formeln – die Deskriptoren – zu beschreiben, erfordert Kenntnisse der Signalverarbeitung; die Forschungslinie behandelt die automatische Entdeckung von Deskriptoren und die suchbasierte Verbesserung bereits trainierter Klangklassifikatoren. Sie beginnt mit der Promotion von Giordano Cabral, mit dem EDS von Sony CSL, umfasst die harmonische Analyse des HarmIn und die Klangklassifikatoren für die öffentliche Sicherheit an der UFRPE sowie eine Studie über den Fortschritt des Fachgebiets selbst (2016).
01 · Audioanalyse mit KI: Music Information Retrieval
Beiträge
EDS bei der Akkorderkennung · 2005–2006
Das EDS (Extractor Discovery System) von Sony CSL schlägt vor, Audiodeskriptoren automatisch zu entdecken. Mit François Pachet und Jean-Pierre Briot führte Cabral den ersten Teil der Validierung durch: Automatic X Traditional Descriptor Extraction: the Case of Chord Recognition (ISMIR 2005, London; zenodo.1415701, hal-01416436) vergleicht die klassischen Ansätze mit dem System, das von einem Nutzer ohne Erfahrung bedient wird, indem ein Erkenner für Gitarrenakkorde gebaut wird. Die Fortsetzung ist Recognizing Chords with EDS: Part One (CMMR 2005, Pisa; LNCS 3902, Springer, 2006; doi.org/10.1007/11751069_17, hal-01336914). Die Schwesterarbeit desselben Jahres ist Impact of Distance in Pitch Class Profile Computation (10. SBCM 2005; hal-01416428, PDF in den Tagungsbänden). Es ist die erste Arbeit der Promotion auf einer internationalen Konferenz.
Analytische Deskriptoren für Harmonik und Rhythmus · 2007
Mit Luiz Velho vom IMPA sowie mit Pachet, Pierre Roy und Briot: Analytical Features to Extract Harmonic or Rhythmic Information (11. SBCM 2007; hal-01305977, PDF in den Tagungsbänden) und der technische Bericht Some Case Studies in Automatic Descriptor Extraction (Rio de Janeiro, 2007).
HarmIn · 2007
Werkzeug zur Analyse harmonischer Progressionen, angewandt auf das Werk von Tom Jobim anhand des Cancioneiro Jobim, mit dem Musikwissenschaftler Robert Willey (University of Louisiana at Lafayette). Die Progressionen werden zu einem Graphen von Akkordübergängen, angeordnet auf dem Quintenzirkel, wobei die Dicke jeder Kante der Häufigkeit im Repertoire entspricht; die wiederkehrenden harmonischen Wege eines Komponisten werden sichtbar. Analyzing Harmonic Progressions with HarmIn: the Music of Antonio Carlos Jobim erhielt den Preis für den besten technischen Studierendenbeitrag des 11. SBCM (São Paulo, 1. bis 3. September 2007; Seite des Symposiums). PDF in den Tagungsbänden. 2026 kehrte das Werkzeug als portabler Skill zurück, der die Übergangsmatrix auf dem Quintenzirkel für den jeweils gewünschten Künstler erstellt.
Audio als Spielbefehl · 2008–2010
Mapping Sounds into Commands (AES 35th International Conference: Audio for Games, London, 2008) und The Acoustick: Game Command Extraction from Audio Input Stream (SBGames 2010), mit Roberto Cássio Júnior.
Audioüberwachung für die öffentliche Sicherheit · 2010–2014
An der UFRPE bestand das Problem nun darin, Schüsse, Schreie, Schläge, Umgebungsgeräusche und Stille automatisch anhand von Mikrofonen zu erkennen. Das war Gegenstand des Produktivitätsstipendiums für technologische Entwicklung des CNPq (2011–2014), des CNPq-Projekts "Audio Monitoramento para Segurança Pública" (2010–2013) und des FACEPE-Projekts "Classificação Automática de Áudio para Monitoramento de Espaços Públicos" (Ausschreibung 11/2011, 2012–2014). Daraus gingen die Masterarbeit von Dalton Francisco de Araújo, Busca como sistema de apoio à melhoria de classificadores automáticos de áudio (UFRPE, 2012, FACEPE-Stipendium), sowie die als Audio Alerta (2012) und Audio Alerta para segurança privada (2013) registrierten Programme hervor, gemeinsam mit Márcio Dahia, Roberto Cássio Júnior, Ivo Frazão und Raphael Holanda. Audio Alerta wurde danach als Spin-off von D'Accord weitergeführt.
Evolutionäre Erzeugung akustischer Merkmale · 2014–2019
Das Produktivitätsprojekt "Meta-Busca em Classificadores de Áudio e de Dados para Segurança, Entretenimento e Educação" (2014–) befasste sich damit, das akustische Merkmal zu erzeugen, statt es von Hand auszuwählen. Mit José Antonio Alves Menezes und Bruno Gomes entstand der Zeitschriftenbeitrag Feature Learning with Multi-objective Evolutionary Computation in the generation of Acoustic Features (Inteligencia Artificial, IBERAMIA, Bd. 22, Nr. 64, 2019; doi.org/10.4114/intartif.vol22iss64pp14-35).
Den Fortschritt des MIREX messen · 2016
Das MIREX ist seit 2005 die Evaluationsplattform für Music Information Retrieval. Die Arbeit mit Ricardo Scholz und Geber Ramalho stellt die Ergebnisse von sechs Jahren zusammen, schlägt einen konfigurierbaren Index für den Entwicklungstrend je Aufgabe vor und diskutiert Hypothesen für die Stagnation einiger Aufgaben: Cross Task Study on MIREX Recent Results: an Index for Evolution Measurement and Some Stagnation Hypotheses (ISMIR 2016, New York; zenodo.1416898). Es ist die einzige Arbeit im Lebenslauf über die Metawissenschaft des Fachgebiets selbst.
Refrain, Transkription und Podcasts · 2014–2021
Refrainerkennung anhand der Intensität, mit Renato Celso Santos Rodrigues (15. SBCM 2015; mitbetreute Masterarbeit, 2016); Nachbearbeitung der Akkordtranskription, mit Uraquitan Cunha (12. AES Brasil, 2014); Vorhersage der Beliebtheit von Podcasts anhand von Metadaten, Inhalt und Audio, Masterarbeit von Luiz Delando Santos Moreira Júnior (2021).
02 · Audioanalyse mit KI: Music Information Retrieval
Wo es weitergeht
Die Chord Detection Challenge von 2021 mit Moises.ai und die Lehrveranstaltung Computação Musical, in der Music Information Retrieval einer der vier Blöcke des Programms ist.
