Wie erzeugt ein KI-System Musik und Audio in Echtzeit?

D'Accord Guitar · 2001

Das Problem bestand darin, von der Akkordfolge zur Ausführung zu gelangen: die Griffpositionen auf dem Gitarrenhals auszuwählen, die Hand des Gitarristen zu modellieren und die Darbietung für Lernende zu animieren. Das System ging aus dem Projekt „Agentes Inteligentes para Ambientes Complexos: estudo do acompanhamento musical em tempo real“ (1999–2001) hervor und führte zur Masterarbeit von Giordano Cabral am CIn, D'Accord Guitar: um Sistema de Execução Violonística (2002, Betreuer Geber Ramalho, CNPq-Stipendium). Vier Arbeiten beschreiben das System, mit Izabel Zanforlin, Hugo Santana, Rodrigo Lima und Geber Ramalho: Da Cifra para o Braço und Playing Along with D'Accord Guitar (VIII SBCM 2001, Fortaleza), Modelagem da Execução Musical em Violão e Guitarra (ENIA 2001) und D'Accord Guitar: an Innovative Guitar Performance System (Journées d'Informatique Musicale, Bourges, 2001; hal-02987455). Die Software D'Accord Violão Player (2001) und das Unternehmen D'Accord Music Software gingen daraus hervor. Die PDFs der SBCM befinden sich in den Tagungsbänden: Forschung und Diskussion.

Rhythmische Begleitung durch Muster · 2004

Using Patterns to Generate Rhythmic Accompaniment for Guitar erzeugt die Begleitung aus Mustern, die aus realen Darbietungen extrahiert wurden. Zum Team gehörte ein Ethnomusikologe, Carlos Sandroni, neben Márcio Dahia, Hugo Santana, Ernesto Trajano und Geber Ramalho. Sound and Music Computing / JIM 2004, Paris; hal-03354323, zenodo.849240. Die Arbeit entstand vor der Dissertation und geht vom D'Accord Guitar aus.

Inkrementelles Parsing · 2005–2006

Mit Jean-Pierre Briot und François Pachet passte Cabral den IP-Algorithmus zur Fortsetzung musikalischer Phrasen in Echtzeit an Begleitsysteme an: Parsing incremental para acompanhamento em tempo real (10º SBCM, Belo Horizonte, 2005; hal-01416429, PDF in den Tagungsbänden) und Incremental Parsing for Real-Time Accompaniment Systems (FLAIRS 2006, Track für KI in Musik und Kunst; hal-01338563, PDF).

Harmonisation automatique en temps réel, die Dissertation · 2008

Promotion im Bereich generative künstliche Intelligenz, bei Jean-Pierre Briot (LIP6) und François Pachet (Sony Computer Science Laboratory, Paris), von 2003 bis 2008, am LIP6, Université Pierre et Marie Curie (Paris 6), Team SMA (Systèmes Multi-Agents), mit CAPES-Stipendium; von 2003 bis 2007 wurde die Arbeit gemeinsam mit dem Team von Sony CSL durchgeführt. Die Dissertation definiert das système d'harmonisation automatique en temps réel: ein System, das automatisch, als Audio und in Echtzeit, die Harmonisierung einer möglicherweise improvisierten Melodie über einem festen Rhythmus erzeugt, mit unvollständiger Information und gegenseitiger Beeinflussung von System und Nutzer. Die Methode erweitert Techniken des Music Information Retrieval, sodass sie direkt mit dem akustischen Signal arbeiten, in Experimenten pro Entwicklungszyklus; das Ergebnis ist ein Framework von Lösungen, das im Vergleich mit menschlichen Musikern bewertet wurde, wobei eine einfache Lösung alle anderen übertraf, auch die komplexeren. Verteidigung am 09.07.2008, Prädikat très honorable; Jury: Jean-Pierre Briot, François Pachet, Myriam Desainte-Catherine und Sergi Jordà (Gutachter), Jean-François Perrot und Geber Ramalho. NNT-Nummer 2008PA066236 auf theses.fr; Zusammenfassung und Jury auf der Seite des LIP6.

Ramin · 2008–2009

Das Framework der Dissertation erhielt einen Namen und eine Software: Ramin: A Framework for Real-Time Improvised Accompaniment and Harmonization (IEEE International Symposium on Multimedia, Berkeley, 2008) und das Programm „Ramin, um Sistema de Harmonização em Tempo Real“ (2008). Im folgenden Jahr verglich Comparing Techniques for the Automatic Accompaniment of Audio Improvisation (IEEE ISM 2009, San Diego), mit Briot, Pachet und Ramalho, die Techniken der Begleitung.

Capturing a Musician's Groove · 2015

Sieben Jahre nach der Dissertation kehrte die Zusammenarbeit mit Sony CSL in einer Anwendungsdemonstration auf der IJCAI 2015 in Buenos Aires zurück: Capturing a Musician's Groove: Generation of Realistic Accompaniments from Single Song Recordings, mit Mathieu Ramona. Eine Engine für konkatenative Synthese erhält die Aufnahme eines Interpreten, der ein Stück spielt, und erzeugt die Begleitung für jedes andere Stück mit diesem Inhalt. Die Sorgfalt gilt den zeitlichen Abweichungen am Rand der ausgeschnittenen Abschnitte, die den Groove ausmachen: Zufällige werden korrigiert, absichtliche bewahrt. Abstract bei IJCAI · PDF.

Brazyle · 2017

Brasilianischer Teil des Projekts Flow Machines von Sony CSL zur künstlichen Intelligenz für musikalisches Schaffen: eine Datenbasis im brasilianischen Stil. Aus Flow Machines ging das Album Hello World (2018) hervor, eines der ersten von einer KI geschaffenen Alben weltweit (Credits des Albums); Einzelheiten unter Presse.

Chord Detection Challenge · 2021

Offene Challenge zur Akkorderkennung, gemeinsam mit Moises.ai durchgeführt, mit Kick-off am 16.03.2021 und Ergebnis im Juni (Portal des CIn, 09.06.2021). Der Artikel, der die Aufgaben der Akkordschätzung und des Akkord-Alignments bewertet, erschien auf der SBCM 2021, mit Valter Jorge da Silva (doi.org/10.5753/sbcm.2021.19425).

Cabral war Zweitbetreuer der Promotion von Uraquitan Sidney Cunha zur automatischen Akkordtranskription (Einträge von 2010 und 2015 im Lattes) und betreute die Abschlussarbeiten (TCCs) von Arthur Lubambo Peixoto Accioly (Akkordtranskription mit hybriden Quellen, 2017) und Bruno Tavares de Melo Gomes (chord following mit dynamic time warping, 2018).

Die zugehörige Produktlinie ist iChords: eine Engine zur Erkennung von Melodie und Harmonie (RHAE/CNPq, 2008–2010), iChords.Net (2008–2010), iChords Station (2011) und die App (2019), mit den Projekten des Banco do Nordeste und von FACEPE/Tecnova aus dem Jahr 2019, unter der Verantwortung von Rodrigo Pereira. Es handelt sich um technologische Entwicklung bei Daccord, an der Cabral als Gründungsgesellschafter beteiligt ist.

Fortgesetzt in: Music Information Retrieval und in der Lehrveranstaltung Computação Musical.