Come genera musica e audio in tempo reale un sistema di IA?

D'Accord Guitar · 2001

Il problema era passare dalla sigla degli accordi all'esecuzione: scegliere le posizioni sulla tastiera della chitarra, modellare la mano del chitarrista e animare l'esecuzione per chi sta imparando. Il sistema nacque dal progetto "Agentes Inteligentes para Ambientes Complexos: estudo do acompanhamento musical em tempo real" (1999–2001) e diede origine alla tesi di laurea magistrale di Giordano Cabral al CIn, D'Accord Guitar: um Sistema de Execução Violonística (2002, relatore Geber Ramalho, borsa CNPq). Quattro lavori descrivono il sistema, con Izabel Zanforlin, Hugo Santana, Rodrigo Lima e Geber Ramalho: Da Cifra para o Braço e Playing Along with D'Accord Guitar (VIII SBCM 2001, Fortaleza), Modelagem da Execução Musical em Violão e Guitarra (ENIA 2001) e D'Accord Guitar: an Innovative Guitar Performance System (Journées d'Informatique Musicale, Bourges, 2001; hal-02987455). Da esso derivarono il software D'Accord Violão Player (2001) e l'azienda D'Accord Music Software. I PDF dello SBCM si trovano negli atti: ricerca e discussione.

Accompagnamento ritmico per pattern · 2004

Using Patterns to Generate Rhythmic Accompaniment for Guitar genera l'accompagnamento a partire da pattern estratti da esecuzioni reali. Il gruppo comprendeva un etnomusicologo, Carlos Sandroni, insieme a Márcio Dahia, Hugo Santana, Ernesto Trajano e Geber Ramalho. Sound and Music Computing / JIM 2004, Parigi; hal-03354323, zenodo.849240. Il lavoro precede la tesi e parte dal D'Accord Guitar.

Parsing incrementale · 2005–2006

Con Jean-Pierre Briot e François Pachet, Cabral adattò l'algoritmo IP, per la continuazione di frasi musicali in tempo reale, a sistemi di accompagnamento: Parsing incremental para acompanhamento em tempo real (10º SBCM, Belo Horizonte, 2005; hal-01416429, PDF negli atti) e Incremental Parsing for Real-Time Accompaniment Systems (FLAIRS 2006, sezione di IA in musica e arte; hal-01338563, PDF).

Harmonisation automatique en temps réel, la tesi · 2008

Dottorato in intelligenza artificiale generativa, con Jean-Pierre Briot (LIP6) e François Pachet (Sony Computer Science Laboratory, Parigi), dal 2003 al 2008, presso il LIP6, Université Pierre et Marie Curie (Paris 6), équipe SMA (Systèmes Multi-Agents), con borsa CAPES; dal 2003 al 2007 il lavoro è stato svolto insieme al team della Sony CSL. La tesi definisce il système d'harmonisation automatique en temps réel: un sistema che genera automaticamente, in audio e in tempo reale, l'armonizzazione di una melodia, eventualmente improvvisata, su una ritmica fissa, con informazione parziale e influenza reciproca tra sistema e utente. Il metodo estende tecniche di recupero dell'informazione musicale per lavorare direttamente sul segnale acustico, con esperimenti per ciclo di sviluppo; il risultato è un framework di soluzioni valutato rispetto a musicisti umani, e una soluzione semplice ha superato tutte le altre, comprese quelle più complesse. Discussione il 09/07/2008, menzione très honorable; commissione composta da Jean-Pierre Briot, François Pachet, Myriam Desainte-Catherine e Sergi Jordà (relatori), Jean-François Perrot e Geber Ramalho. Registro NNT 2008PA066236 su theses.fr; riassunto e commissione nella scheda del LIP6.

Ramin · 2008–2009

Il framework della tesi ha ricevuto un nome e un software: Ramin: A Framework for Real-Time Improvised Accompaniment and Harmonization (IEEE International Symposium on Multimedia, Berkeley, 2008) e il programma "Ramin, um Sistema de Harmonização em Tempo Real" (2008). L'anno successivo, Comparing Techniques for the Automatic Accompaniment of Audio Improvisation (IEEE ISM 2009, San Diego), con Briot, Pachet e Ramalho, ha messo a confronto le tecniche di accompagnamento.

Capturing a Musician's Groove · 2015

Sette anni dopo la tesi, la collaborazione con la Sony CSL è ripresa con una dimostrazione applicativa all'IJCAI 2015, a Buenos Aires: Capturing a Musician's Groove: Generation of Realistic Accompaniments from Single Song Recordings, con Mathieu Ramona. Un motore di sintesi concatenativa riceve la registrazione di un interprete che suona un brano e genera l'accompagnamento di qualsiasi altro brano con quel contenuto. L'attenzione è rivolta alle deviazioni temporali ai bordi dei frammenti ritagliati, che costituiscono il groove: quelle accidentali vengono corrette e quelle intenzionali conservate. Riassunto all'IJCAI · PDF.

Brazyle · 2017

Parte brasiliana del progetto Flow Machines, della Sony CSL, di intelligenza artificiale per la creazione musicale: una base di stile brasiliano. Da Flow Machines è nato l'album Hello World (2018), uno dei primi dischi creati con l'IA al mondo (crediti dell'album); i dettagli sono in stampa.

Chord Detection Challenge · 2021

Sfida aperta di rilevamento degli accordi realizzata con Moises.ai, con kick-off il 16/03/2021 e risultato a giugno (portale del CIn, 09/06/2021). L'articolo che valuta i compiti di stima e allineamento degli accordi è uscito al SBCM 2021, con Valter Jorge da Silva (doi.org/10.5753/sbcm.2021.19425).

Cabral ha co-supervisionato il dottorato di Uraquitan Sidney Cunha sulla trascrizione automatica di accordi (registri del 2010 e del 2015 nel Lattes) e ha supervisionato i TCC di Arthur Lubambo Peixoto Accioly (trascrizione di accordi con fonti ibride, 2017) e Bruno Tavares de Melo Gomes (chord following con dynamic time warping, 2018).

La linea di prodotto correlata è iChords: motore di riconoscimento di melodia e armonia (RHAE/CNPq, 2008–2010), iChords.Net (2008–2010), iChords Station (2011) e l'applicazione (2019), con i progetti del Banco do Nordeste e della FACEPE/Tecnova del 2019, sotto la responsabilità di Rodrigo Pereira. È sviluppo tecnologico presso la Daccord, di cui Cabral è socio fondatore.

Prosegue in: Recupero dell'informazione musicale e nel corso Computação Musical.