Comment un système d'IA génère-t-il de la musique et de l'audio en temps réel ?

D'Accord Guitar · 2001

Le problème consistait à passer de la grille d'accords à l'exécution : choisir les positions sur le manche de la guitare, modéliser la main du guitariste et animer la performance pour les apprenants. Le système est issu du projet « Agentes Inteligentes para Ambientes Complexos: estudo do acompanhamento musical em tempo real » (1999–2001) et a donné lieu au mémoire de master de Giordano Cabral au CIn, D'Accord Guitar: um Sistema de Execução Violonística (2002, directeur Geber Ramalho, bourse CNPq). Quatre travaux décrivent le système, avec Izabel Zanforlin, Hugo Santana, Rodrigo Lima et Geber Ramalho : Da Cifra para o Braço et Playing Along with D'Accord Guitar (VIII SBCM 2001, Fortaleza), Modelagem da Execução Musical em Violão e Guitarra (ENIA 2001) et D'Accord Guitar: an Innovative Guitar Performance System (Journées d'Informatique Musicale, Bourges, 2001 ; hal-02987455). Le logiciel D'Accord Violão Player (2001) et l'entreprise D'Accord Music Software en sont issus. Les PDF du SBCM se trouvent dans les actes : recherche et discussion.

Accompagnement rythmique par motifs · 2004

Using Patterns to Generate Rhythmic Accompaniment for Guitar génère l'accompagnement à partir de motifs extraits d'exécutions réelles. L'équipe comptait un ethnomusicologue, Carlos Sandroni, aux côtés de Márcio Dahia, Hugo Santana, Ernesto Trajano et Geber Ramalho. Sound and Music Computing / JIM 2004, Paris ; hal-03354323, zenodo.849240. Ce travail précède la thèse et part du D'Accord Guitar.

Parsing incrémental · 2005–2006

Avec Jean-Pierre Briot et François Pachet, Cabral a adapté l'algorithme IP, de continuation de phrases musicales en temps réel, à des systèmes d'accompagnement : Parsing incremental para acompanhamento em tempo real (10e SBCM, Belo Horizonte, 2005 ; hal-01416429, PDF dans les actes) et Incremental Parsing for Real-Time Accompaniment Systems (FLAIRS 2006, volet IA en musique et art ; hal-01338563, PDF).

Harmonisation automatique en temps réel, la thèse · 2008

Doctorat en intelligence artificielle générative, avec Jean-Pierre Briot (LIP6) et François Pachet (Sony Computer Science Laboratory, Paris), de 2003 à 2008, au LIP6, Université Pierre et Marie Curie (Paris 6), équipe SMA (Systèmes Multi-Agents), avec une bourse CAPES ; de 2003 à 2007, le travail a été mené avec l'équipe de Sony CSL. La thèse définit le système d'harmonisation automatique en temps réel : un système qui génère automatiquement, en audio et en temps réel, l'harmonisation d'une mélodie, éventuellement improvisée, sur une rythmique fixe, avec une information partielle et une influence mutuelle entre le système et l'utilisateur. La méthode étend des techniques de recherche d'information musicale pour travailler directement sur le signal acoustique, avec des expériences à chaque cycle de développement ; le résultat est un framework de solutions évalué face à des musiciens humains, et une solution simple a surpassé toutes les autres, y compris les plus complexes. Soutenance le 09/07/2008, mention très honorable ; jury composé de Jean-Pierre Briot, François Pachet, Myriam Desainte-Catherine et Sergi Jordà (rapporteurs), Jean-François Perrot et Geber Ramalho. Numéro NNT 2008PA066236 sur theses.fr ; résumé et jury dans la fiche du LIP6.

Ramin · 2008–2009

Le framework de la thèse a reçu un nom et un logiciel : Ramin: A Framework for Real-Time Improvised Accompaniment and Harmonization (IEEE International Symposium on Multimedia, Berkeley, 2008) et le programme « Ramin, um Sistema de Harmonização em Tempo Real » (2008). L'année suivante, Comparing Techniques for the Automatic Accompaniment of Audio Improvisation (IEEE ISM 2009, San Diego), avec Briot, Pachet et Ramalho, a comparé les techniques d'accompagnement.

Capturing a Musician's Groove · 2015

Sept ans après la thèse, la collaboration avec Sony CSL a repris avec une démonstration d'application à l'IJCAI 2015, à Buenos Aires : Capturing a Musician's Groove: Generation of Realistic Accompaniments from Single Song Recordings, avec Mathieu Ramona. Un moteur de synthèse concaténative reçoit l'enregistrement d'un interprète jouant un morceau et génère l'accompagnement de n'importe quel autre morceau avec ce contenu. L'attention porte sur les écarts temporels en bordure des extraits découpés, qui forment le groove : les écarts accidentels sont corrigés et les intentionnels, préservés. Résumé à l'IJCAI · PDF.

Brazyle · 2017

Partie brésilienne du projet Flow Machines, de Sony CSL, d'intelligence artificielle pour la création musicale : une base de style brésilien. De Flow Machines est issu l'album Hello World (2018), l'un des premiers disques créés par IA au monde (crédits de l'album) ; le détail se trouve dans presse.

Chord Detection Challenge · 2021

Défi ouvert de détection d'accords réalisé avec Moises.ai, avec lancement le 16/03/2021 et résultat en juin (portail du CIn, 09/06/2021). L'article qui évalue les tâches d'estimation et d'alignement d'accords a été publié au SBCM 2021, avec Valter Jorge da Silva (doi.org/10.5753/sbcm.2021.19425).

Cabral a codirigé le doctorat de Uraquitan Sidney Cunha sur la transcription automatique d'accords (notices de 2010 et 2015 dans le Lattes) et a dirigé les TCC de Arthur Lubambo Peixoto Accioly (transcription d'accords avec des sources hybrides, 2017) et de Bruno Tavares de Melo Gomes (chord following avec dynamic time warping, 2018).

La ligne de produit apparentée est iChords : moteur de reconnaissance de mélodie et d'harmonie (RHAE/CNPq, 2008–2010), iChords.Net (2008–2010), iChords Station (2011) et l'application (2019), avec les projets du Banco do Nordeste et de la FACEPE/Tecnova de 2019, sous la responsabilité de Rodrigo Pereira. Il s'agit de développement technologique à la Daccord, dont Cabral est cofondateur.

Se poursuit dans : Recherche d'information musicale et dans la discipline Computação Musical.