Como um sistema de IA gera música e áudio em tempo real?

D'Accord Guitar · 2001

O problema era ir da cifra à execução: escolher as posições no braço do violão, modelar a mão do violonista e animar a performance para quem está aprendendo. O sistema saiu do projeto "Agentes Inteligentes para Ambientes Complexos: estudo do acompanhamento musical em tempo real" (1999–2001) e deu origem à dissertação de mestrado de Giordano Cabral no CIn, D'Accord Guitar: um Sistema de Execução Violonística (2002, orientador Geber Ramalho, bolsa CNPq). Quatro trabalhos descrevem o sistema, com Izabel Zanforlin, Hugo Santana, Rodrigo Lima e Geber Ramalho: Da Cifra para o Braço e Playing Along with D'Accord Guitar (VIII SBCM 2001, Fortaleza), Modelagem da Execução Musical em Violão e Guitarra (ENIA 2001) e D'Accord Guitar: an Innovative Guitar Performance System (Journées d'Informatique Musicale, Bourges, 2001; hal-02987455). O software D'Accord Violão Player (2001) e a empresa D'Accord Music Software vieram dele. Os PDFs do SBCM estão nos anais: pesquisa e discussão.

Acompanhamento rítmico por padrões · 2004

Using Patterns to Generate Rhythmic Accompaniment for Guitar gera o acompanhamento a partir de padrões extraídos de execuções reais. A equipe tinha um etnomusicólogo, Carlos Sandroni, ao lado de Márcio Dahia, Hugo Santana, Ernesto Trajano e Geber Ramalho. Sound and Music Computing / JIM 2004, Paris; hal-03354323, zenodo.849240. O trabalho antecede a tese e parte do D'Accord Guitar.

Parsing incremental · 2005–2006

Com Jean-Pierre Briot e François Pachet, Cabral adaptou o algoritmo IP, de continuação de frases musicais em tempo real, a sistemas de acompanhamento: Parsing incremental para acompanhamento em tempo real (10º SBCM, Belo Horizonte, 2005; hal-01416429, PDF nos anais) e Incremental Parsing for Real-Time Accompaniment Systems (FLAIRS 2006, trilha de IA em música e arte; hal-01338563, PDF).

Harmonisation automatique en temps réel, a tese · 2008

Doutorado em inteligência artificial generativa, com Jean-Pierre Briot (LIP6) e François Pachet (Sony Computer Science Laboratory, Paris), de 2003 a 2008, no LIP6, Université Pierre et Marie Curie (Paris 6), equipe SMA (Systèmes Multi-Agents), com bolsa CAPES; de 2003 a 2007 o trabalho foi feito junto à equipe da Sony CSL. A tese define o système d'harmonisation automatique en temps réel: um sistema que gera automaticamente, em áudio e em tempo real, a harmonização de uma melodia, possivelmente improvisada, sobre uma rítmica fixa, com informação parcial e influência mútua entre sistema e usuário. O método estende técnicas de recuperação de informação musical para trabalhar direto no sinal acústico, em experimentos por ciclo de desenvolvimento; o resultado é um framework de soluções avaliado contra músicos humanos, e uma solução simples superou todas as outras, inclusive as mais complexas. Defesa em 09/07/2008, menção très honorable; júri de Jean-Pierre Briot, François Pachet, Myriam Desainte-Catherine e Sergi Jordà (relatores), Jean-François Perrot e Geber Ramalho. Registro NNT 2008PA066236 em theses.fr; resumo e júri na ficha do LIP6.

Ramin · 2008–2009

O framework da tese ganhou nome e software: Ramin: A Framework for Real-Time Improvised Accompaniment and Harmonization (IEEE International Symposium on Multimedia, Berkeley, 2008) e o programa "Ramin, um Sistema de Harmonização em Tempo Real" (2008). No ano seguinte, Comparing Techniques for the Automatic Accompaniment of Audio Improvisation (IEEE ISM 2009, San Diego), com Briot, Pachet e Ramalho, comparou as técnicas de acompanhamento.

Capturing a Musician's Groove · 2015

Sete anos depois da tese, a colaboração com a Sony CSL voltou numa demonstração de aplicação no IJCAI 2015, em Buenos Aires: Capturing a Musician's Groove: Generation of Realistic Accompaniments from Single Song Recordings, com Mathieu Ramona. Um motor de síntese concatenativa recebe a gravação de um intérprete tocando uma música e gera o acompanhamento de qualquer outra com aquele conteúdo. O cuidado está nos desvios temporais na borda dos trechos recortados, que fazem o groove: os acidentais são corrigidos e os intencionais, preservados. Resumo no IJCAI · PDF.

Brazyle · 2017

Parte brasileira do projeto Flow Machines, da Sony CSL, de inteligência artificial para criação musical: uma base de estilo brasileiro. Do Flow Machines saiu o álbum Hello World (2018), um dos primeiros discos criados por IA no mundo (créditos do álbum); o detalhe está em imprensa.

Chord Detection Challenge · 2021

Desafio aberto de detecção de acordes feito com a Moises.ai, com kick-off em 16/03/2021 e resultado em junho (portal do CIn, 09/06/2021). O artigo que avalia as tarefas de estimativa e alinhamento de acordes saiu no SBCM 2021, com Valter Jorge da Silva (doi.org/10.5753/sbcm.2021.19425).

Cabral coorientou o doutorado de Uraquitan Sidney Cunha sobre transcrição automática de acordes (registros de 2010 e 2015 no Lattes) e orientou os TCCs de Arthur Lubambo Peixoto Accioly (transcrição de acordes com fontes híbridas, 2017) e Bruno Tavares de Melo Gomes (chord following com dynamic time warping, 2018).

A linha de produto correlata é o iChords: motor de reconhecimento de melodia e harmonia (RHAE/CNPq, 2008–2010), iChords.Net (2008–2010), iChords Station (2011) e o aplicativo (2019), com os projetos do Banco do Nordeste e da FACEPE/Tecnova de 2019, sob responsabilidade de Rodrigo Pereira. É desenvolvimento tecnológico na Daccord, da qual Cabral é sócio-fundador.

Segue em: Recuperação de informação musical e na disciplina Computação Musical.