¿Cómo genera música y audio en tiempo real un sistema de IA?

D'Accord Guitar · 2001

El problema era ir de la cifra a la ejecución: elegir las posiciones en el mástil de la guitarra, modelar la mano del guitarrista y animar la interpretación para quien está aprendiendo. El sistema surgió del proyecto "Agentes Inteligentes para Ambientes Complexos: estudo do acompanhamento musical em tempo real" (1999–2001) y dio origen a la disertación de maestría de Giordano Cabral en el CIn, D'Accord Guitar: um Sistema de Execução Violonística (2002, orientador Geber Ramalho, beca CNPq). Cuatro trabajos describen el sistema, con Izabel Zanforlin, Hugo Santana, Rodrigo Lima y Geber Ramalho: Da Cifra para o Braço y Playing Along with D'Accord Guitar (VIII SBCM 2001, Fortaleza), Modelagem da Execução Musical em Violão e Guitarra (ENIA 2001) y D'Accord Guitar: an Innovative Guitar Performance System (Journées d'Informatique Musicale, Bourges, 2001; hal-02987455). El software D'Accord Violão Player (2001) y la empresa D'Accord Music Software surgieron de él. Los PDF del SBCM están en las actas: investigación y discusión.

Acompañamiento rítmico por patrones · 2004

Using Patterns to Generate Rhythmic Accompaniment for Guitar genera el acompañamiento a partir de patrones extraídos de ejecuciones reales. El equipo contaba con un etnomusicólogo, Carlos Sandroni, junto a Márcio Dahia, Hugo Santana, Ernesto Trajano y Geber Ramalho. Sound and Music Computing / JIM 2004, París; hal-03354323, zenodo.849240. El trabajo antecede a la tesis y parte del D'Accord Guitar.

Parsing incremental · 2005–2006

Con Jean-Pierre Briot y François Pachet, Cabral adaptó el algoritmo IP, de continuación de frases musicales en tiempo real, a sistemas de acompañamiento: Parsing incremental para acompanhamento em tempo real (10º SBCM, Belo Horizonte, 2005; hal-01416429, PDF en las actas) e Incremental Parsing for Real-Time Accompaniment Systems (FLAIRS 2006, línea de IA en música y arte; hal-01338563, PDF).

Harmonisation automatique en temps réel, la tesis · 2008

Doctorado en inteligencia artificial generativa, con Jean-Pierre Briot (LIP6) y François Pachet (Sony Computer Science Laboratory, París), de 2003 a 2008, en el LIP6, Université Pierre et Marie Curie (Paris 6), equipo SMA (Systèmes Multi-Agents), con beca CAPES; de 2003 a 2007 el trabajo se realizó junto al equipo de Sony CSL. La tesis define el système d'harmonisation automatique en temps réel: un sistema que genera automáticamente, en audio y en tiempo real, la armonización de una melodía, posiblemente improvisada, sobre una rítmica fija, con información parcial e influencia mutua entre sistema y usuario. El método extiende técnicas de recuperación de información musical para trabajar directamente sobre la señal acústica, en experimentos por ciclo de desarrollo; el resultado es un framework de soluciones evaluado frente a músicos humanos, y una solución simple superó a todas las demás, incluidas las más complejas. Defensa el 09/07/2008, mención très honorable; jurado compuesto por Jean-Pierre Briot, François Pachet, Myriam Desainte-Catherine y Sergi Jordà (relatores), Jean-François Perrot y Geber Ramalho. Registro NNT 2008PA066236 en theses.fr; resumen y jurado en la ficha del LIP6.

Ramin · 2008–2009

El framework de la tesis recibió nombre y software: Ramin: A Framework for Real-Time Improvised Accompaniment and Harmonization (IEEE International Symposium on Multimedia, Berkeley, 2008) y el programa "Ramin, um Sistema de Harmonização em Tempo Real" (2008). Al año siguiente, Comparing Techniques for the Automatic Accompaniment of Audio Improvisation (IEEE ISM 2009, San Diego), con Briot, Pachet y Ramalho, comparó las técnicas de acompañamiento.

Capturing a Musician's Groove · 2015

Siete años después de la tesis, la colaboración con Sony CSL volvió en una demostración de aplicación en el IJCAI 2015, en Buenos Aires: Capturing a Musician's Groove: Generation of Realistic Accompaniments from Single Song Recordings, con Mathieu Ramona. Un motor de síntesis concatenativa recibe la grabación de un intérprete tocando una canción y genera el acompañamiento de cualquier otra con ese contenido. El cuidado está en las desviaciones temporales en el borde de los fragmentos recortados, que forman el groove: las accidentales se corrigen y las intencionales se preservan. Resumen en el IJCAI · PDF.

Brazyle · 2017

Parte brasileña del proyecto Flow Machines, de Sony CSL, de inteligencia artificial para la creación musical: una base de estilo brasileño. De Flow Machines salió el álbum Hello World (2018), uno de los primeros discos creados por IA en el mundo (créditos del álbum); el detalle está en prensa.

Chord Detection Challenge · 2021

Desafío abierto de detección de acordes realizado con Moises.ai, con kick-off el 16/03/2021 y resultado en junio (portal del CIn, 09/06/2021). El artículo que evalúa las tareas de estimación y alineación de acordes se publicó en el SBCM 2021, con Valter Jorge da Silva (doi.org/10.5753/sbcm.2021.19425).

Cabral coorientó el doctorado de Uraquitan Sidney Cunha sobre transcripción automática de acordes (registros de 2010 y 2015 en el Lattes) y orientó los TCC de Arthur Lubambo Peixoto Accioly (transcripción de acordes con fuentes híbridas, 2017) y Bruno Tavares de Melo Gomes (chord following con dynamic time warping, 2018).

La línea de producto relacionada es iChords: motor de reconocimiento de melodía y armonía (RHAE/CNPq, 2008–2010), iChords.Net (2008–2010), iChords Station (2011) y la aplicación (2019), con los proyectos del Banco do Nordeste y de FACEPE/Tecnova de 2019, bajo responsabilidad de Rodrigo Pereira. Es desarrollo tecnológico en Daccord, de la cual Cabral es socio fundador.

Continúa en: Recuperación de información musical y en la asignatura Computação Musical.