인공지능 시스템은 어떻게 음악과 오디오를 실시간으로 생성하는가?

D'Accord Guitar · 2001

문제는 코드 악보에서 실제 연주로 가는 것이었습니다. 기타 지판 위의 운지를 선택하고, 기타 연주자의 손을 모델링하고, 학습자를 위해 연주를 애니메이션으로 보여주는 일입니다. 이 시스템은 "Agentes Inteligentes para Ambientes Complexos: estudo do acompanhamento musical em tempo real"(1999–2001) 프로젝트에서 나왔고, Giordano Cabral의 CIn 석사 학위 논문 D'Accord Guitar: um Sistema de Execução Violonística(2002, 지도교수 Geber Ramalho, CNPq 장학금)로 이어졌습니다. Izabel Zanforlin, Hugo Santana, Rodrigo Lima, Geber Ramalho와 함께 쓴 네 편의 논문이 이 시스템을 설명합니다. Da Cifra para o Braço와 Playing Along with D'Accord Guitar(VIII SBCM 2001, Fortaleza), Modelagem da Execução Musical em Violão e Guitarra(ENIA 2001), D'Accord Guitar: an Innovative Guitar Performance System(Journées d'Informatique Musicale, Bourges, 2001; hal-02987455)입니다. D'Accord Violão Player 소프트웨어(2001)와 D'Accord Music Software 회사가 여기에서 나왔습니다. SBCM의 PDF는 학회 논문집에 있습니다: 연구 논문, 토론 논문.

패턴 기반 리듬 반주 · 2004

Using Patterns to Generate Rhythmic Accompaniment for Guitar는 실제 연주에서 추출한 패턴으로 반주를 생성합니다. 팀에는 Márcio Dahia, Hugo Santana, Ernesto Trajano, Geber Ramalho와 함께 민족음악학자 Carlos Sandroni가 있었습니다. Sound and Music Computing / JIM 2004, Paris; hal-03354323, zenodo.849240. 이 연구는 박사학위 논문보다 앞서며 D'Accord Guitar에서 출발합니다.

점진적 파싱 · 2005–2006

Cabral은 Jean-Pierre Briot, François Pachet와 함께 실시간 음악 프레이즈 연속 생성 알고리즘인 IP 알고리즘을 반주 시스템에 적용했습니다: Parsing incremental para acompanhamento em tempo real(10º SBCM, Belo Horizonte, 2005; hal-01416429, 논문집 PDF) 및 Incremental Parsing for Real-Time Accompaniment Systems(FLAIRS 2006, 음악·예술 분야 AI 트랙; hal-01338563, PDF).

박사학위 논문 Harmonisation automatique en temps réel · 2008

2003년부터 2008년까지 LIP6의 Université Pierre et Marie Curie (Paris 6) SMA (Systèmes Multi-Agents) 팀에서 Jean-Pierre Briot (LIP6), François Pachet (Sony Computer Science Laboratory, Paris)와 함께 생성형 인공지능 박사 과정을 밟았으며, CAPES 장학금을 받았다. 2003년부터 2007년까지는 Sony CSL 팀과 함께 연구를 수행했다. 이 논문은 système d'harmonisation automatique en temps réel를 정의한다. 이는 고정된 리듬 위에서 즉흥 연주일 수도 있는 멜로디의 화성을 오디오로 실시간 자동 생성하는 시스템으로, 부분적인 정보만 주어지며 시스템과 사용자가 서로 영향을 주고받는다. 이 방법은 음악 정보 검색 기법을 확장하여 음향 신호를 직접 다루며, 개발 주기별 실험으로 진행된다. 그 결과물은 인간 연주자와 비교하여 평가한 해법들의 framework이며, 가장 단순한 해법이 더 복잡한 것들을 포함한 다른 모든 해법을 능가했다. 심사는 2008년 7월 9일에 있었고 très honorable 등급을 받았다. 심사위원은 Jean-Pierre Briot, François Pachet, Myriam Desainte-Catherine, Sergi Jordà(심사보고자), Jean-François Perrot, Geber Ramalho이다. NNT 등록번호 2008PA066236은 theses.fr에 있으며, 요약과 심사위원단은 LIP6 정보 페이지에서 볼 수 있다.

Ramin · 2008–2009

논문의 framework는 이름과 소프트웨어를 갖추게 되었다. Ramin: A Framework for Real-Time Improvised Accompaniment and Harmonization (IEEE International Symposium on Multimedia, Berkeley, 2008)과 프로그램 "Ramin, um Sistema de Harmonização em Tempo Real" (2008)이 그것이다. 이듬해에는 Briot, Pachet, Ramalho와 함께 Comparing Techniques for the Automatic Accompaniment of Audio Improvisation (IEEE ISM 2009, San Diego)에서 반주 기법들을 비교했다.

Capturing a Musician's Groove · 2015

논문 이후 7년 만에 Sony CSL과의 협업이 IJCAI 2015 (Buenos Aires)의 응용 시연으로 다시 이어졌다. Mathieu Ramona와 함께 발표한 Capturing a Musician's Groove: Generation of Realistic Accompaniments from Single Song Recordings이다. 연결 합성(concatenative synthesis) 엔진이 한 연주자가 곡을 연주한 녹음을 받아, 그 연주자의 내용을 담은 다른 임의의 곡의 반주를 생성한다. 핵심은 잘라 낸 구간의 경계에서 나타나는 시간적 편차로, 이것이 groove를 만든다. 우발적인 편차는 보정하고 의도적인 편차는 보존한다. IJCAI 초록 · PDF.

Brazyle · 2017

음악 창작을 위한 인공지능인 Sony CSL의 Flow Machines 프로젝트 가운데 브라질 측 부분으로, 브라질 스타일 데이터베이스를 구축했다. Flow Machines에서 앨범 Hello World (2018)가 나왔으며, 이는 세계 최초로 AI가 만든 음반 중 하나이다 (앨범 크레디트). 자세한 내용은 보도 자료에 있다.

Chord Detection Challenge · 2021

Moises.ai와 함께 진행한 코드(화음) 검출 공개 챌린지로, 2021년 3월 16일에 킥오프하여 6월에 결과를 발표했다 (CIn 포털, 2021년 6월 9일). 코드 추정 및 정렬 과제를 평가한 논문은 Valter Jorge da Silva와 함께 SBCM 2021에 게재되었다 (doi.org/10.5753/sbcm.2021.19425).

Cabral은 Uraquitan Sidney Cunha의 자동 코드 전사에 관한 박사 과정을 공동 지도했으며 (Lattes에 2010년과 2015년 기록), Arthur Lubambo Peixoto Accioly (하이브리드 소스를 이용한 코드 전사, 2017)와 Bruno Tavares de Melo Gomes (dynamic time warping을 이용한 chord following, 2018)의 학사 졸업논문(TCC)을 지도했다.

관련 제품 라인은 iChords이다. 멜로디 및 화성 인식 엔진 (RHAE/CNPq, 2008–2010), iChords.Net (2008–2010), iChords Station (2011), 그리고 애플리케이션 (2019)으로 구성되며, 2019년 Banco do Nordeste 및 FACEPE/Tecnova 프로젝트는 Rodrigo Pereira가 책임을 맡았다. 이는 Cabral이 공동 창립자인 Daccord에서 이루어지는 기술 개발이다.

다음 항목에서 이어진다: 음악 정보 검색 및 과목 Computação Musical.