AIシステムはどのようにして音楽や音声をリアルタイムで生成するのか。

D'Accord Guitar · 2001年

課題は、コード譜から演奏へ至ることだった。ギターのネック上の押さえ方を選び、ギター奏者の手をモデル化し、学習者向けに演奏をアニメーションで示す。このシステムはプロジェクト「Agentes Inteligentes para Ambientes Complexos: estudo do acompanhamento musical em tempo real」(1999–2001年)から生まれ、Giordano Cabral の CIn での修士論文 D'Accord Guitar: um Sistema de Execução Violonística(2002年、指導教員 Geber Ramalho、CNPq奨学金)につながった。Izabel Zanforlin、Hugo Santana、Rodrigo Lima、Geber Ramalho とともに、このシステムを説明する4本の論文を発表した。Da Cifra para o Braço と Playing Along with D'Accord Guitar(VIII SBCM 2001、Fortaleza)、Modelagem da Execução Musical em Violão e Guitarra(ENIA 2001)、D'Accord Guitar: an Innovative Guitar Performance System(Journées d'Informatique Musicale、Bourges、2001年;hal-02987455)である。ソフトウェア D'Accord Violão Player(2001年)と、企業 D'Accord Music Software は、このシステムから生まれた。SBCM の PDF は論文集に掲載されている:研究論文とディスカッション論文。

パターンによるリズム伴奏 · 2004年

Using Patterns to Generate Rhythmic Accompaniment for Guitar は、実際の演奏から抽出したパターンをもとに伴奏を生成する。チームには、Márcio Dahia、Hugo Santana、Ernesto Trajano、Geber Ramalho のほか、民族音楽学者の Carlos Sandroni が加わっていた。Sound and Music Computing / JIM 2004、Paris;hal-03354323、zenodo.849240。この研究は博士論文に先行し、D'Accord Guitar を出発点としている。

インクリメンタル・パーシング · 2005–2006年

Jean-Pierre Briot、François Pachet とともに、Cabral は、音楽フレーズをリアルタイムで継続させる IP アルゴリズムを伴奏システムに適用した:Parsing incremental para acompanhamento em tempo real(第10回 SBCM、Belo Horizonte、2005年;hal-01416429、論文集のPDF)および Incremental Parsing for Real-Time Accompaniment Systems(FLAIRS 2006、音楽と芸術におけるAIのトラック;hal-01338563、PDF)。

Harmonisation automatique en temps réel(博士論文)· 2008年

生成AIに関する博士課程。Jean-Pierre Briot(LIP6)およびFrançois Pachet(Sony Computer Science Laboratory, Paris)の指導の下、2003年から2008年まで、LIP6、Université Pierre et Marie Curie(Paris 6)のSMA(Systèmes Multi-Agents)チームで取り組み、CAPESの奨学金を受けた。2003年から2007年までの研究はSony CSLのチームと共同で行われた。論文はsystème d'harmonisation automatique en temps réelを定義している。これは、固定されたリズムの上で、即興である可能性のあるメロディに対するハーモニゼーションを、音声でリアルタイムに自動生成するシステムであり、部分的な情報のもとで、システムとユーザーが相互に影響を及ぼし合う。この手法は、音楽情報検索の技術を拡張して音響信号を直接扱うもので、開発サイクルごとの実験で検証された。成果は解決策のframeworkであり、人間の音楽家と比較して評価された結果、単純な解決策が、より複雑なものを含む他のすべてを上回った。2008年7月9日に口頭審査を受け、評価はtrès honorable。審査員はJean-Pierre Briot、François Pachet、Myriam Desainte-Catherine、Sergi Jordà(報告者)、Jean-François Perrot、Geber Ramalho。NNT登録番号は2008PA066236で、theses.frに掲載。要旨と審査員はLIP6の論文情報ページにある。

Ramin · 2008–2009

論文のframeworkには名前とソフトウェアが与えられた。Ramin: A Framework for Real-Time Improvised Accompaniment and Harmonization(IEEE International Symposium on Multimedia、バークレー、2008年)と、プログラム「Ramin, um Sistema de Harmonização em Tempo Real」(2008年)である。翌年には、Briot、Pachet、RamalhoとともにComparing Techniques for the Automatic Accompaniment of Audio Improvisation(IEEE ISM 2009、サンディエゴ)で、伴奏の技術を比較した。

Capturing a Musician's Groove · 2015

論文から7年後、Sony CSLとの協働は、ブエノスアイレスで開催されたIJCAI 2015でのアプリケーションのデモンストレーションとして再開された。Mathieu RamonaとのCapturing a Musician's Groove: Generation of Realistic Accompaniments from Single Song Recordingsである。コンカテネーティブ合成エンジンが、ある曲を演奏する演奏者の録音を受け取り、その内容に基づいて他の任意の曲の伴奏を生成する。着目しているのは、切り出した断片の境界における時間的なずれで、これがgrooveを作る。偶発的なずれは補正され、意図的なずれは保持される。IJCAIの要旨 · PDF。

Brazyle · 2017

Sony CSLの音楽創作のための人工知能プロジェクトFlow Machinesのブラジル側の部分で、ブラジル様式のベースを担当した。Flow MachinesからはアルバムHello World(2018年)が生まれた。これは世界で最初期にAIによって制作されたアルバムの一つである(アルバムのクレジット)。詳細はプレスを参照。

Chord Detection Challenge · 2021

Moises.aiと実施したコード検出のオープンチャレンジ。2021年3月16日にキックオフし、結果は6月に公表された(CInのポータル、2021年6月9日)。コード推定とコードアラインメントのタスクを評価した論文は、Valter Jorge da Silvaとともに、SBCM 2021で発表された(doi.org/10.5753/sbcm.2021.19425)。

Cabralは、Uraquitan Sidney Cunhaの自動コード書き起こしに関する博士課程を副指導し(Lattesに2010年と2015年の記録)、Arthur Lubambo Peixoto Accioly(ハイブリッドな音源によるコード書き起こし、2017年)とBruno Tavares de Melo Gomes(dynamic time warpingを用いたchord following、2018年)の卒業論文を指導した。

関連する製品群はiChordsである。メロディとハーモニーの認識エンジン(RHAE/CNPq、2008–2010年)、iChords.Net(2008–2010年)、iChords Station(2011年)、アプリ(2019年)、さらに2019年のBanco do NordesteおよびFACEPE/Tecnovaのプロジェクトがあり、Rodrigo Pereiraが責任者を務める。これはDaccordにおける技術開発であり、Cabralはその創業者の一人である。

続きは次のページにある。音楽情報検索、および科目Computação Musical(音楽計算)。