研究テーマ · 2005–2019
音の記述方法を自動的に発見することはできるか?
人工知能による音声解析。音声信号を数式(ディスクリプタ)で記述するには信号処理の知識が必要である。このテーマでは、ディスクリプタの自動発見と、学習済みの音分類器を探索によって改善することを扱う。Giordano Cabral の博士課程で Sony CSL の EDS を用いて始まり、HarmIn による和声解析、UFRPE での公共安全向け音分類器、そしてこの分野自体の進展に関する研究(2016年)を含む。

01 · AIによる音声解析:音楽情報検索
成果
コード認識における EDS · 2005–2006
Sony CSL の EDS(Extractor Discovery System)は、音声ディスクリプタを自動的に発見することを目指している。François Pachet および Jean-Pierre Briot とともに、Cabral は検証の第一部を行った。Automatic X Traditional Descriptor Extraction: the Case of Chord Recognition(ISMIR 2005、ロンドン;zenodo.1415701、hal-01416436)は、従来の手法と、経験のない利用者が操作するシステムとを比較し、ギターのコード認識器を構築している。続編は Recognizing Chords with EDS: Part One(CMMR 2005、ピサ;LNCS 3902、Springer、2006年;doi.org/10.1007/11751069_17、hal-01336914)。同年の関連研究は Impact of Distance in Pitch Class Profile Computation(第10回 SBCM 2005;hal-01416428、論文集のPDF)。博士課程で初めて国際会議に発表した研究である。
和声とリズムのための分析的ディスクリプタ · 2007
IMPA の Luiz Velho、ならびに Pachet、Pierre Roy、Briot との共同研究:Analytical Features to Extract Harmonic or Rhythmic Information(第11回 SBCM 2007;hal-01305977、論文集のPDF)および技術報告書 Some Case Studies in Automatic Descriptor Extraction(リオデジャネイロ、2007年)。
HarmIn · 2007
和声進行の分析ツール。音楽学者 Robert Willey(University of Louisiana at Lafayette)とともに、Cancioneiro Jobim をもとに Tom Jobim の作品に適用した。和声進行は、五度圏上に配置されたコード間の遷移グラフとして表現され、各辺の太さはレパートリー内での頻度に比例する。作曲家に繰り返し現れる和声の経路が可視化される。Analyzing Harmonic Progressions with HarmIn: the Music of Antonio Carlos Jobim は、第11回 SBCM(サンパウロ、2007年9月1日〜3日;シンポジウムのページ)で学生部門の最優秀技術論文賞を受賞した。論文集のPDF。2026年には、このツールが持ち運び可能な skill として再登場し、指定したアーティストについて五度圏上の遷移行列を作成する。


ゲーム操作としての音声 · 2008–2010
Mapping Sounds into Commands(AES 35th International Conference: Audio for Games、ロンドン、2008年)および The Acoustick: Game Command Extraction from Audio Input Stream(SBGames 2010)。Roberto Cássio Júnior との共同研究。
公共安全のための音響モニタリング · 2010–2014
UFRPEでは、マイクから銃声、叫び声、衝撃音、環境音、無音を自動的に検出することが課題となった。これはCNPqの技術開発生産性奨学金(2011–2014)、CNPqプロジェクト「Audio Monitoramento para Segurança Pública」(2010–2013)、およびFACEPEプロジェクト「Classificação Automática de Áudio para Monitoramento de Espaços Públicos」(公募11/2011、2012–2014)の対象であった。ここから、Dalton Francisco de Araújoの修士論文 Busca como sistema de apoio à melhoria de classificadores automáticos de áudio(UFRPE、2012年、FACEPE奨学金)と、Audio Alerta(2012)およびAudio Alerta para segurança privada(2013)として登録されたプログラムが生まれた。共同開発者は Márcio Dahia、Roberto Cássio Júnior、Ivo Frazão、Raphael Holanda。Audio Alertaはその後、D'Accordのスピンオフとして継続した。
音響特徴量の進化的生成 · 2014–2019
生産性プロジェクト「Meta-Busca em Classificadores de Áudio e de Dados para Segurança, Entretenimento e Educação」(2014–)は、音響特徴量を手作業で選ぶのではなく、生成することを扱った。José Antonio Alves Menezes、Bruno Gomesとの共同研究の成果として、学術誌論文 Feature Learning with Multi-objective Evolutionary Computation in the generation of Acoustic Features(Inteligencia Artificial、IBERAMIA、第22巻第64号、2019年;doi.org/10.4114/intartif.vol22iss64pp14-35)がある。
MIREXの進歩を測る · 2016
MIREXは2005年以来、音楽情報検索の評価の場となっている。Ricardo Scholz、Geber Ramalhoとの共同研究では、6年分の結果をまとめ、タスクごとに設定可能な進展傾向の指標を提案し、一部のタスクが停滞している理由についての仮説を論じた:Cross Task Study on MIREX Recent Results: an Index for Evolution Measurement and Some Stagnation Hypotheses(ISMIR 2016、ニューヨーク;zenodo.1416898)。業績の中で、この分野そのもののメタ科学を扱った唯一の研究である。
サビ、採譜、ポッドキャスト · 2014–2021
音の強さによるサビ検出(Renato Celso Santos Rodriguesとの共同研究、第15回SBCM 2015;2016年に副指導の修士論文)、コード採譜の後処理(Uraquitan Cunhaとの共同研究、第12回AES Brasil、2014年)、メタデータ・内容・音声に基づくポッドキャスト人気度の予測(Luiz Delando Santos Moreira Júniorの修士論文、2021年)。
02 · AIによる音声分析:音楽情報検索
現在の展開
2021年にMoises.aiと実施したChord Detection Challengeと、音楽情報検索がカリキュラムの4つのブロックの一つである科目Computação Musical(音楽計算)。
