跳到正文
Giordano Cabral

研究方向 · 2005–2019

能否自动发现如何描述一个声音?

人工智能音频分析。用公式——即描述符——来描述音频信号,需要信号处理方面的知识;这一研究方向关注描述符的自动发现,以及通过搜索改进已训练好的声音分类器。研究始于Giordano Cabral的博士阶段,使用Sony CSL的EDS,包括HarmIn的和声分析、UFRPE面向公共安全的声音分类器,以及一项关于该领域自身进展的研究(2016年)。

从上方俯视的工作台:一个带有四个按钮和脚踏板的 MDF 盒子、线缆、焊锡卷、面包板、游标卡尺,以及一张画有波形的纸;一个红色按钮。

01 · 人工智能音频分析:音乐信息检索

贡献

EDS在和弦识别中的应用 · 2005–2006

Sony CSL的EDS(Extractor Discovery System)旨在自动发现音频描述符。Cabral与François Pachet和Jean-Pierre Briot一起完成了验证的第一部分:Automatic X Traditional Descriptor Extraction: the Case of Chord Recognition(ISMIR 2005,伦敦;zenodo.1415701,hal-01416436)将经典方法与由无经验用户操作的该系统进行比较,构建了一个吉他和弦识别器。后续工作是Recognizing Chords with EDS: Part One(CMMR 2005,比萨;LNCS 3902,Springer,2006年;doi.org/10.1007/11751069_17,hal-01336914)。同年的姊妹篇是Impact of Distance in Pitch Class Profile Computation(第10届SBCM 2005;hal-01416428,会议论文集PDF)。这是其博士期间第一篇发表于国际会议的论文。

和声与节奏的分析型描述符 · 2007

与IMPA的Luiz Velho,以及Pachet、Pierre Roy和Briot合作:Analytical Features to Extract Harmonic or Rhythmic Information(第11届SBCM 2007;hal-01305977,会议论文集PDF)以及技术报告Some Case Studies in Automatic Descriptor Extraction(里约热内卢,2007年)。

HarmIn · 2007

一个和声进行分析工具,依据Cancioneiro Jobim应用于Tom Jobim的作品,与音乐学家Robert Willey(University of Louisiana at Lafayette)合作。和声进行被转换为和弦之间转移的图,排布在五度圈上,每条边的粗细与其在曲目中的出现频率成正比;作曲家反复出现的和声路径由此清晰可见。Analyzing Harmonic Progressions with HarmIn: the Music of Antonio Carlos Jobim获得第11届SBCM(圣保罗,2007年9月1日至3日;研讨会页面)最佳学生技术论文奖。会议论文集PDF。2026年,该工具以便携式skill的形式重新推出,可为指定的艺术家生成五度圈上的转移矩阵。

HarmIn:基于五度圈的和弦转移图(2007年)
HarmIn:基于五度圈的和弦转移图(2007年)
HarmIn:三种曲目并列比较
HarmIn:三种曲目并列比较

将音频用作游戏指令 · 2008–2010

Mapping Sounds into Commands(AES 35th International Conference: Audio for Games,伦敦,2008年)和The Acoustick: Game Command Extraction from Audio Input Stream(SBGames 2010),与Roberto Cássio Júnior合作。

公共安全音频监测 · 2010–2014

在 UFRPE,问题变成了如何通过麦克风自动检测枪声、喊叫声、撞击声、环境声和静默。这是 CNPq 技术发展生产力奖学金(2011–2014)、CNPq 项目“Audio Monitoramento para Segurança Pública”(公共安全音频监测,2010–2013)以及 FACEPE 项目“Classificação Automática de Áudio para Monitoramento de Espaços Públicos”(公共空间监测的音频自动分类,第 11/2011 号征集,2012–2014)的研究对象。由此产生了 Dalton Francisco de Araújo 的硕士学位论文 Busca como sistema de apoio à melhoria de classificadores automáticos de áudio(UFRPE,2012,FACEPE 奖学金),以及登记为 Audio Alerta(2012)和 Audio Alerta para segurança privada(2013)的软件,参与者有 Márcio Dahia、Roberto Cássio Júnior、Ivo Frazão 和 Raphael Holanda。Audio Alerta 后来作为 D'Accord 的衍生企业继续发展。

声学特征的进化生成 · 2014–2019

生产力项目“Meta-Busca em Classificadores de Áudio e de Dados para Segurança, Entretenimento e Educação”(2014–)研究的是生成声学特征,而不是手工选择特征。与 José Antonio Alves Menezes 和 Bruno Gomes 合作,期刊成果为 Feature Learning with Multi-objective Evolutionary Computation in the generation of Acoustic Features(Inteligencia Artificial,IBERAMIA,第 22 卷第 64 期,2019;doi.org/10.4114/intartif.vol22iss64pp14-35)。

衡量 MIREX 的进展 · 2016

自 2005 年以来,MIREX 一直是音乐信息检索的评测平台。该研究与 Ricardo Scholz 和 Geber Ramalho 合作,汇编了六年的结果,提出了一个可配置的、按任务衡量演进趋势的指数,并讨论了部分任务停滞的若干假设:Cross Task Study on MIREX Recent Results: an Index for Evolution Measurement and Some Stagnation Hypotheses(ISMIR 2016,纽约;zenodo.1416898)。这是履历中唯一一项关于该领域自身元科学的研究。

副歌、转录与播客 · 2014–2021

基于响度的副歌检测,与 Renato Celso Santos Rodrigues 合作(第 15 届 SBCM 2015;2016 年协同指导的硕士论文);和弦转录的后处理,与 Uraquitan Cunha 合作(第 12 届 AES Brasil,2014);基于元数据、内容和音频的播客热度预测,为 Luiz Delando Santos Moreira Júnior 的硕士论文(2021)。

02 · 基于 AI 的音频分析:音乐信息检索

延续之处

2021 年与 Moises.ai 合作的 Chord Detection Challenge,以及 Computação Musical(音乐计算)课程,其中音乐信息检索是课程四大模块之一。

Chord Detection Challenge,公开的和弦自动检测挑战赛(2021)
Chord Detection Challenge,公开的和弦自动检测挑战赛(2021)