什么是智能体 AI,如何衡量一个组织对它的熟练度?

在生成式 AI 中,人与模型对话,得到一段文字、一张图片或一段代码;执行工作的仍然是人。在智能体 AI 中,人把整个任务委托出去:系统自行决定步骤、调用工具、读写文件、查询互联网,然后带着完成的工作返回,或者说明为什么没能完成。

这条界线是 FAROL 诊断的核心。与 AI 对话是生成式使用;让 AI 执行是智能体式使用,这一区分把基本词汇与已经以这种方式工作的人所用的词汇区分开来。它是六个维度中第一个维度的基础,而诊断返还给一个组织的,在任何分数之前,首先是它处在这条界线的哪一侧。

因为成熟度模型以流程稳定为前提,而 AI 并不稳定。大多数 AI 成熟度模型继承自 CMMI,后者是上世纪 90 年代为软件设计的;当它被用于一个技术前沿每隔几个月就会变化的领域时,存在三个缺陷:

• 虚假的抵达感。处于“5 级:优化”的公司会觉得自己已经到达终点,因此对下一波浪潮也最脆弱。
• 惩罚尝试者。传统框架奖励标准化;而在 AI 领域,快速尝试并放弃更有价值,放弃一个项目本身并不等于失败。
• 忽视动态。成熟度衡量的是位置。昨天才引入语言模型的人,可能比已有五年机器学习经验的人更熟练。

替代方案是熟练度,类比于一门语言:它是持续的,因为停下就是倒退;它是分布式的,因为一个组织可能在数据方面强而在人员方面弱;它还取决于周围的生态系统。

有什么证据支持衡量熟练度这一选择?

来自该小组之外的三项结果:

• 采用率已不再具有区分度。2025 年 Stack Overflow 调查显示开发者中 AI 使用率为 84%,而信任度一年内从 40% 降至 29%,66% 的人反映遇到“差不多对,但并不完全对”的方案。
• 感觉会骗人。METR 于 2025 年 7 月进行的对照实验测得,有经验的开发者在成熟项目中使用 AI 后慢了 19%,而他们自己却以为快了 20%。
• 巴西的差距在于熟练度。工具已经大量普及;欠缺的是委托方面的成熟度,这是文化和组织层面的问题。

FAROL 逐个维度进行衡量,因为平均值恰恰掩盖了值得关注的失衡。

• E1 · 知识 — 对 AI 的理解程度,从基本词汇到区分与 AI 对话和让 AI 执行。它是其余各维度的基础。
• E2 · 工具与集成 —— 实际使用哪些工具、使用到什么深度，从零散的聊天到 MCP、连接器，以及接入企业系统的智能体。广度买不来深度。
• E3 · 委派与自主性 —— 每个人如何与 AI 协作，从盲目的复制粘贴到 planning mode（先要求给出计划，再执行）。治理在这里作为促成因素存在。
• E4 · 流程 —— 哪些工作流被 AI 重新设计，而不只是被加速。判断的关键问题：是任务变快了，还是这个流程只因 AI 才得以存在？
• E5 · 生产力与成果 —— 运营层面的收益（时间、成本、质量）和战略层面的收益（推理、决策）。区分“个人提速了”与“团队的产出量变了”。
• E6 · 学习与文化 —— 组织如何保持更新。这是发动机：没有它，已达到的任何水平都会退步。

标尺在第 3 版（标准版）中为 N0 至 N5，在第 1 版中为 A 至 E。其公开说明的依据，是对咨询公司、大学和大型科技公司发布的 928 种 AI 流畅度与成熟度表述所做的批判性综合（其中包括 MIT CISR、Gartner、Deloitte、Cisco、Forrester/IBM、Microsoft、Salesforce 和 NIST），并针对巴西的情境重新校准。

该工具采用树状结构。每位受访者使用的是一组工具，而不是全部工具，因此问卷先识别这组工具，再在其中展开问题。

数据收集分为五个层级，按成本排列：第 1 级，每个组织一份回答，十至十五分钟，免费；第 2 级，每人一份回答，约五分钟，免费；第 3 级，结构化访谈，每人约一小时；第 4 级和第 5 级，辅助式深入调查与现场工作。

质量不在衡量范围内，包括 AI 产出内容的质量，以及对话的内容，后者不会离开答题者的电脑。该指数不衡量的内容见流畅度。

该团队自己公布了哪些异议？

两条，与指数一并公布：古德哈特定律（一个指标一旦成为目标，就不再衡量它原本所代表的东西），以及已公布的衡量就是承诺，事后可以被追问。这两条在流畅度中有详细阐述。

目前有六个在线，无需事先注册，也不收费：

• Índice de IA para empresas —— 由一位负责人代表组织作答，随后得到六个维度的雷达图和下一步的跃升方向。耗时三至八分钟，即时出结果。
• Meu Mapa de IA —— 面向学生、游戏形式的调查工具，在手机上约十四分钟，屏幕上附有知情同意书。
• Observatório de adoção de IA —— Meu Mapa de IA 的汇总看板：截至 2026年9月14日共 2943 份回答，所有低于五的单元格均作隐藏处理。可导出为 CSV。
• Mapa da Fluência Agêntica —— 基于同一个 264 项题库的五种可视化解读：元素周期表、成熟度时代、海图、工厂和阅览室。
• FAROL Software —— 软件工程垂直版本：37 个映射问题和 77 个可选的实践问题，耗时十五至六十分钟。
• Laboratório de protótipos —— 六种不像表单的诊断作答方式，向所有愿意对设计发表意见的人开放。

Bolão das IAs · 2026 年世界杯是Arena das IAs的第一个实验。Arena das IAs 是该团队的公开实验板块：124 个模型按同一套竞猜规则预测了世界杯的 104 场比赛，并与人类争夺同一个排名。38 天内共 5797 条预测，时间为 2026年6月11日至7月19日，全部记录见 bolao.arenadasias.com.br 和 GitHub 仓库。

十一个界面模型，即“Série A”，像人一样做预测：打开浏览器，查阅新闻、伤病和状态，再给出比分。其余模型通过 API 运行，使用相同的提示词。

AI 中的冠军并列，均为 636 分：Mistral Small 3，22 次精确比分；Grok 4 Fast Reasoning，20 次。Série A 的冠军：ChatGPT 5 Thinking，616 分。最好的人类得了 629 分，领先于 124 个 AI 中的 121 个。

124个模型的共识认为巴西将夺冠，而巴西队在16强止步。在半决赛法国 0 × 2 西班牙中，所咨询的62个IA没有一个预测到西班牙获胜。在三四名决赛法国 4 × 6 英格兰中，63个IA没有一个猜中比分，只有五个甚至押了英格兰获胜。在104场比赛中，有十二个模型的精确比分命中达到二十场或以上。完整的实验见文章。

CIn-UFPE 的门户网站报道了这项实验，分别在启动时（2026年6月11日）和结束时（2026年7月22日）。

Giordano Cabral 从本科阶段起就在 CIn/UFPE 研究智能体。

• 1999–2001 — 实时音乐与音频生成：项目“Agentes Inteligentes para Ambientes Complexos: Estudo do Acompanhamento Musical em Tempo Real”（复杂环境中的智能体：实时音乐伴奏研究），与 Hugo Santana 和 Geber Ramalho 合作。
• 2003–2008 — 生成式人工智能方向的博士研究，导师为 Jean-Pierre Briot 和 François Pachet，就读于索邦大学 / 皮埃尔和玛丽·居里大学（巴黎第六大学）的 LIP6，并与 SONY Computer Science Laboratory 合作四年。论文 Harmonisation automatique en temps réel 于2008年7月9日通过答辩，获 très honorable 评语（theses.fr/2008PA066236）。
• 2020–2024 — 与 Geber Ramalho 一起创办 PRAIA（Centro de Pesquisa Realmente Aplicada em Inteligência Artificial，真正应用型人工智能研究中心）；2024年，与 Jean-Pierre Briot 和 Fabio Cozman 合作撰写三篇关于巴西人工智能的策略、挑战与机遇的文本，存放于 HAL（hal.science/hal-04663796）。
• 2023 — 一篇关于机器自主性的文章：Will AI's Next Wave of Super Intelligence Replace Human Ingenuity? It's Complicated，于2023年12月15日发表在 Grit Daily，并于2024年5月10日更新。文章的论点是：在几乎所有方面都超越人类的通用人工智能不太可能出现，更值得投入的做法不是让机器在人类已经擅长的事情上超越人类，而是用它来做人类做不到的事情，例如非人类视角的观察，以及处理超出人类感知范围的维度。
• 2025–2026 — FAROL，衡量组织和个人在工作中使用智能体 IA 的情况。

在 2026.2 学期的 Tendências em Mídia e Interação（媒体与交互趋势）课程（CIN0055）中，全班提出的十九个主题里有五个与智能体 IA 有关：智能体编程与作为编排者的开发者；自主智能体的约束、安全与身份；信任基础设施（记忆、可观测性与评估）；智能体互联网，即用户是机器的情形；以及带钱包的智能体，即机器之间的商业往来。这些主题并非由教师选定，而是来自全班整理的 5,776 个工具目录和系统中记录的 659 次选择。

课程网址为 www.cin.ufpe.br/tmi/26-2/。