人工知能におけるフルエンシーとは何か。なぜ位置ではなく動きを測るのか。

2025年7月10日、METRは生産性とAIに関する対照試験を公表しました。経験豊富な開発者16人が自身のリポジトリの246件のタスクに取り組み、各タスクはAIの使用を許可するか禁止するかが無作為に割り当てられました。AIを使った場合、作業時間は19%長くなりました。終了後、参加者は自分たちが20%速くなったと見積もっていました。

2026年2月24日、同じ著者らが研究をやり直しました。元のグループのうち戻ってきた10人では、結果は18%速いとなり、区間は38%速いから9%遅いまでに及びます。著者ら自身がこの新しいデータを弱いシグナルと呼んでいます。作業時間の半分をAIなしで働くことを求める研究への参加を、招待された人の増えつつある割合が断っているためです。

結果は二つの測定の間で符号が変わり、参加者のAI利用が変化したため、実験の設計は本来測っていたものを測らなくなりました。段階を割り当てるスケールは、スケール自体が安定していることを前提としています。

Giordano Cabralが採用している用語はフルエンシーです。2025年からFAROLで用いています。FAROLは彼がCIn/UFPEに設立した研究グループで、2026年にInstituto FAROL de Fluência Agêntica（FAROLエージェント的フルエンシー研究所）となります。それ以前にも、この名称なしで同じ手法がPsyFunのゲームや授業での評価に見られます。

この用語は語学学習に由来します。練習がなければ、水準は下がります。フルエンシーは軸ごとに測られ（組織はデータには流暢でも、人材には流暢でないことがあります）、周囲のエコシステムにも左右されます。

導入そのものは、もはや組織間の差を生みません。2025年のStack Overflow調査では、回答者の84%が開発にAIを使っている、または使う予定であり（前年は76%）、AIが返す内容の正確さを信用していない人は46%、信用している人は33%でした。

AIの成熟度モデルは、安定したプロセスを前提に作られた1990年代のソフトウェアのモデルを受け継いでいます。エージェント的AIで詳述しているFAROLの批判は三点あります。最上位に分類された組織は、次の変化で失うものが大きくなりやすいこと。これらのモデルは標準化を評価し、実験を減点するが、AIでは素早い破棄に価値があること。そして、位置は速度を示さないことです。

軸は六つ（知識、ツールと統合、委任と自律性、プロセス、生産性と成果、学習と文化）で、それぞれにN0からN5までの独自の尺度があり、264項目のマスターバンクと照らし合わせます。入口は公開診断です。リーダーが組織を代表して3分から8分で回答し、事前登録は不要で、その場でレーダーが得られます。その後に企業が行うことはAIによる企業変革にあります。

協力するかと尋ねられると、子どもはほぼ必ず「する」と答える。PsyFunのゲームでは協力にリソースがかかり、選択は約3秒で行われ、画面上にジレンマと呼ばれるものは何もない。6歳から12歳の子ども162人を対象とした2件の実験（2021年にBehavior Research Methodsに掲載）では、子どもたちは一方のゲームでもう一方より多く協力し、しかも条件付きで協力した。質問紙ではこの二点を区別できない。Cabralは2013年と2014年にUFRPEでこのグループを率い、2018年までは、その発端となったCNPqのプロジェクトを率いた。

区別されるのは、本人が自分について答えた内容と、本人が行ったことの記録である。この二つの測定は誤りの性質が異なるため、足し合わせることはできない。申告は系統的に、しかも同じ方向に誤る（METRの場合がそうである）。痕跡は、記録を残すシステムを通った作業しか捉えられず、何を行ったかは記録しても、何を理解したかは記録しない。

Tendências em Mídia e Interaçãoの2026.2では、各学生が科目のシステム内で500のツールを1件ずつふるいにかけ、システムは各ツールに費やした時間を記録する。規則は授業計画に明記されている。機械が成果物を作るなら、評価するのは機械を操縦する過程である。この科目はAI検出器を使わない。基準は過程の証拠、すなわちリポジトリ、履歴、根拠の説明、テストである。最初の提出では、14名の学生が共通のカタログに5,776件のツールを持ち込み、659件の選択を記録した。

FAROLでは、観察された利用の実態は、収集の段階から外れた独立の軸として扱う。本人が申告する内容と足し合わせることができないためである。Meu Mapa de IAは学生に、これまでに何をしたかを尋ねる。集計結果はObservatório de adoção de IAで公開されており、2026年9月14日時点の抽出で2,943件の回答がある。調査は横断的であり、各回で同じ人々を追跡しているわけではない。

この測定はAIが生み出すものの質を評価しない。どの測定手段も会話の内容をサーバーに送らず、個人の結果は公開されない。公開パネルでは、回答が5件未満のセルは非表示にしており、Observatórioでは1,394,729セルが集計から外れた。利用できない組み合わせは、ゼロを意味しない。

指標のそばには、2つの異論が公開されている。1つ目はグッドハートの法則である。目標になった指標は、本来測っていたものを測らなくなる。流暢性の指標には3つの弱点がある。利用量に報酬を与えれば、操作は容易である。認証マークのように読まれる。委任を得点化すれば、自分の能力の外で最も多く委任する人に報酬を与えてしまう。2つ目は、公表された測定は公的な約束として機能し、後から、法的な形も含めて、履行を求められうるということである。

能力の蒸留（コード生成を委任すると技能形成に代償が生じ、始めたばかりの人ほどその代償は大きい）は、Cabralの文章に繰り返し現れる仮説であり、まだ検証されていない。検証には同じ人々を長期にわたって追跡する必要があるが、FAROLの現行の測定手段は横断的な測定を行うものである。2026年に公開された共有資源のゲームAçudeは、ラウンドごとの判断を記録する。