経験豊富な開発者たちが、AIを使って実際の仕事を片付けたあと、こう見積もりました。AIのおかげで、作業時間は平均で20%短くなった、と。

ところが、作業時間を条件ごとに比べた分析では、AIを使ってよい条件のほうが、完了までに19%長くかかっていました。

米国の研究機関METRが2025年7月に公表した実験です。参加したのは、ふだん担当しているオープンソースのソフトウェアに平均5年かかわってきた、16人の開発者でした。

この結果から分かるのは、AIが役に立たないということではありません。「速くなった」という実感は、時間が減ったことの証拠にならないということです。

予想も、使った後の見積もりも外れた

実験の作りは、こうです。開発者たちは、自分のソフトウェアで実際に片付けるべき課題を持ち寄りました。合計246件、1件あたり平均2時間ほどの仕事です。その一件ごとに「AIを使ってよい」「使ってはいけない」を無作為に割り当て、開発者が申告した作業時間を、二つの条件の間で比べました。作業の画面も録画され、申告の確認に使われています。

AIを使ってよいときに主に使われたのは、AIを組み込んだコード編集ソフトのCursorと、AnthropicのClaude 3.5/3.7 Sonnetです。2025年の前半としては、最先端の組み合わせでした。

予想と結果を並べると、ずれの大きさが分かります。

予測・見積もり・分析結果AIを使える条件での作業時間
開発者本人の予想(実験の前)24%短くなる
経済学の専門家の予想39%短くなる
機械学習の専門家の予想38%短くなる
開発者本人の見積もり(実験の後)20%短くなった
作業時間から推定した効果19%長くなった

注目したいのは、下から2行目です。これは、何も知らずに立てた予想ではありません。自分の実際の仕事でAIを使ったうえでの見積もりです。それでも、向きが逆でした。なお、19%は条件全体の平均的な効果の推定で、参加者全員が遅くなったという意味ではありません。

減ったのは「書く」時間。増えたのは「待つ」「直す」時間

では、時間はどこに行ったのか。METRは録画のうち143時間分、全作業時間の29%にあたる部分を、作業の中身ごとに分類しています。

AIを使えるときは、自分でコードを書く時間や、情報を調べる時間は確かに減っていました。その代わりに増えたのが、AIへの指示を書く時間、AIの出力を待つ時間、出てきたものを確認する時間、そして何もしていない時間です。AIが作ったコードのうち、開発者が採用したのは半分に届かず、AIを使えた作業では、時間の約9%がAIの出力の確認と手直しに使われていました。

なぜ実感と分析がここまでずれたのか。この研究は、その理由までは確かめていません。ただ、自分で書く時間がはっきり減ると、全体の所要時間も減ったと感じやすいのかもしれません。待つ時間や直す時間は細切れで、作業として意識されにくいのかもしれません。

これは、ソフトウェア開発だけの話ではないはずです。よくある例で考えてみます。営業担当者が、AIに提案書の下書きを作らせる。5分で、見た目の整った下書きが出てきます。ところが、担当者名、納期、金額、先方の事情を確かめては直しているうちに、気づけば1時間たっている。本人の記憶に残るのは「5分で下書きができた」のほうです。

この実験から言えないこと

一方で、この結果を「AIを使うと遅くなる」と読むのは間違いです。METR自身が、この研究からは、ソフトウェア開発以外の仕事をする人にも同じことが起きるとは言えない、使い方を工夫したりAIに慣れたりしても速くならないとは言えない、将来のAIでも同じとは言えない、と書いています。

条件も特殊でした。参加者は、平均100万行を超える大きなソフトウェアを、何年も触ってきた人たちです。どこをどう直せばよいか、すでに頭に入っている。論文は、開発者がコードに精通していることや、ソフトウェアが大きく複雑なこと、AIが文書化されていない事情を知らないことを、遅くなった要因の候補に挙げています。慣れない仕事を任された新人なら、結果は違ったかもしれません。

この実験の教訓は「AIは遅い」ではありません。AIが速くするかどうかは、仕事と人と使い方の組み合わせで変わる。そして、その違いは、使っている本人にも見分けにくい、ということです。

AIに慣れるほど、比較対象を用意しにくくなる

この話には続きがあります。METRは2025年後半、参加者を57人に増やして追跡の実験を行いました。報酬が時給150ドルから50ドルに下がるなど、条件も変わっています。そして2026年2月、METRは実験の作り方そのものを見直すと発表しました。

主な理由は、比較から抜け落ちるものが出てきたことです。仕事の半分をAIなしでやりたくないという開発者が増え、30〜50%の開発者が、AIなしではやりたくない課題を実験に出さなかったと話しました。参加者がAIの効果が高いと期待する仕事ほど、比較の対象から抜けている可能性がある、ということです。さらに、複数のAIエージェントを同時に動かす開発者については作業時間を正しく測れず、エージェントを待つ間に別の仕事をするので時間を申告しにくい、という声もありました。

METRは、参加者の話から、2026年初めの開発者は2025年の推定より速くなっている可能性が高いと考えています。それでも、手元のデータは、どれだけ速くなったかについて「ごく弱い証拠」(筆者訳)にしかならない、としています。

会社でも、同じ種類の偏りは起こり得ます。導入の後でも、AIあり・なしを比べることはできます。ただ、社員がAIに慣れるほど、「この仕事はAIなしでやってみてください」とは頼みにくくなり、比べやすい仕事だけが残りがちです。導入前の作業時間を残しておけば、それが後から確かめるための手がかりになります。

「半日くらい」は、効果を測る基準にならない

PIMOAの別の記事では、ヒアリングのよくある一例として、「この資料、作るのにどれくらいかかりますか」という問いに「半日くらいです」と返ってくるやり取りを紹介しました(現場ヒアリングで見つかる、AI改善テーマの探し方)。改善テーマを探す入口としては、これで十分です。けれど、それは本人の見積もりです。導入の後に「1時間で済むようになりました」と聞いても、半日も1時間も、どちらも感覚の数字です。AIの効果を、社員への「業務時間が減ったと感じますか」というアンケートだけで判断すると、この実験と同じ落とし穴にはまりかねません。

時間が減ったかを確かめるために、私たちが考える手順は次のとおりです。

  • AIを入れる業務を決めたら、導入の前に、件数と所要時間を記録しておく。既存の記録で開始と終了が分かれば使ってよいが、間に会議や別の仕事が挟まるなら、経過時間をそのまま作業時間として扱わない
  • 確認と修正にかかった時間を、差し戻しの件数とは別に記録する。提出前に本人が30分直しても、差し戻しはゼロのまま
  • AIの出力を待って手が止まった時間も記録する。待つ間に別の仕事を進めたなら、同じ時間を二重に数えない
  • 比べる仕事は、種類だけでなく、分量や難しさ、求める仕上がりもできるだけそろえる

うまくいかないことも、先に書いておきます。記録は面倒で、忙しい時期にはまず続きません。導入前の記録を取らずにAIを入れてしまった会社も、少なくないはずです。その場合でも、同じ種類の仕事を何件か、AIを使う回と使わない回で比べるだけで、感想よりはずっと確かな手がかりになります。1件30分の作業が15分になれば月にどれだけ浮くか、という計算(ChatGPTだけで終わらせない。社内にAIを定着させる3つのコツ)も、その「30分」と「15分」を測っていて初めて意味を持ちます。

そして、測ってみたら時間が減っていなかった、ということもあり得ます。そのときにやめる前に見てほしいのは、増えた時間の中身です。提案書の例なら、下書きは5分でも、金額や納期の確認に時間がかかっているのかもしれません。それなら、AIに任せるのは構成と文面までにして、数字は社内の資料から人が入れる。そうして任せる範囲を変えたら、もう一度測ります。

「楽になった」は大切な感想です。METRの開発者たちも、嘘をついたわけではなく、そう感じていました。ただ、「時間が減った」と判断するには、待つ時間と直す時間まで含めて、比べる必要があります。

参考文献・資料

METR "Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity"(2025年7月10日)
Joel Becker, Nate Rush, Elizabeth Barnes, David Rein "Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity"(arXiv:2507.09089)
METR "We are Changing our Developer Productivity Experiment Design"(2026年2月24日)