巻頭言：「AIの皮肉」という考え方
最近、AI推進チームというチームのリーダーをやることになりましたしょっさんです。
そろそろSRE NEXT 2026も近付いてきましたね。また、面白いセッションが聴けるのが楽しみです。
さて、今回の巻頭言はQCon San Francisco 2025における「The Ironies of A2 I2」というJ. Paul Reedさんによるセッションのご紹介です。
AI推進なんて大役を仰せつかったからには、AIのことを分からんとダメだねということで、敢えての冷水をぶっかけるようなAIへの皮肉が詰まったセッションをじっくり学んでみました。
InfoQ
自動化の皮肉
前半は自動化の皮肉について、とっぷり語っています。
自動化の皮肉とは、自動化をすることで単に「自動化された処理を実行すれば良い」という概念が浸透し、自動化された処理の根底にあるものの理解が疎かになるというもの。つまりは、自動化は 「問題の隠蔽」 を引き起こしてしまうのですね。
そして、大概において自動化された処理が限界に達する場面では、人間の介入が必要になってくるが、その時に発生する悲劇が、ここでは実際の航空機事故になぞらえて説明されています。
※ ちなみに「自動化の皮肉（Ironies of Automation）」は1983年の有名な研究論文のタイトルから取られているみたいです。ざっくり説明すると、「自動化によってスキルを向上させる機会を失ったが、稀な人間の介入に備えるためにスキル向上により多く力を注がなくてはならない」という、自動化で楽になったんだか、なってないんだかといった皮肉めいたお話です。
ボーイング737の事故
説明されていた航空機事故は、ヴァージン・オーストラリア航空のボーイング737に搭乗していたパイロットが引き起こしたという2023年の事故です。
パイロットが誤って方向舵トリム制御装置を作動させてしまい、横方向に進路がズレるような傾きが発生したのですが、オートパイロット機能がそれを補正して、正しいルートを進んでいました。しかし、徐々に横方向にズレる力が増加していった結果、ある時点でオートパイロット機能が制御できる幅を越えてしまい、突然機体が大きく傾いてしまうという事故でした。
幸いにも軽症者のみの事故だったようですが、このようにオートパイロット機能という自動化が、まさに方向舵トリム制御装置の誤作動という問題を隠蔽し、あるタイミングで爆発してしまったという事象ですね。
エンジニアリングに置き換える
これをエンジニアリングに置き換えると、スケーリングがそのひとつです。スケーリングすることで、大体の問題は対処できますし、いつの間にか問題も沈静化していてめでたしめでたし、というのがよくあるパターンです。
ただし、これがthundering herd、一気に堰を切ったような状態になってしまうと、抑え込んでいた問題が突然顕になります。
ここでひとつ頭に浮かぶのは、AIを自動化として捉えた時に覆い隠された問題の追跡が難しいよね、というところです。
AIが抱える問題
AIは他にも問題を抱えています。セッションで指摘しているのはAIの予測可能性の無さ。例えば、信頼のおける予測可能性の高いチームメンバーなら「〇〇はまず調査から始めて、手助けが必要なタイミングで声をかけてくれるだろう」という大体の行動の察しはつきます。
しかし、AIは何してくるか分かりません。インシデント発生時のバタバタとしている時に、調査を依頼したAIが「別のバグを見つけたので、直しておきました」とか頓珍漢なことを言ってくる可能性も0ではありません。
また、AIのコミュニケーション能力が増えたことで、「信頼度の感知」が難しくなったという側面も指摘しています。コミュニケーションの場であるあるだと思うのですが、インシデント調査の結果を報告された時に「〇〇が原因だと思います・・・多分」って眉をひそめながら言われたら、「あっ、これ信頼度20%くらいの回答だな」と分かるじゃないですか。
それがAIだと常に自信満々で「これが原因です！！！」って言ってくるので、そのあたりの回答の信頼度が分からないというのも、ひとつインシデント現場では致命的な問題ではあるよねということをPaulさんは仰っています。
ETTO
このセッションで初めて知ったのですが、ETTO（Efficiency–Thoroughness Trade-Off） という概念について触れています。
ものすごく簡単に言うと「効率よくやろうとすると、確認・準備は薄くなり、確認・準備を厚くすると、時間や手間がかかり、効率性は悪くなる」といった効率性と徹底性のトレードオフの関係性について述べられているレジリエンス・エンジニアリング分野の領域のお話になります。ザッカーバーグの「Done is better than perfect.」とかは、まさにこのトレードオフ関係を明確に示した発言ですよね。
で、このETTOをインシデントに照らし合わせると、インシデントが起こっている状態は「トレードオフスライダーの調整に失敗した結果（徹底性より効率性を優先しすぎた結果）」と言える状態です。そして、このインシデントにAIを用いることは「さらに効率性に傾けようとしている」という、Paul氏が言うには賭けに負けてるのに、さらに賭けにわざと負け続ける状態、と表現しています。要するに、AIを使って状況悪化する可能性高いよねってことを言いたいんだと思います。
AIが引き起こす影響
さて、そろそろなんか「言いたいことに対しての証拠をくれよ！」って言いたくなるタイミングですよね。ここで、ひとつの研究結果を示してくれています。
How AI Can Degrade Human Performance in High-Stakes Settings Dane A. Morey, Jul 15, 2025 — Across disciplines, bad AI predictions have a surprising tendency to make human experts perform worse.
AI Frontiers
これは、看護師の方を対象に行われた研究で、ICUの過去のケースをもとに、AIと一緒にレビューするといったものでした。緊急度が高い症例を重く判断して、低い症例だと重くないと判断を下せるかどうかでパフォーマンスを測る形式です。面白いのが、AIの予測が正しい場合は53~67%のパフォーマンス向上が見られ、逆にAI予測がミスっている場合は、AIを使わない時よりも96〜120%悪化した、という結果です。これ面白いですよね。
つまりは、AIが間違った判断をした時に、人間はその結果に対して引きずられるように間違った判断をしてしまうわけです。
皮肉への対応
さて、AIを扱う上での問題が様々ありました。これらに対して人間は対応していかなければいけません。Paulさんはこういう対応を提案しています。
- 人間はAIの監視者として「何をしているか」を判断できるように、メンタルモデルを拡張しなければいけない
- → 要は人間のスキルを磨きましょうというお話
- インシデントの場で、情報源が人間の判断なのかAIの判断なのかをしっかりと伝える
- → 情報源がAIなら「〇〇ってAIが言ってました」と一言添えましょう
- AIには説明可能性を持たせて、人間の判断の補佐をする
- → AIに結果を出すのではなく、説明をさせる
- AIは効率性を求めるもの、なら人間は徹底性を高めることを旨とする
- → AIが高めた効率性によって、浮いた時間で人間は徹底性を高めましょう
さて、看護師の話がありましたが、もう一つ面白いデータがありまして、別のパターンごとにパフォーマンスに大きな違いが出ています。
- AIが結果しか言わないパターン
- AIの誤りが50%前後を超えると、AIなしより悪くなる。さらに誤りが100%に近づくと -150%〜-170%程度 までパフォーマンスが落ちる。
- AIの推奨＋説明を出してくれるパターン
- AIの誤りが10%の時には、結果しか言わないパターンよりパフォーマンスは上がるが、AIの誤りが大きくなると、最終的に-170%〜-180%程度まで落ちる
- AIが説明だけするパターン
- AIの誤りが10%の場合は、+40%と控えめなパフォーマンス向上だが、誤りが100%付近でも-20%〜-30%程度と、他2つに比べて圧倒的にパフォーマンス劣化は抑えられる
つまりは、AIが説明することで人間の判断能力をエンパワーさせてくれるのがよく分かりますね。AIは増幅器と言いますが、判断能力を増幅してくれる使い方と、効率性を増幅してくれる使い方とで大きな違いが出ることが分かりました。
まとめ
結局のところ、AIは使い方次第ですよね、という身も蓋もないオチではありますが、色々と示唆に富んでいる内容で面白かったです。ここには書きませんでしたが、Q&Aも書かれているので、気になる方はぜひ読んでみてください。
ではまた！