こんにちは。今日も歩きながら、ちょっと気になっていることを話してみようと思います。テーマは、ちょっと前からネットで話題になっていた「Claudeの性能が落ちてる」問題。これ、AIサービスのトラブルというだけじゃなく、AIをどう業務に組み込むかという話にも関わってきそうで、歩きながら考えてみたくなったんですよね。

Claudeの性能低下、何が起きていたのか

僕も実感としてあったんですが、ここ数週間、「あれ、Claudeってこんなに頭が悪かったっけ」と感じる場面が多くて。まとまらない考えのアウトプットを大量に出してくるとか、こちらに対して確認の質問をしてくるんだけど、その質問に答えても、自分の考えている方向の良いアウトプットにつながるとは思えない、そんな感覚があったんですよね。

これ、僕だけの体感じゃなくて、ネット上でもかなり話題になっているみたいです。聞いている話だと、極端に言えば、ユーザー数の増大によって計算リソースが厳しくなり、事業者側が推論の深さ設定を引き下げている、というようなことが起きていたようです。なるほど、と。直接モデルが劣化したわけではなく、運用上のチューニングの問題だったということなんですね。

で、この話を聞いていて、AIを業務に深く組み込んでいる立場からすると、これは結構大きなリスクだなと感じたんです。

AIの不調と、人の不調はぜんぜん違う

Claudeが不調になった問題を考えるとき、人を雇って組織を回している場合でもこういうことはあるじゃないですか。誰かが体調を崩したり、休んだりすることは当然ある。「今日Nさんが休みです」となっても、別の人がカバーするとか、業務を組み替えるとか、なんとかなる。それは、そのNさんが担っている特定の業務範囲だけの問題だからです。

ところが、一つのAIを業務プロセスに組み込むとなると、話が変わってきます。

僕自身、研究や仕事、そしてこうしたブログの生成など、複数の業務プロセスでAIを活用しています。さらに、各業務プロセスのオペレーションフローの中でも、AIを使う場所が複数存在しているのが現状です。例えば研究であれば、分析のためのコードを書くところでAIを使い、文章をブラッシュアップするところでもAIを使う、といった具合です。

これまではメインでClaudeを使っていたので、基本的にはどのプロセスに関してもClaudeを使うという状態でした。そうなると、Claudeが不調になった瞬間に、全ての業務のあらゆるプロセスで同時発生的に品質が落ちることになります。

これって、人間の組織にはない壊れ方なんですよね。人間の組織であれば、ある人が不調になっても、その人の担当範囲に問題が局所化されます。ところが一つのAIを統合した業務フローでは、一つのモデルの不調が、業務全体の同時多発的不調として現れる。人間の組織が持っていた「壊れたときの影響範囲が自然と区切られている」という性質が、AI統合したオペレーションでは失われているわけです。

「ちょっとずつ落ちる」が「掛け算で甚大になる」

さらに、AI統合のリスクは掛け算で効いてくるわけですね。

例えば、各プロセスのクオリティが10%下がるとします。一つのプロセスだけ見れば、0.9倍ですから「まあそんなもんか」という感覚ですよね。でも、これが業務フローの中で連続して並んでいたらどうなるか。

仮に5個のプロセスでそれぞれ10%品質が落ちると、0.9を5回掛け算することになります。計算してみると約59%、つまり全体の品質はおよそ4割落ちることになります。一つひとつのプロセスでは「ちょっと頭が悪くなったかな」程度の劣化が、業務全体で見るとアウトプットに甚大な影響として跳ね返ってくる。

同じAIをいろんなところに組み込んでいる人ほど、AIに何らかの問題が起こった場合のインパクトは大きくなります。今、まさにそういう事態が起こっているんじゃないかと、自分の業務を振り返りながら感じています。

みんなが、これから考えていくテーマ

人間の組織だと、リスクに対する防壁というか、シャットウォールのような区切りが自然と存在していて、ある場所の不調が他に波及しにくい構造になっています。一方でAI統合は、この防壁は意図的にデザインしておかないとまずそうです。

今は多分、AIが業務プロセスに統合されていく最中だと思うんですよね。みんな手探りで、自分の業務のあちこちにAIを入れ始めていて、その便利さを実感している段階。

今回のClaudeの性能劣化のような出来事は、おそらくAIを使っている全ユーザーが何かしら感じたことなんじゃないかと思います。「あ、便利だと思って依存してたけど、これが落ちると一気に困るな」という、ちょっとした不安というか、リスクの感触。

AIを統合した組織や業務の設計をどうするか。この問いは、これからみんなが考えていくことになるテーマなんでしょうね。

まとめ

というわけで、今日はClaudeの性能低下から、AI統合時代のリスク管理について歩きながら考えてみました。AIの不調と人の不調の質的な違い、そして掛け算で効いてくるリスク。改めて、自分の業務との関わり方を見直す良いきっかけになったなと思っています。

最後まで読んでくださり、ありがとうございます。また次回の「歩きながら考える」でお会いしましょう!