AIエージェントはなぜテストを握り潰すのか ― 報酬エンジニアリングのすすめ

BRANK

はじめにAIコーディングエージェントに仕事を任せていると、たまにギョッとする瞬間があります。通らないテストを skip にして「全テストがパスしました！」と報告してくる。アサーションを緩めて辻褄を合わせる。ひどい時にはテストの期待値の方を実装に合わせて書き換えて、堂々と完了報告をしてくる。そして「テストを勝手に変更してはいけません」と怒ると、その通りです、と悪びれもせず実装をやり直します。このような振る舞いにストレスを感じながら仕事をしています。この挙動を「まだAIが未熟だから」と解釈している人は多いと思います。つまりモデルが賢くなれば自然に直る、一時的なバグのようなものだと。私はそうは思いません。これはLLMという仕組みの構造に根ざした挙動であり、モデルが賢くなっても当分消えない基本原則だと考えています。そしてこの原則を認めた上で眺めると、プロンプトエンジニアリングだのコンテキストエンジニアリングだのハーネスだのと、次々に現れては消えるバズワードたちが、実はぜんぶ同じ一つの仕事を指していることが見えてきます。そんな話を整理してみる記事です。LLMが解いているのは「あなたの課題」ではないまず前提の確…