AI は賢くなった。あなたの設定はそのままだ

AI の設定は、たいてい同じように膨らんでいきます。モデルが何かを間違えるたびにルールを一つ書き、手順を飛ばせばまた一つ書く。一年も経つと、ルールファイル、プロジェクトのメモ、メモリ、スキル、保存したプロンプトがたまっていて、そのすべてが以前のモデルを行儀よくさせるために書かれています。

そのあとモデルは賢くなります。ルールは、そのまま残ります。

この記事は、それを片付けるための実践ガイドです。三つのステップ、そのまま使える三つのプロンプト、そして残すべきものの短いリスト。今週これを自分の設定で試したところ、メインのルールファイルは元の半分以下になり、守りたい一線は一つも失いませんでした。

古いルールが足を引っ張るようになる理由

以前のモデルには手取り足取りの指示が必要でした。手順を飛ばし、途中で忘れ、早々に諦める。だから私たちは、仕事の進め方を一歩ずつ、ときには大文字で指示していました。新しいモデルは自分で考えます。同じ指示が、今ではモデルの判断をこちらの判断で上書きしてしまいます。しかもその判断は、もっと弱いモデルに合わせたものです。

Anthropic は自社のプロンプトガイドで、これをはっきり書いています。以前のモデルにもっと徹底するよう促していたなら、その指示は弱めること。「CRITICAL: You MUST use this tool」と書いていたところは、「このツールは次の場合に使う」くらいの普通の書き方にすること。古いプロンプトから引き継いだ検証の指示は、書き直すのではなく削除すること。新しいモデルは、すでに自分の仕事を自分で確認しているからです。

以下の構成は、Actionable AI のガイド Make Your AI Smart Again に基づいています。監査する、削って作り直す、そして頼み方を変える。プロンプトは、実際に使ったうえで調整した私の版です。

ステップ 1：触る前に、まず監査する

つい、いきなり消し始めたくなります。まだやめてください。うっとうしいルールが、いちばんコストの高いルールとは限りません。間違ったものを削ることになります。まずモデルに全部を読ませて、順位をつけさせます。

私の設定をすべて読んでください。ルールファイル、プロジェクトファイル、
メモリのメモ、スキル、保存してあるプロンプトのすべてです。

指示ごとに、次のことを教えてください。
1. 仕事が「何か」ではなく、「どうやるか」を指示していないか
2. 以前のモデル向けに書かれていて、今はあなたの足を引っ張ったり、
   考えを狭めたりしていないか
3. 別の場所にある指示と矛盾していないか
4. すでに事実でなくなった情報ではないか
5. 実際に役に立っていて、残すべきものか

アウトプットの質にどれだけコストをかけているかで、すべてに順位をつけてください。
まだ何も変更しないでください。

4 番目の質問は私が足したものです。元のガイドにはありませんが、飛ばさないことをおすすめします。

何を探すか

多くの人は、問題は「やり方」の指示だと考えます。「まずこれをして、次にあれをする」というルールが多すぎる、と。それも確かにありますが、いちばん高くつくことはあまりありません。監査で見つかる問題は、たいてい次の四種類です。

やり方の指示。結果ではなく手順を書いた指示です。「ファイルを開いて二回読み、三つの箇条書きで要約する」は、モデルに考え方を指示しています。「十秒で読める要約がほしい」は、完成形を伝えたうえで、そこへの一番いい道をモデルに選ばせます。

弱いモデル時代の習慣。セッションの最初に必ず思い出させる。一度では足りないので同じルールを繰り返す。答える前にすべてを二回確認する。モデルが作業の途中で話を見失っていた頃には意味がありました。今は、モデルが従わなければならない雑音です。

矛盾。何か月もかけて書いた設定は、いつの間にか自分自身と食い違います。プロジェクトのメモが、グローバルのルールで禁止していることを許可している。あるスキルが、別のファイルでは頼まれたときだけやるように書いてあることを自動でやっている。モデルはあなたを無視しているわけではありません。二人のあなたに同時に従っていて、どちらが勝つかは予測できません。

古くなった事実。変わったプロダクトの説明、もう使っていないツール、変わった価格。古い事実は、悪い指示よりもたちが悪い。モデルにはそれを疑う理由がないからです。その上に、自信満々で積み上げていきます。

私が監査したときは、矛盾と古い事実のほうが、やり方の指示を全部合わせたよりもコストが高くつきました。自分では予想できなかった部分です。

ステップ 2：削ってから、残りを書き直す

監査の結果をもとに、二つのことをしてください。

まず、不要なものをすべて削除してください。何を消したかと、
その理由を一行で見せてください。

次に、残ったものを、自分で考えるモデル向けに書き直してください。
目指す結果、越えてはいけない一線、良い状態とは何かを書き、
やり方の説明はやめてください。

すべてのファイルについて、変更前と変更後を並べて見せてください。
私が承認するまで、何も変更しないでください。

このステップを安全にするポイントが二つあります。一つ目は、本当には削除しないこと。消したルールは読み込まれないアーカイブ用のフォルダに移しておけば、どの削除もすぐに戻せます。二つ目は、すべてのファイルを左に旧版、右に新版で並べて確認し、一つずつ承認すること。時間はかかりますが、結果を信頼できる方法はこれしかありません。

よくある書き直しの例です。変更前：

返信は短く。絶対に六行を超えないこと。理由は説明しないこと。
選択肢を並べないこと。送る前に長さを確認すること。

変更後：

良い返信は、中身が許す限り短い。進捗報告なら三、四行。
こちらが頼んだ分析は、必要な長さで書く。

一つ目の版は進捗報告には合っていますが、それ以外のすべてを静かに悪くします。本当に必要な分析から、大事な注意書きまで削ってしまうからです。二つ目の版は良い状態を書き、判断をモデルに任せています。上限は、モデルの代わりに決めてしまいます。良い状態を書いておけば、モデルが自分で決められます。そして、たいていはそのほうがうまくいきます。

残すもの

削るというのは、何でもモデルに任せるという意味ではありません。モデルには推測できない事実と、取り消せないことは残します。

顧客、価格、自分の声、制約条件。どれだけ賢くなっても、モデルにはこれを推測できません。
取り消せないこと、外に出ていくこと。何を送り、何にお金を使い、何をデプロイし、何を削除し、何を公開してよいか。これを「越えてはいけない一線」という短いセクションにまとめ、どの項目にも、まず確認することと書いておきます。
実際の理由があるルール。一度何かがうまくいかなかったから存在するルールは残します。ただし経緯の説明は省き、何をすべきかを一行で書きます。

基準はシンプルです。やり方は消す。文脈と一線は残す。

ステップ 3：頼み方を変える

設定を削っても、プロンプトのたびに古い癖を作り直していたら意味がありません。ガイドは最後に四層の構造を紹介していて、ちゃんとした仕事ならどれにでも使えます。

ゴール：[次の一歩ではなく、完成した状態]

リサーチ：始める前に、これに最適なやり方を探して、
何を選んだか、なぜそれを選んだかを教えてください。

インタビュー：必要なことは何でも聞いてください。質問は一つずつ。

良い状態の例：[完成形の実例を一つ]

みんなが飛ばすのは最後の層で、実はいちばん効くのもそこです。率直、親しみやすい、自信がある、といった形容詞のリストは文体を説明するだけです。自分で書いた本物の段落を一つ見せれば、その文体がどう聞こえるのかがモデルに伝わります。自分らしい文章がほしいなら、説明ではなく自分の文章を貼ってください。

リサーチの層は、最初は妙な感じがします。何年も、モデルに解き方を指示してきたからです。代わりに、最適なやり方を探して理由を説明するよう頼んでみてください。考えていたとおりのやり方を選ぶこともあります。もっと良いやり方を見つけてくることもあって、プロンプトにやり方を書いていたら、それを目にすることはなかったはずです。

モデルが良くなるほど、設定は短くなるべき

ほとんどの人は、AI の設定を増える一方のコードベースのように扱っています。うまくいかなかった午後のたびにルールが一つ増え、誰も消しません。何を守っていたのか、誰にもわからないからです。

私は逆だと思っています。新しいモデルが出るたびに、指示は短くなるべきです。指示が増え続けているなら、もう存在しないモデルをまだ管理しているということです。

監査をしてみてください。そして、何かに触る前に順位を読んでください。気にしているルールは、たぶん安いものです。コストが隠れているのは、矛盾と古い事実のほうです。