Automatic Prompt Engineer（APE）とは？論文の仕組みと手動再現手順を解説

この記事の監修者

リスキルAIキャリア編集部

リスキルAIキャリアは、AI時代の学び直し・キャリア形成・副業・転職に役立つ情報を発信するWebメディアです。編集部では、生成AIスキルの身につけ方、AI関連スクール・講座の選び方、キャリアアップにつながる学習方法などを、実務目線でわかりやすくお届けしています。

Automatic Prompt Engineer（APE）は、2022年に提案された「LLMにプロンプト候補を生成させ、スコアで選抜する」プロンプト自動最適化手法です。日本語では自動プロンプト最適化と訳されます。人の勘で書き直すのではなく、候補生成・評価・選抜を繰り返して高スコアの指示文を探します。

結論を先に述べます。同じテンプレを繰り返し使う業務にはAPEが向きます。逆に一度きりのタスクや、正解を採点できない曖昧な出力には向きません。APEは「良いプロンプトを1回で書く技術」ではなく、「複数候補をテストして勝ち残らせる運用」です。

APEを使うべきか：先に結論

自分のタスクにAPEが向くかは、下の4項目で判断します。

採点基準がないタスクでは、APEは使えません。まず「良し悪しを何で測るか」を決めてから候補生成に進みます。

Automatic Prompt Engineer（APE）とは？向き不向きの基準

APEは、プロンプト自体をLLMに設計・最適化させる枠組みです。人が正解データを用意し、LLMが指示文の候補を複数生成します。そこから採点で上位を残し、反復して精度を高めます。

向くのは、同じ型の作業を毎週繰り返す人です。問い合わせ分類、求人票要約、営業メール生成が該当します。正解と不正解を自分で判定できるタスクほど効果が出ます。

• 向く: 週5回以上使い回すテンプレを標準化したい
• 向く: 出力の良し悪しを基準で採点できる（正解例がある）
• 向く: 社内でプロンプトを共有・横展開したい
• 向かない: 一度きりの単発質問で終わる
• 向かない: 出力の正解が人によって割れる曖昧なテーマ
• 向かない: 1回の実行コストを最小化したい場面

APEの出典：Large Language Models Are Human-Level Prompt Engineers

APEは2022年11月にarXivで公開された論文が起点です。基本情報を下表にまとめます。

論文はAPEを「自然言語の指示文を探索空間として扱う最適化問題」として定義しています。人間が勘で直すのではなく、候補生成・評価・選抜を繰り返して高スコアの指示文を探します。

論文タイトルでは “Human-Level Prompt Engineers” と表現されています。ただし実務上は「常に人間より優れる」という意味ではありません。評価できるタスクで、候補を大量に比較できる場合に強い手法です。

APEの仕組み｜処理フローを7ステップで要約

APEは生成・採点・選抜の反復ループで動きます。論文はこれを探索問題として実装しました。基本フローは次の通りです。

1. 入力例と出力例を用意する（例：英文レビュー → ポジティブ/ネガティブ）
2. LLMに「この入出力を実現する指示文」を複数作らせる
3. 各指示文を検証データに当てる
4. 正解率、スコア関数、対数尤度などで評価する
5. 上位候補を残す
6. 上位候補を言い換え・変形して再評価する
7. 最もスコアが高い指示文を採用する

分類タスクのミニ例

抽象論だけでは使えないため、問い合わせ分類の例で示します。

• 入力：「請求書の金額が違います。確認してください」
• 期待出力：「請求」
• 候補A：「次の問い合わせを、請求・解約・不具合・その他のいずれかに分類してください。」
• 候補B：「問い合わせ文を読み、最も近いカテゴリ名だけを1語で出力してください。カテゴリは請求、解約、不具合、その他です。」

10件のテストデータに当て、正解数で比較します。候補Aが7/10、候補Bが9/10なら候補Bを残します。採点は好みではなく、テストデータの正解数で決めます。

研究の前提と実務の差

論文はAPI経由の自動実行を前提にしています。数十〜数百の候補を機械的に回すため、個人が手作業で完全再現するのは非効率です。実務では候補数を5〜10個に絞り、規模を縮めて手動再現します。

メタプロンプト・Auto-CoTとの違いを表で整理

APE・メタプロンプト・Auto-CoTは目的が違います。一発生成と最適化ループの差を押さえてください。

メタプロンプトは採点と反復がない点でAPEと異なります。詳しくはメタプロンプトとは？AIにプロンプトを作らせる技術の効果と使い方で解説しています。

Auto-CoTは思考手順の例（Chain-of-Thought）を自動生成する手法です。APEは指示文そのものを最適化し、Auto-CoTは例示の中身を自動化します。違いはAuto-CoTとは？仕組みを5ステップで解説｜使う基準と手動再現手順で確認できます。

ChatGPT/Claudeで手動再現する手順（完成例付き）

APIを使わず、ChatGPTやClaudeだけでもAPEの縮小版を再現できます。候補を5案に絞り、採点表を回します。以下は求人票を3行で要約するプロンプトを最適化する完成例です。

ステップ1：候補生成の完成プロンプト

次の文をそのままChatGPTまたはClaudeに貼り付けます。空欄雛形ではなく、入出力例まで埋めた完成版です。

• あなたはプロンプト設計の専門家です。次の入力→出力の例3件を実現する「指示文」を、表現の異なる5案で作ってください。
• 目的：求人票を、副業・転職検討者向けに3行で要約する。
• 例1（入力）職種：Webマーケター／仕事内容：広告運用、LP改善、GA4分析／必須：広告運用2年以上／年収：450万〜650万円
• 例1（期待出力）・広告運用とLP改善が中心のWebマーケター求人／・GA4分析まで担当し運用改善の経験を示しやすい／・広告運用2年以上なら年収450万〜650万円を狙える
• 例2（入力）職種：カスタマーサクセス／仕事内容：SaaS導入支援、活用提案、解約防止／必須：法人営業経験／年収：400万〜600万円
• 例2（期待出力）・SaaS導入後の活用支援を行う求人／・法人営業経験を活かし提案型支援に移れる／・年収目安は400万〜600万円
• 例3（入力）職種：生成AI研修アシスタント／仕事内容：受講者対応、課題添削、教材更新／必須：ChatGPT業務利用経験／時給：2,000円〜3,500円
• 例3（期待出力）・研修の受講者対応と課題添削を担当する副業案件／・ChatGPT業務利用経験があれば応募しやすい／・時給2,000円〜3,500円でAIスキルを収入化しやすい
• 条件：各案80字以内／5案出す／似た案にしない

案が似すぎる場合は「語調・粒度・制約条件を変えて再提案」と追記します。候補は5案で足り、10案を超えるとトークンが無駄に膨らみます。

ステップ2：採点はテストデータで見る

最低5件、できれば10件のテストデータを用意します。候補ごとに同じデータを実行し、下の表で採点します。

求人票要約なら、職種の正確さ20点、必須条件の残存20点、年収・時給の残存20点、3行以内20点、副業・転職者向けの示唆20点で採点します。AI採点だけで決めず、テストデータの正解率と人間の確認で最終採用を決めます。AIは自分の出力を甘く評価することがあります。出力が安定しない原因の切り分けはプロンプトが効かない原因5つ｜症状別診断と直し方【コピペ例付き】が役立ちます。

ステップ3：選抜と反復

上位1〜2案を残し、その言い換えを3案だけ再生成します。同じ採点表で再評価し、最高点を更新できなければ打ち切ります。反復は最大2回までにし、点数が伸びなければ手動修正へ切り替えます。

APEの損益分岐：使用回数で計算する

APEを使うかは、作ったテンプレを何回使い回すかで決めます。回収に必要な使用回数は次の式で計算します。

• 回収に必要な使用回数 ＝ APEで余分にかかる作業時間 ÷ 1回あたり短縮できる時間

具体例で計算します。手作業でプロンプトを直す時間が30分、APEの候補生成・採点・反復が60分なら、増える作業時間は30分です。改善後テンプレで1回あたり5分短縮できるとします。

• 30分 ÷ 5分 ＝ 6回

この場合、同じテンプレを6回以上使うなら回収できます。使い回しが5回以下なら、APEを回すより手で直した方が速く安いことが多いです。

「5〜8倍」の内訳とコストの見方

通常のプロンプト実行を1回とすると、5案生成、5案のテスト、上位案の再生成、再テストで最低5〜8回分の実行が発生します。これはAPI料金ではなく、実行回数ベースの目安です。料金はモデルごとに変わるため、最新情報は公式ページを確認してください。

• OpenAI API Pricing
• Anthropic Pricing

既存のAPEツール・ライブラリの位置づけ

手動再現で流れをつかんだ後は、自動化ツールの検討に進みます。代表例がDSPyです。

APEはプロンプト候補を生成・評価して選ぶ研究手法です。DSPyはプロンプトやLLM処理をプログラムとして最適化するフレームワークです。実務ではAPEの考え方を手動で試した後、必要に応じてDSPyなどのツールを検討します。DSPyの実装は公式リポジトリ（github.com/stanfordnlp/dspy）で確認できます。

副業・社内標準化・PEP検定への活かし方

APEはプロンプトを属人化させず、採点基準ごと納品できます。副業で使うなら、納品物は「プロンプト単体」では弱いです。「改善前後の比較表」「採点基準」「最終プロンプト」をセットにしてください。

社内テンプレ標準化

社内では採点表を共通ルールにすると品質のばらつきが減ります。誰が作っても80点以上を担保できる仕組みになります。この設計力は、プロンプト設計を扱う検定でも問われます。

APEをPEP検定対策にどう使うか

APEそのものの暗記ではなく、次の3点を説明できる状態にしてください。

1. プロンプト候補を複数作る理由
2. 採点基準を先に決める理由
3. 改善前後をテストデータで比較する理由

演習として、次のタスクでAPEの流れを自分で説明してみます。タスクは「営業メールを、敬語・要件・次アクションの3条件を満たす形に整える」です。

• 入力例と期待出力を3件用意する
• プロンプト候補を5案作る
• 敬語、要件、次アクション、文字数で採点する
• 上位案を残して言い換える
• 改善前後の点数を比較する

自己診断チェック

下の3つを自分の言葉で説明できれば、検定で問われる設計力の土台ができています。

• なぜ候補を1案でなく複数作るのか説明できる
• 採点表の配点を先に決める理由を説明できる
• 改善前後をテストデータで比較する手順を説明できる

候補生成→評価→改善の考え方は、プロンプト設計を体系的に学ぶうえで避けて通れません。出題範囲、受検料、学習方法はプロンプトエンジニアリング資格の選び方｜PEP検定を費用と範囲で比較で確認してください。金額や出題内容は公式の最新情報を優先してください。

よくある質問

Automatic Prompt EngineerとPrompt Engineerの違いは？

Prompt Engineerは、プロンプトを設計する人または役割を指します。Automatic Prompt Engineer（APE）は、人ではなくLLMを使ってプロンプト候補を自動生成・評価する手法です。名前が似ていますが、APEは職種名ではありません。

APEはChatGPTだけで完全再現できますか？

完全再現はできません。論文のAPEは、多数の候補生成、検証データへの実行、スコア計算をAPIで回す前提です。ChatGPTの画面だけでできるのは、候補数を5〜10個に絞った簡易版です。

APEは日本語タスクでも使えますか？

使えます。ただし日本語の敬語、文体、文字数制限、曖昧な評価はブレやすいです。日本語では「敬語が崩れていない」「指定語を含む」「3行以内」など、機械的に判定しやすい採点基準を入れてください。

APEとDSPy、Prompt optimizationの違いは？

APEはプロンプト候補を生成・評価して選ぶ研究手法です。DSPyはプロンプトやLLM処理をプログラムとして最適化するフレームワークです。実務で自動化するなら、APEの考え方を手動で試した後にDSPyなどを検討します。

採点は自分でやるべきですか、AIに任せるべきですか？

両方を併用します。AIに配点表で採点させ、上位案だけ人が目視確認します。正解一致の最終判断は人が行ってください。AIは自分の出力を甘く評価する傾向があります。

どのくらいコストが増えますか？

5案生成＋採点＋2回反復で、通常実行の5〜8倍程度が目安です。これは実行回数ベースの目安で、実額はモデルにより変わります。使い回しが5回未満なら費用対効果は薄めです。