Reflexionプロンプトとは?違いと使う基準を論文の数値で解説

Reflexionプロンプトとは?違いと使う基準を論文の数値で解説

この記事の監修者

リスキルAIキャリア編集部

リスキルAIキャリア編集部

リスキルAIキャリアは、AI時代の学び直し・キャリア形成・副業・転職に役立つ情報を発信するWebメディアです。編集部では、生成AIスキルの身につけ方、AI関連スクール・講座の選び方、キャリアアップにつながる学習方法などを、実務目線でわかりやすくお届けしています。

Reflexionプロンプトは、失敗結果を言語化し、次の試行にメモリとして渡す手法です。答えの合否を判定できる反復タスクに向き、正解が曖昧な単発作業には向きません。外部評価で失敗を判定でき、やり直す価値があるタスクだけに使います。

Reflexionプロンプトとは

Reflexionプロンプトとは

先に結論を出します。Reflexionは「使う条件」がはっきりした手法です。次の3行で判断してください。

  • 使う:テスト・採点基準・検索正誤など、外部評価で失敗を判定できるタスク
  • 使わない:要約、メール文、雑談、正解が1つに決まらない単発作業
  • 迷ったら:Self-Refineを1回試し、同じ失敗が残る場合だけReflexionに切り替える

PEP検定対策では、Reflexion単体の暗記ではなく、ReAct・Self-Refineとの使い分けを説明できる状態を目標にします。手法名の暗記より、使い分けの判断軸が問われる可能性が高いためです。

項目 内容
一言定義 失敗結果を言語化し、次の試行にメモリとして渡す手法
提案論文 Shinn et al., “Reflexion: Language Agents with Verbal Reinforcement Learning”, arXiv:2303.11366, 2023
核心 Actor / Evaluator / Self-Reflection / Memory のループ
向くタスク 外部評価できる反復タスク。コード生成、探索、ゲーム、QA
向かないタスク 正解判定が曖昧な単発作業。雑談、通常の要約、定型メール
判断基準 合否判定できるか/再試行で改善するか/コストを許容できるか

この記事では、Reflexionを「使う条件」と「使わない条件」に分けます。根拠はShinn et al. 2023(arXiv:2303.11366)の実験設定と報告値に置きます。数値は2026年8月4日時点でarXivに掲載された論文本文に基づきます。

Reflexionの仕組み:Actor / Evaluator / Self-Reflection / Memory

Reflexionの仕組み:Actor / Evaluator / Self-Reflection / Memory

Reflexionは4つの役割を回すループで動きます。実行役(Actor)、評価役(Evaluator)、反省役(Self-Reflection)、記憶(Memory)です。記憶に反省文が蓄積される点が、他手法との差になります。

順番 役割 やること
1 Actor タスクを解いて出力を出す
2 Evaluator テスト結果や正誤で成否を判定する
3 Self-Reflection なぜ失敗したかを短い文章にする
4 Memory 反省文を保存し、次の試行に渡す
5 再試行 Memoryを参照して解き直す

Evaluatorが「外部の答え合わせ」を含む点が肝です。テストが通るか、検索結果が合っているかなど、客観的な合否信号があると精度が上がります。外部評価が無いタスクでは、Reflexionの効きは弱くなります。この4要素の構成はShinn et al. 2023の記述に基づきます。

論文で報告された数値

論文で報告された数値

Reflexion論文は、外部評価できる3領域で改善を報告しています。数値は特定モデル・評価設定での結果です。読者が検証できるよう、報告値・比較対象・確認箇所を並べます。

実験領域 タスク Reflexionの報告値 比較対象/条件 論文内の確認箇所 読者向けの読み方
コード生成 HumanEval(Python) pass@1 91.0% GPT-4ベースライン 80.1% 実験節のプログラミング結果 単体テストで合否判定でき効きやすい
意思決定 AlfWorld 134タスク中130件を完了 ReActベースライン 実験節の意思決定結果 行動結果を反省に変換できる
検索QA HotPotQA 反復による改善傾向(単純成功率としては扱わない) ReActのみの設定 実験節の推論結果 検索の誤りを次試行へ反映できる

HumanEvalの読み方には注意が必要です。GPT-4単体の80.1%に対し、Reflexionを組み込むとpass@1が91.0%に達したと報告されています。この差分は、単体テストという外部評価で失敗を言語化し、次の試行に渡した結果です。

条件 pass@1
GPT-4 + Reflexion 91.0%
GPT-4 ベースライン(既存SOTA) 80.1%

重要なのは「91.0%」そのものではありません。外部評価で失敗を言語化し、次の試行へ渡した設計です。外部評価がない文章生成では、この改善幅をそのまま期待できません。HumanEvalの定義はChen et al. 2021(arXiv:2107.03374)にあります。

HotPotQAは論文内で反復による改善傾向が示されています。ただし本記事では、HumanEval・AlfWorldのような単純な成功率としては扱いません。EM/F1の具体値は評価設定に依存し、断定を避けるためです。

Self-Refine・ReActとの違い

Self-Refine・ReActとの違い

3手法は「自分で直す」点は近いですが、失敗の扱いが違います。Self-Refineはその場で修正し、ReActは行動と観察で直し、Reflexionは失敗メモを次試行へ渡します。同じ失敗で並べると差が見えます。

タスクは「重複を除き、昇順で返すPython関数。空配列にも対応する」です。失敗は空配列 [] のテストです。

手法 次に起きること 失敗時に残るもの
Self-Refine その場で「空配列処理を追加すべき」とレビューし、同じ回答を修正する その場の修正コメント
ReAct テストを実行し、エラー結果を観察してコードを直す 行動と観察の履歴
Reflexion 「空配列を境界条件として先に処理する」という失敗メモを保存し、次の試行にも渡す 再利用できる失敗メモ

Reflexionの失敗メモは、次の修正行動が決まる粒度で書きます。抽象的な反省は次試行に使えません。

  • 境界条件:空配列、null、0件入力を先に確認する
  • 仕様誤読:重複削除の後に昇順ソートする
  • テスト不足:正常系だけでなく異常系を1つ追加する

「持ち越す記憶が必要か」で使い分けます。1回のやり取りで完結するならSelf-Refine、試行を重ねる前提ならReflexionです。Self-Refineの詳細はMadaan et al. 2023(arXiv:2303.17651)、ReActの定義はYao et al. 2022/2023(arXiv:2210.03629)にあります。使い分けはSelf-Refineプロンプトの解説ReActプロンプトの解説で押さえられます。

初中級者はReActを先に学びます。Reflexionは、ReActの行動結果やテスト失敗を材料にするためです。行動と観察の流れを理解しないと、使い分けの判断ができません。

「知っている」で止めない生成AIスキルの証明|PEP検定

PEP検定が問うのは基礎的な知識はもちろん、実務においてどのように生成AIを活用するか、プロンプトを設計するかなど“実際に使いこなす力”です。日本初の実務特化検定で、AIエージェントのように動きの速い領域もシラバスが追従。学び直しの成果を、転職・副業・社内評価で通用する客観的な根拠に変えられます。

  • 知識で止めず、プロンプト設計など“手を動かして使う力”を測る
  • CBTで全国いつでも受験可能
  • 個人の転職・副業から、社員のリスキリング成果の証明まで対応

監修|北海道大学大学院 情報科学研究院 川村 秀憲 教授
人工知能・マルチエージェントシステム研究の第一人者。観光情報学会理事ほか。

生成AIの実務に活きるPEP検定の詳細を見る →

Reflexionを使う基準

Reflexionはコスト増が前提です。試行回数×入力出力トークンで費用が積み上がります。使う前に、次の5項目で点数化してください。

判定項目 0点 1点 2点
合否判定 判定不能 人間の主観で判定 テスト・数値・条件で判定可能
再試行価値 1回で十分 改善余地あり 失敗原因を潰すほど成果が上がる
コスト許容 速度最優先 数回なら可 品質優先で反復可能
失敗原因の言語化 原因不明 ある程度説明可 パターン化してメモ化できる
タスクの反復性 単発 類似タスクが時々ある 同種タスクを継続的に行う

合計点で次のように判定します。

  • 0〜3点:使わない。Zero-shotまたは通常プロンプトで足りる
  • 4〜6点:Self-Refineを先に試す
  • 7〜10点:Reflexionを検討

タスク別の判定例

スコア表を自分の仕事に当てはめた例です。「使わない判断」を強く出します。

タスク 合計点の例 判定 理由
Pythonコードのバグ修正 9点 Reflexion向き テストで合否判定でき、失敗原因を次回に残せる
職務経歴書の改善 7点 条件付きで向く 募集要件との対応数、数値実績の有無を採点できる場合のみ
面接回答の改善 6点 Self-Refine優先 採点基準は作れるが、合否が主観に寄りやすい
メール文の丁寧化 2点 使わない 単発で足り、失敗メモを持ち越す価値が低い
記事要約 3点 使わない 正解判定が曖昧で、通常プロンプトで足りる

コストの概算

試行回数に比例してトークンが増えます。職務経歴書改善を例に概算します。1試行が入力約800+出力約700で約1,500トークン、3試行で約4,500トークンです。異常系の追記まで含めると6,000〜8,000トークンに伸びます。

3回回すと、単発よりトークンと時間がおおむね3〜4倍になります。100万トークンあたりの料金はモデルと提供元で異なるため、1回のReflexionでも数円〜数十円のレンジになります。最新料金は各社の公式ページで確認してください。少ない試行から始めて費用対効果を測ります。

ChatGPTでReflexion風に使うテンプレ

実装環境がなくても、ChatGPTのチャットUIで手動再現できます。Reflexionの肝は「失敗メモを次回に渡す」ことです。混同を避けるため、テンプレを初回用と2回目以降用に分けます。

初回用テンプレ:失敗メモを作る

あなたは、初回の回答を作り、次回に渡す失敗メモを作るアシスタントです。

【タスク】
〔ここにタスク〕

【評価基準】
- 〔合否判定できる条件1〕
- 〔合否判定できる条件2〕
- 〔合否判定できる条件3〕

以下を出力してください。
1. 初回回答
2. 評価基準に対する不合格点
3. 次回に持ち越す失敗メモを3つ以内

2回目以降用テンプレ:失敗メモを使って再試行する

あなたは、前回の失敗メモを使って再試行するアシスタントです。

【タスク】
〔同じタスク〕

【評価基準】
- 〔同じ評価基準〕

【前回の失敗メモ】
- 〔失敗メモ1〕
- 〔失敗メモ2〕

以下を実行してください。
1. 失敗メモを反映した回答
2. 評価基準への適合チェック
3. まだ残る失敗メモ

1回のメッセージ内で「回答→自己評価→修正」まで完結させるだけなら、Self-Refineに近い動きです。Reflexion風にするには、失敗メモを次の試行へ明示的に持ち越す必要があります。自己評価だけで回すと、誤った反省を強化するリスクが残ります。

テンプレを回したBefore/After(試行ログ)

例として、Pythonのバグ修正でテンプレを2回回した流れを示します。空配列テストの失敗を、失敗メモとして2回目に渡す構成です。

■初回
タスク:重複を除き昇順で返すPython関数。空配列にも対応。
初回回答:sorted(set(nums)) を返す関数
不合格点:境界条件(入力長0)の確認が漏れていた
失敗メモ:入力長0の場合を先に処理する

■2回目
前回メモを反映:先頭に if not nums: return [] を追加
適合チェック:正常系・空配列ともにテスト通過
残る失敗メモ:なし

失敗メモを2回目のメッセージに貼り直すとMemoryを疑似再現できます。2〜3回で改善が止まったら打ち切ると決めておきます。無限に回すとコストだけが増えます。

キャリア用途での使いどころ

キャリア用途は「採点基準を作れる反復タスク」に効きます。代表例は職務経歴書と面接想定QAの改善です。評価基準を書けないと、反省文が「もっと具体的にする」で止まります。

例1:職務経歴書の改善

採点基準を合否判定できる形で先に固定します。

採点基準:
- 実績に数値が入っているか
- 募集要件と対応する経験が3つ以上あるか
- 「担当した」ではなく「成果を出した」表現か
- 生成AI活用が業務改善・時間削減・売上のどれかに接続されているか
失敗メモ:
- 実績が「効率化した」で止まり、削減時間や件数がない
- 募集要件の「業務自動化」に対する具体例がない
- 生成AIを使った事実はあるが、成果に結び付いていない

例2:面接QAの改善

採点基準を数値と構成で定義します。

採点基準:
- 最初の15秒で結論が出ているか
- 具体例が1つ入っているか
- 生成AIスキルが業務成果に接続されているか
- 60秒以内で話せる長さか
  • 変更前:ChatGPTを業務で使っています。
  • 変更後:問い合わせ対応の下書きにChatGPTを使い、返信初稿を約30分から10分に短縮しました。最終確認は人間が行い、表現統一と対応速度に効いています。

評価基準を書けない改善では、Reflexionは機能しにくいです。反省が抽象で止まり、次の試行に渡せないためです。

PEP検定対策で押さえる範囲

Reflexionは応用手法です。PEP検定ではZero-shotやCoTなど基礎から体系的に問われます。基礎を固めてから応用へ進みます。受検前に、次のチェックリストで説明できるか確認してください。

PEP検定前に確認するチェックリスト

  • Reflexionを「失敗結果を言語化し、Memoryとして次試行に渡す手法」と説明できる
  • Actor / Evaluator / Self-Reflection / Memory の4要素を説明できる
  • Self-Refineとの違いを「その場の修正」か「次試行への記憶」かで説明できる
  • ReActとの違いを「行動と観察」か「失敗からの反省メモ」かで説明できる
  • Reflexionが向く条件を「外部評価できる反復タスク」と説明できる
  • 要約・メール文・雑談に安易に使わない理由を説明できる
学習順 学ぶ内容 到達目標
1 Zero-shot / Few-shot 指示と例示で出力が変わる理由を説明できる
2 CoT 段階的推論が必要なタスクを判別できる
3 ReAct 推論とツール利用の流れを説明できる
4 Self-Refine 自己修正ループの使いどころを説明できる
5 Reflexion 失敗メモリと外部評価の位置づけを説明できる

Reflexionまで使い分けを説明できる状態が、プロンプト応用力の証明になります。個別手法の名称暗記より、タスクに応じた使い分けが問われる可能性があります。受検前に公式サイトで最新の出題範囲を確認し、Zero-shot・Few-shot・CoT・ReAct・Self-Refineの位置づけを整理してください。

応用手法の理解度は、検定で客観的に示せます。学習順と逆算のやり方はPEP検定の勉強法を公式シラバスから逆算で確認できます。生成AI活用を組織で内製化したい場合は、同じ使い分けの枠組みを法人研修の題材にも展開できます。

よくある質問

Reflexionプロンプトは普通のプロンプトと何が違いますか?

普通のプロンプトは、1回の入力で回答を出します。Reflexionプロンプトは、失敗結果を「次回に使うメモ」として残し、再試行に渡します。違いは、失敗をその場で捨てるか、次の試行に持ち越すかです。

Reflexionプロンプトが失敗する原因は何ですか?

主な原因は3つです。評価基準が曖昧、自己評価だけで回している、失敗メモが抽象的すぎることです。「もっと具体的に」ではなく、「募集要件Aに対応する実績がない」のように次の修正行動が決まる形で書きます。

Reflexionはコードがないとできませんか?

チャットUIだけでも手動再現できます。初回用テンプレで失敗メモを作り、2回目以降用テンプレに貼り直せば動きます。自動化する場合のみ、外部フレームワークやコードが必要です。

Self-RefineとReflexionはどちらを先に使うべきですか?

まずSelf-Refineを試します。単発の自己修正で足りるなら、コストの低いSelf-Refineで済みます。改善に持ち越しの記憶が必要になった段階でReflexionへ切り替えます。

Reflexionはどれくらいコストが増えますか?

試行回数に比例して増えます。反省と再試行を3回回すと、単発よりトークンと時間がおおむね3〜4倍です。公式の固定倍率は未公表のため、少ない試行から始めて費用対効果を測ります。

初中級者は何から始めればよいですか?

基礎プロンプトとReActを先に習得します。行動と観察の流れを理解した後にReflexionへ進みます。まずは職務経歴書や面接QAなど、採点基準を作りやすいタスクで練習します。

「知っている」で止めない生成AIスキルの証明|PEP検定

PEP検定が問うのは基礎的な知識はもちろん、実務においてどのように生成AIを活用するか、プロンプトを設計するかなど“実際に使いこなす力”です。日本初の実務特化検定で、AIエージェントのように動きの速い領域もシラバスが追従。学び直しの成果を、転職・副業・社内評価で通用する客観的な根拠に変えられます。

  • 知識で止めず、プロンプト設計など“手を動かして使う力”を測る
  • CBTで全国いつでも受験可能
  • 個人の転職・副業から、社員のリスキリング成果の証明まで対応

監修|北海道大学大学院 情報科学研究院 川村 秀憲 教授
人工知能・マルチエージェントシステム研究の第一人者。観光情報学会理事ほか。

生成AIの実務に活きるPEP検定の詳細を見る →

【法人向け】生成AI研修パッケージ(PEP検定連動)

PEP検定シラバスに完全連動した企業向けeラーニング研修。全社員向け/選抜者向けの2プランをご用意。※現在準備中。先行案内をご希望の方はこちらへ。

研修パッケージの先行案内を受け取る →

※ 現在準備中です