Active‑Prompt（主動提示）
- Active‑Prompt（或稱 Active Prompting）是一種提升 Chain‑of‑Thought（CoT）提示有效性的技術。它透過對模型最不確定的輸入進行有選擇的人工標註（human annotation），進而提升整體性能與樣本效率 。
- 實作流程結合 不確定性評估（uncertainty estimation） 與 主動學習（active learning） 概念，優先標註最具挑戰性的問題，提高標註效率與模型表現。
目錄
Active‑Prompt 的流程說明：
- 不確定性估計：對每個未標註問題進行 k 次(下圖範例k=5) prompting（可用 CoT 或 Zero‑Shot CoT），計算模型輸出間的分歧作為不確定度指標。
- 選擇標註問題：將分歧最高的題目選出來進行人工 CoT 標註。
- 人工標註：由人類撰寫正確的 CoT 推理過程與答案。
- 推理與應用：將這些新標註範例納入後續提示中，提升模型回答新問題的品質與穩定性。
Active‑Prompt 的優勢與挑戰
優勢
- 高效資源利用：只針對最具挑戰性的樣本進行人工標註，減少標註成本。
- 效果更穩定：通過選取關鍵示例，有助提升模型推理的準確性與一致性。
挑戰
- 需準確評估不確定性：評估指標若選擇不當，可能導致選樣偏差。
- 仍需人工參與：需投入專家時間標註最具不確定性的樣本，對資源有限的場景仍具負擔。
結語
- Active‑Prompt 是一種聚焦於模型不確定輸入問題的主動式提示方式，高效提升 CoT 推理在複雜任務上的表現。
- 它減少不必要的人工標註、提升資源利用效率，且在多種推理任務中普遍優於傳統 CoT 及其變體技術。
- 此方法適合用於數學推理、語意理解、常識 QA 等領域，尤其當樣本標註成本高、模型不確定性大時更具價值。
References
Prompt Engineering Guide
Diao et al., (2023)
上一篇：Prompting Techniques - 自動提示工程師
下一篇：Prompting Techniques - 定向刺激提示