Tree‑of‑Thought (ToT, 思維樹)
- Tree‑of‑Thought (ToT) 是一種擴展 Chain‑of‑Thought (CoT) 的推理方法，允許語言模型同時探索多條推理路徑。
- 它將推理過程視為一棵「樹狀結構」，每個節點代表一個思考步驟，模型可在樹中分支、回溯或剪枝，選擇最佳解答路徑。
- 相較於單一路徑的 CoT，ToT 能更接近人類解題的「試錯與分歧探索」過程。
目錄
ToT 的運作原理
- 狀態節點生成：模型依據問題，生成初始推理想法 (thoughts)。
- 樹狀展開：每個想法作為節點，模型擴展出多個後續想法，形成樹狀結構。
- 評估與選擇：對每層節點進行評估，選擇最有潛力的分支繼續展開。
- 回溯與剪枝：若分支不合理，模型可回溯並修剪錯誤路徑。
- 找到解答：最終在評估後選擇最佳推理路徑，得出答案。
應用範例
- 數學推理：例如「24 點遊戲」，模型可探索不同運算順序，評估各路徑的可行性。
- 策略規劃：如路線規劃、決策制定，模型可同時考慮多個方案並逐步篩選。
- 創意寫作：同時展開多個故事分支，評估後選擇最符合主題的劇情線。
與 Chain‑of‑Thought (CoT) 的比較
| 特性 | Chain‑of‑Thought (CoT) | Tree‑of‑Thought (ToT) |
|---|---|---|
| 推理方式 | 線性單一路徑 | 多分支樹狀結構探索 |
| 是否能回溯 | 否 | 可回溯與剪枝 |
| 適合任務 | 基本推理、簡單決策 | 複雜推理、多步決策、策略規劃 |
| 正確率提升 | 有限 | 顯著提升 |
24遊戲
- 給你 4 個數字。
- 只能用 加、減、乘、除。
- 每個數字必須用一次，且只能用一次。
- 可以加括號改變運算順序。
- 最後結果要等於 24。
數據顯示使用ToT的成功率遠遠高於CoT
結語
- Tree‑of‑Thought (ToT) 提供了比 CoT 更強大的推理能力，透過多路徑探索與回溯，使模型能更有效處理需要策略規劃與多步驟決策的任務。
- 其核心在於將推理過程樹狀化，結合「生成、評估、剪枝」的過程模擬人類思考模式。
- 適合應用於數學、程式設計、策略決策與複雜問題求解等領域。
References
Prompt Engineering Guide
Long (2023)
Yao et el. (2023)
here
here
Hulbert (2023)
Sun (2023)
上一篇：Prompting Techniques - Prompt Chaining
下一篇：Prompting Techniques - 檢索增強生成