Knowledge Generation(透過生成知識強化推理能力)
隨著大型語言模型（LLMs）持續進步，常見的提升方法之一是將外部知識或資訊直接整合進提示，以提升預測準確性。但一個重要問題是：模型本身是否可以先生成知識，再用於完成推理與回答？
目錄
技術原理
Knowledge Generation 技術分為兩個步驟：
-
生成知識（Generate Knowledge）
先讓模型根據問題，生成可能有助於回答的背景知識或常識性描述。 -
整合知識進行預測（Integrate Knowledge and Predict）
將上一步生成的知識，作為提示的一部分，讓模型在回答時引用這些「自我生成」的知識，進行更具邏輯性的推理與預測。
這一流程有效彌補了 LLM 在常識推理等任務上的知識盲點，特別是在無法直接從預訓練權重中檢索到足夠世界知識時。
為何重要？
- 彌補知識缺口：當 LLM 無法基於訓練知識正確推理時，先生成知識有助於補全背景資訊。
- 強化常識推理：對於涉及生活常識、背景知識的問題，Knowledge Generation 可顯著提升回答品質。
- 內部知識調用：與檢索式方法不同，此技術完全依靠模型自身生成知識，不依賴外部資料庫。
應用示例
- **問題**：為什麼 X 對於 Y 是有意義的？
- **生成知識**：
- X 是一種常見行為。
- Y 需要 X 才能完成。
- 人們通常在 Y 之前進行 X。
- **最終回答**：
- 結合上述背景知識，模型給出更完整的推理過程與結論。
實驗中觀察到，當加入生成知識後，模型的答案在自信度與邏輯性上均有所提升。
提示：
輸入：希臘比墨西哥大。
知識：希臘的面積約為131,957平方公里，而墨西哥的面積約為1,964,375平方公里，使墨西哥比希臘大了1,389%。
輸入：眼鏡總是會起霧。
知識：當你的汗水、呼吸和周圍的濕度中的水蒸氣落在冷的表面上，冷卻並變成微小的液滴時，會在眼鏡鏡片上產生冷凝。你看到的是一層薄膜。你的鏡片相對於你的呼吸會比較涼，尤其是當外面的空氣很冷時。
輸入：魚有思考能力。
知識：魚比它們看起來更聰明。在許多領域，如記憶力，它們的認知能力與或超過非人類靈長類動物等「更高級」的脊椎動物。魚的長期記憶幫助它們追蹤複雜的社交關係。
輸入：一個人一生中吸煙很多香煙的常見影響是患肺癌的幾率高於正常水平。
知識：那些一生中平均每天吸菸不到一支香菸的人，罹患肺癌的風險是從不吸菸者的9倍。在每天吸菸1到10支香菸之間的人群中，死於肺癌的風險幾乎是從不吸菸者的12倍。
輸入：一塊石頭和一顆卵石大小相同。
知識：卵石是一種根據Udden-Wentworth沉積學尺度的顆粒大小為4到64毫米的岩屑。卵石通常被認為比顆粒（直徑2到4毫米）大，比卵石（直徑64到256毫米）小。
輸入：高爾夫球的一部分是試圖獲得比其他人更高的得分。
知識1：高爾夫球的目標是以最少的桿數打完一組洞。一輪高爾夫球比賽通常包括18個洞。每個洞在標準高爾夫球場上一輪只打一次。每個桿計為一分，總桿數用於確定比賽的獲勝者。
知識2：高爾夫球是一項精密的球桿運動，競爭選手（或高爾夫球手）使用許多類型的球桿，用最少的桿數將球打入球場上一系列洞中。目標是以最低的分數完成比賽，該分數是透過將每個洞上所用的桿數相加計算出來的。得分最低的選手贏得比賽。
提示：
問題：高爾夫球的一部分是試圖獲得比其他人更高的得分。是或否？
知識：高爾夫球的目標是以最少的桿數打完一組洞。一輪高爾夫球比賽通常包括18個洞。每個洞在標準高爾夫球場上一輪只打一次。每個桿計為一分，總桿數用於確定比賽的獲勝者。
解釋和答案：
根據知識，高爾夫球的目標是以最少的桿數完成所有洞，桿數越少代表得分越低，分數低者才是贏家。因此，高爾夫球並不是試圖獲得比其他人更高的得分，而是要獲得比其他人更低的總桿數。
**答案：否**
這是不對的。高爾夫球的目標是打出比對手更低的桿數。每打一桿就會被記為一分，所以得分越高，代表你打出的桿數越多。獲勝者是總桿數最少的人，因此得分越低越好。
不是，高爾夫球的目標不是獲得比其他人更高的得分。相反，目標是以最少的桿數打完一組洞。總桿數用於確定比賽的獲勝者，而不是總得分。
提示：
問題：高爾夫球的一部分是試圖獲得比其他人更高的得分。是或否？
知識：高爾夫球是一項精密的球桿運動，競爭選手（或高爾夫球手）使用許多類型的球桿，用最少的桿數將球打入球場上一系列洞中。目標是以最低的分數完成比賽，該分數是透過將每個洞上所用的桿數相加計算出來的。得分最低的選手贏得比賽。
解釋和答案：
是的，高爾夫球的一部分是試圖獲得比其他人更高的得分。不過，實際上每位球員的目標是用最少的桿數完成所有洞。比賽是依總桿數決定勝負，而不是以分數高低來判斷，桿數最少的球員才會獲勝。
你說的這句話有些矛盾。在高爾夫球裡，**總桿數**就是你的**總得分**。因此，高爾夫球的目標是獲得比其他人**更低**的得分，也就是用**最少**的桿數打完比賽。得分最低的選手才是最終的獲勝者，而不是得分最高的。
是的，高爾夫球的一部分是試圖獲得比其他人更高的得分。每位選手都試圖以最少的桿數打完一組洞。總桿數用於確定比賽的獲勝者，而不是總得分。得分最低的選手贏得比賽。
注意事項
- 生成的知識品質影響最終結果，生成階段可能引入錯誤或偏差。
- 知識與任務之間的融合設計（如問題重構、QA格式轉換）會影響回答品質。
- 對於過於專業或新穎的知識領域，效果有限。
結語
Knowledge Generation 開創了一種全新提示設計思路——讓模型先「教自己」，再「回答問題」。這種兩步法，能有效提升模型在常識推理與背景知識不足任務中的表現。隨著 LLM 架構與訓練策略的演進，結合知識生成的提示設計將成為未來重要的發展方向。
References
Prompt Engineering Guide
Liu et al. 2022
上一篇：Prompting Techniques - Self-Consistency
下一篇：Prompting Techniques - Prompt Chaining