LLM 設定參數說明（LLM Settings）
在設計與測試提示（prompts）時，我們通常會透過 API 與大型語言模型（LLM）互動。
你可以調整一些設定參數來影響模型回應的結果。這些參數的微調對於提升輸出的可靠性與理想性非常重要，而要找到最適合的設定組合也需要一些實驗與嘗試。
本篇目標
- 溫度（Temperature)
- 核取樣機率上限（Top P)
- 最大長度（Max Length)
- 停止序列（Stop Sequences）
- 頻率懲罰（Frequency Penalty）
- 出現懲罰（Presence Penalty）
以下是使用不同 LLM 平台時常見的參數設定：
溫度（Temperature）
- 簡介：決定模型的隨機性程度。
- 數值越低（例如 0.1）→ 較「可預測」的結果，會選擇機率最高的字詞。
- 數值越高（例如 0.8）→ 更多樣化與創意，因為其他可能的詞彙會有更高的選擇機會。
- 應用建議：
- 事實性任務（如問答）→ 使用低溫度以獲得準確與簡潔的回答。
- 創意任務（如詩歌生成）→ 使用高溫度以產出多樣、有趣的內容。
核取樣機率上限（Top P）
- 簡介：控制模型回應時的「決定性 vs. 多樣性」。
- 當設定 Top P = 0.9 時，模型僅會從機率加總達到 90% 的候選詞中選擇下一個詞。
- Top P 越低 → 越專注於高信心的詞彙（更穩定、更準確）。
- Top P 越高 → 可以探索更多潛在選項（更具創意與變化）。
- 建議：通常只需調整 Temperature 或 Top P 的其中一個，不必同時修改。
最大長度（Max Length）
- 控制模型回應的最大 token 數量。
- 可以避免回答過長或偏題，並幫助控制運算成本。
停止序列（Stop Sequences）
- 當模型遇到指定的字串時，就會停止生成回應。
- 範例用途：若你要模型產出一個最多 10 項的清單，可指定
"11"為停止序列。
頻率懲罰（Frequency Penalty）
- 根據某個詞在提示與回應中出現次數給予懲罰。
- 數值越高 → 越不容易重複使用同樣的詞，減少重複字詞的機率。
出現懲罰（Presence Penalty）
- 對於「曾經出現過的詞」給予相同程度的懲罰（無論出現幾次）。
- 有助於避免模型反覆使用相同片語。
- 應用建議：
- 想要更有創意、多樣化 → 增加 Presence Penalty。
- 需要模型保持專注、不跳針 → 減少 Presence Penalty。
- 與 Temperature、Top P 類似：建議只調整 Frequency 或 Presence Penalty 其中一項。
注意事項
- 最佳參數組合可能會依據你使用的模型版本而有所不同。
- 記得多加實驗與測試，以找出最適合你應用場景的參數設定！
References
上一篇：介紹 - 簡介
下一篇：介紹 - 提示語設計基礎