Multimodal Chain‑of‑Thought（Multimodal CoT，跨模態思維鏈）
- Multimodal Chain‑of‑Thought（Multimodal CoT） 是將文本與圖像等多種模態融合於中間推理流程的技術。傳統的 CoT 僅依賴文字，但 Multimodal CoT 能將視覺訊息整合進 step-by-step 推理中，提升理解與推論能力。
目錄
Multimodal CoT 的運作原理
- 第一階段：推理生成
輸入包括文字語境與相關圖片，模型根據圖像和文字生成中間推理步驟（rationales），融合視覺與文字訊息理解。 - 第二階段：答案推理
利用第一階段生成的 multimodal rationales 進行最終答案推理，提升準確性與穩定性。
應用範例
- ScienceQA 視覺科學題：在包含圖表與圖片的科學題上，Multimodal CoT 即便模型參數低於 10 億，也能獲得領先 GPT-3.5 的成績。
- A-OKVQA 圖文問答：模型結合圖像細節及文字背景推理，顯著改善跨模態問題理解與答案生成效果。
Multimodal CoT 的優勢與挑戰
優勢
- 融合視覺與語言信息：讓模型能理解圖像細節，不再僅依賴文字描述，提升跨模態推理能力。
- 降低幻覺風險：圖像與文字共同作為參考，避免模型憑空生成錯誤理由。
- 提升學習效率：在中小型模型上也能達到強大的推理效果，收斂速度更快。
挑戰
- 構建流程複雜：需設計圖像與文字並存的提示格式與推理階段管理。
- 圖像理解限制：模型對圖像的解讀能力受限於 pretrained 視覺模組表現。
- 需要專門 benchmark：評估跨模態 CoT 推理品質與效率，需要專門設計指標與測試數據集。
結語
- Multimodal CoT 是 Chain‑of‑Thought 推理的重要延伸，融合文本與視覺信息進行中間推理，使模型更貼近人類跨模態理解與判斷方式。
- 適合於科學問答、視覺理解、教育測驗、技術支援等需要圖文共同推理的場景，能提升模型準確率與合理性。
References
Prompt Engineering Guide
Zhang et al. (2023)
Language Is Not All You Need: Aligning Perception with Language Models (Feb 2023)