Models - LLaMA 介紹

ben · July 31, 2025, 7:07am

LLaMA：Meta 的高效開放基礎語言模型

本篇旨在介紹 LLaMA 基礎語言模型系列 ，該系列包含了從 7B 到 65B 參數的模型，這些模型在數兆個 tokens 的公開數據集上進行訓練。

數據量的重要性： Hoffman 等人在 2022 年的研究表明，在給定計算預算下，較小的模型在更多的數據上訓練可以獲得更好的性能。LLaMA 的研究進一步發現，一個 7B 模型即使在處理了 1T 個 Token 後，性能仍在持續提升。

效率與性能平衡：本研究專注於訓練那些在不同推理預算下能達到最佳性能的模型，這透過在更多 Token 上訓練來實現。

卓越性能：LLaMA-13B 在許多基準測試中優於 GPT-3 (175B)，儘管其規模小了 10 倍，且可以在單個 GPU 上運行。

競爭力：LLaMA 65B 在性能上與 Chinchilla-70B 和 PaLM-540B 等模型具有競爭力。

LLaMA 系列模型的發布，證明了透過大規模數據訓練較小模型也能達到與巨型模型相當甚至超越的性能，同時顯著提升了推理效率和可部署性。這種強調數據效率而非單純模型規模的訓練策略，為開源社群提供了高性能且資源友好的基礎語言模型。