Meta 公司開發(fā)了最大的基礎開源大型語言模型之一 Llama，該公司認為未來將需要更強的計算能力來訓練模型。馬克-扎克伯格（Mark Zuckerberg）在本周二的 Meta 第二季度財報電話會議上表示，為了訓練 Llama 4，公司需要比訓練 Llama 3 多 10 倍的計算能力。但他仍然希望 Meta 能夠提高訓練模型的能力，而不是落后于競爭對手。

扎克伯格說：“訓練 Llama 4 所需的計算量很可能是我們訓練 Llama 3 所需的計算量的近 10 倍，而且未來的模型還將繼續(xù)增長。很難預測未來幾代人的發(fā)展趨勢。但在這一點上，考慮到啟動新推理項目的籌備時間較長，我寧愿冒險在需要之前建設能力，而不是為時已晚?！?/p>

Meta于今年 4 月發(fā)布了擁有 800 億個參數(shù)的 Llama 3。該公司上周發(fā)布了該模型的升級版，名為Llama 3.1 405B，擁有 4 050 億個參數(shù)，成為 Meta 最大的開源模型。

Meta 公司首席財務官蘇珊-李（Susan Li）也表示，公司正在考慮不同的數(shù)據(jù)中心項目，并建設能力來訓練未來的人工智能模型。她說，Meta 預計這項投資將在 2025 年增加資本支出。

訓練大型語言模型是一項成本高昂的工作。在服務器、數(shù)據(jù)中心和網(wǎng)絡基礎設施投資的推動下，Meta 的資本支出從去年同期的 64 億美元增至 2024 年第二季度的 85 億美元，增長了近 33%。

根據(jù)The Information 的報道，OpenAI 在訓練模型上花費了 30 億美元，另外還以折扣價從微軟租用了 40 億美元的服務器。

"隨著我們擴大生成式人工智能的訓練能力，以推進我們的基礎模型，我們將繼續(xù)以靈活的方式建設我們的基礎設施。這將使我們能夠?qū)⒂柧毮芰τ糜诨蛉斯ぶ悄芡评砘蛭覀兊暮诵呐琶屯扑]工作，當我們預計這樣做會更有價值時，我們就會這樣做，"李開復在電話會議上說。

在電話會議上，Meta 還談到了面向消費者的Meta AI 的使用情況，并表示印度是其聊天機器人的最大市場。但李開復指出，公司并不指望 Gen AI 產(chǎn)品能對收入做出重大貢獻。