微新創想(idea2003.com) 7月19日消息:Meta 正在全力推進開源人工智能。該公司今天發布了 LLaMA 2，這是他們首款可供任何人免費使用的大型語言模型。

自從 OpenAI 于去年 11 月發布了備受矚目的 AI 聊天機器人 ChatGPT 以來，科技公司一直在爭相發布模型，希望能夠打破其主導地位。Meta 一直進展緩慢。今年 2 月，當競爭對手微軟和谷歌宣布推出 AI 聊天機器人時，Meta 推出了第一個較小版本的 LLaMA，只限于研究人員使用。但他們希望發布 LLaMA 2 并允許任何人在其基礎上構建商業產品，以幫助他們迎頭趕上。

實際上，該公司發布了一套 AI 模型，其中包括不同規模的 LLaMA 2 版本，以及一種可以構建成聊天機器人的 AI 模型，類似于 ChatGPT。與可以通過 OpenAI 網站訪問 ChatGPT 不同，該模型必須從 Meta 的合作伙伴微軟 Azure、亞馬遜 AWS 和 Hugging Face 下載。

Meta 負責生成 AI 工作的副總裁 Ahmad Al-Dahle 表示：「這使整個 AI 社區受益，并給人們提供了選擇，他們可以選擇封閉源方法或開源方法，以適應其特定的應用。」他說：「對我們來說，這是一個非常重要的時刻。」

但是仍然存在許多限制條件。根據與《麻省理工科技評論》獨家共享的公司研究論文，Meta 沒有公布訓練 LLaMA 2 所使用的數據集信息，也不能保證其中沒有包含受版權保護的作品或個人數據。LLaMA 2 也存在著困擾所有大型語言模型的問題：傾向于產生虛假信息和冒犯性語言。

Al-Dahle 表示，通過將模型發布到公眾領域，并允許開發人員和公司進行調試，Meta 將從中學到如何使其模型更安全、更公正和更高效的重要經驗教訓。

斯坦福大學基礎模型研究中心主任 Percy Liang 表示，強大的開源模型如 LLaMA 2 對 OpenAI 構成了相當大的威脅。Liang 是開源競爭對手 Alpaca 的研究團隊的一員，該團隊開發了 GPT-3 的早期版本。

Liang 表示：「LLaMA 2 并非 GPT-4。」并且在研究論文中，Meta 承認 LLaMA 2 和 GPT-4 之間的性能差距仍然很大，而 GPT-4 現在是 OpenAI 的最先進的 AI 語言模型。他補充說：「但對于許多用例來說，您并不需要 GPT-4。」一個更可定制和透明的模型，比如 LLaMA 2，可能會幫助公司比一個龐大、復雜的專有模型更快地創建產品和服務。

加州大學伯克利分校教授 Steve Weber 表示：「如果 LLaMA 2 能成為領先的開源替代品，這對 Meta 來說將是一次巨大的勝利。」

為了推出 LLaMA 2，Meta 進行了大量的調整，使模型比其前身更安全，更不容易產生有害虛假信息，Al-Dahle 說。

Meta 有很多過去的失誤可以汲取教訓。他們的科學語言模型 Galactica 在僅三天后就被下線，他們以前的僅用于研究目的的 LlaMA 模型在網上泄露，引發了一系列批評，質疑 Meta 是否充分考慮了 AI 語言模型的風險，如虛假信息和騷擾等。

為了減輕重復這些錯誤的風險，Meta 應用了一系列不同的機器學習技術，旨在提高 LLaMA 2 的實用性和安全性。

Meta 的研究人員 Sasha Luccioni 表示，相比于一般生成式 AI 模型，訓練 LLaMA 2 需要更多步驟。據 Al-Dahle 表示，該模型使用了比其前身多 40% 的訓練數據。其中訓練數據有兩個來源：從在線抓取的數據，以及根據人類標注員的反饋進行微調和調整，以表現出更理想的方式。公司表示 LLaMA 2 沒有使用 Meta 用戶數據，并排除了已知含有大量個人信息的網站的數據。

盡管如此，LLaMA 2 仍然會產生冒犯、有害和其他問題語言，就像其他競爭對手的模型一樣。Meta 表示沒有從數據集中刪除有害數據，因為將其保留下來可能有助于 LLaMA 2 更好地檢測仇恨言論，而刪除它可能會意外地篩選掉某些人群。

Luccioni 表示，Meta 的開放承諾令人興奮，因為它允許像她這樣的研究人員能夠適當地研究 AI 模型的偏見、道德和效率。

LLaMA 2 作為一個開源模型，也將允許外部研究人員和開發人員對其進行安全漏洞的探索，這將使其比專有模型更安全，Al-Dahle 表示。

Liang 也表示同意：「我非常興奮地嘗試一些東西，我認為這將對社區有益。」