【Meta官方】Llama生態(tài)系統(tǒng)：過(guò)去、現(xiàn)在和未來(lái)

文：城主

前言

這是Meta官方對(duì)Llama發(fā)布半年的一個(gè)自我總結(jié)。

有一句評(píng)論深感贊同，Llama開(kāi)源大模型有望成為L(zhǎng)LM時(shí)代的安卓。

在OpenAI讓人失望的成了CloseAI之后，Llama的發(fā)布給全世界做AI+項(xiàng)目 研發(fā)的人們一記強(qiáng)心針。道理很簡(jiǎn)單， 有多少企業(yè)敢把所有身家和未來(lái)賭在一個(gè)只有API調(diào)用的核心模式上呢，就算這種閉源API再?gòu)?qiáng)大，也必須至少有一個(gè)后手吧。更不用說(shuō)費(fèi)用和數(shù)據(jù)安全的問(wèn)題。

即使看LLM水平本身，Llama2以及后續(xù)社區(qū)優(yōu)化版本已經(jīng)直追GPT-4，很有點(diǎn)SD社區(qū)大模型和Midjourney模型的味道：即使沒(méi)有100%趕上，但也非常接近了；更重要的是，社區(qū)各種Llama魔改版，就類似各種SD模型一樣，在不同的垂直領(lǐng)域特別好用。

如果我們看手機(jī)系統(tǒng)，即使蘋(píng)果手機(jī)系統(tǒng)這么強(qiáng)勢(shì)，開(kāi)放的安卓生態(tài)也早就超過(guò)了半壁江山。或許這就是未來(lái)的LLM版圖：閉源和開(kāi)源模型平分天下， 甚至閉3開(kāi)7。

Meta昨天的Connect大會(huì)可圈可點(diǎn)，有AI有XR有智能App。城主看了之后，頗有一種感覺(jué)：Meta已熬過(guò)了它最艱難的時(shí)刻，未來(lái)有AI+元宇宙雙概念加持的Meta，或許要開(kāi)始走出一條高開(kāi)的曲線了呢。

前不久，Meta AI掌門(mén)人，AI三巨頭的Yann LeCun在參議院捍衛(wèi)Llama的開(kāi)源精神（），實(shí)是有些讓人敬佩。無(wú)論如何，僅就Llama對(duì)世界范圍AI發(fā)展的貢獻(xiàn)，城主認(rèn)為就值得向Meta脫帽致敬，相信所有做AI+的團(tuán)隊(duì)都有同樣的敬意。

Llama社區(qū)加油！

（在剛結(jié)束的Meta Connect 2023上，Meta GenAI VP 談Llama大模型的視頻）

=以下是原文完整中文版=

英文原文鏈接：

https://ai.meta.com/blog/llama-2-updates-connect-2023/

自我們發(fā)布Llama1以來(lái)大約已經(jīng)過(guò)去七個(gè)月，而Llama2的發(fā)布僅僅過(guò)去了幾個(gè)月，緊接著是CodeLlama的發(fā)布。簡(jiǎn)而言之，社區(qū)的反應(yīng)令人震驚。我們看到了大量的動(dòng)力和創(chuàng)新，通過(guò)Hugging Face下載的基于Llama的模型超過(guò)3000萬(wàn)次，僅在過(guò)去的30天里就有超過(guò)1000萬(wàn)次。就像PyTorch一樣，Llama已經(jīng)發(fā)展成為全世界建設(shè)的平臺(tái)，我們對(duì)此感到非常興奮。

迄今為止的影響

Llama社區(qū)的增長(zhǎng)有幾個(gè)顯著的發(fā)展：

?云使用：像AWS、Google Cloud和Microsoft Azure這樣的主要平臺(tái)已經(jīng)在他們的平臺(tái)上接納了Llama模型，而Llama2在云中的存在正在擴(kuò)大。今天我們宣布AWS成為我們的第一個(gè)為L(zhǎng)lama2提供管理API的合作伙伴。現(xiàn)在，所有規(guī)模的組織都可以在Amazon Bedrock上訪問(wèn)Llama2模型，而無(wú)需管理底層的基礎(chǔ)設(shè)施。這是一個(gè)可訪問(wèn)性的重大改變。此外，到目前為止，Google Cloud和AWS的終端使用情況令人難以置信，基于Llama2模型的企業(yè)項(xiàng)目啟動(dòng)超過(guò)3500個(gè)。

?創(chuàng)新者：創(chuàng)新者和初創(chuàng)公司正在將Llama作為他們生成AI產(chǎn)品創(chuàng)新的基礎(chǔ)。成千上萬(wàn)的初創(chuàng)公司正在使用或評(píng)估Llama2，包括Anyscale、Replicate、Snowflake、LangSmith、Scale AI等等。像DoorDash這樣的創(chuàng)新者正在使用它進(jìn)行大規(guī)模的實(shí)驗(yàn)，以便在發(fā)布新的LLM驅(qū)動(dòng)的功能之前。

?眾包優(yōu)化：開(kāi)源社區(qū)真正接納了我們的模型。到目前為止，社區(qū)已經(jīng)對(duì)Hugging Face進(jìn)行了微調(diào)，并發(fā)布了超過(guò)7000個(gè)衍生產(chǎn)品。平均來(lái)說(shuō)，在標(biāo)準(zhǔn)基準(zhǔn)測(cè)試中，這些產(chǎn)品在常見(jiàn)基準(zhǔn)測(cè)試中的性能提高了近10%，在像TruthQA這樣的基準(zhǔn)數(shù)據(jù)集中的改進(jìn)達(dá)到了驚人的46%。

?開(kāi)發(fā)者社區(qū)：現(xiàn)在在GitHub上有超過(guò)7000個(gè)基于Llama或提及Llama的項(xiàng)目。新的工具、部署庫(kù)、模型評(píng)估方法，甚至“微型”版本的Llama正在被開(kāi)發(fā)，以將Llama帶到邊緣設(shè)備和移動(dòng)平臺(tái)。此外，社區(qū)已經(jīng)擴(kuò)展了Llama以支持更大的上下文窗口，增加了對(duì)額外語(yǔ)言的支持，等等。

?硬件支持：硬件社區(qū)已經(jīng)完全接納了Llama作為一個(gè)關(guān)鍵的模型架構(gòu)。主要的硬件平臺(tái)AMD、Intel、Nvidia和Google已經(jīng)通過(guò)硬件和軟件優(yōu)化提高了Llama2的性能。

生態(tài)系統(tǒng)充滿活力，參與者遍布從服務(wù)器和移動(dòng)硬件到云平臺(tái)、初創(chuàng)公司和企業(yè)的每一層。最近發(fā)布的CodeLlama，這些模型在許多平臺(tái)上都能在幾個(gè)小時(shí)內(nèi)使用，為社區(qū)創(chuàng)造了令人難以置信的速度。

它開(kāi)始于一個(gè)快速發(fā)展的研究項(xiàng)目...
在過(guò)去的幾年里，大型語(yǔ)言模型(LLMs)——擁有數(shù)十億參數(shù)的自然語(yǔ)言處理(NLP)系統(tǒng)——已經(jīng)展示出新的能力，如生成創(chuàng)造性的文本、解決數(shù)學(xué)定理、預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)、回答閱讀理解問(wèn)題等等。這些項(xiàng)目代表了AI可以為數(shù)十億人提供的顯著潛在利益的明確例子。

原始項(xiàng)目，LLaMA或我們最近稱之為L(zhǎng)lama1，是由一個(gè)主要專注于形式數(shù)學(xué)的團(tuán)隊(duì)在FAIR中開(kāi)發(fā)的，但同時(shí)看到了LLMs的力量，以及如何通過(guò)正確的縮放法則和高度策劃的數(shù)據(jù)訓(xùn)練一個(gè)相對(duì)較小的模型，可以成為新應(yīng)用研究的強(qiáng)大基礎(chǔ)。因此，Llama的第一代誕生了，并且自那時(shí)起在學(xué)術(shù)界和全世界引發(fā)了創(chuàng)新。事實(shí)上，在幾天內(nèi)，各個(gè)學(xué)術(shù)機(jī)構(gòu)的研究人員就能夠調(diào)整出能夠遵循指示或處理額外任務(wù)的更好版本的Llama1。從那時(shí)起，社區(qū)開(kāi)始在許多方面和方向上進(jìn)行創(chuàng)新。

但是我們希望讓更多的人能夠使用這項(xiàng)技術(shù)。這就是Llama2的由來(lái)。

為什么我們要發(fā)布我們的模型？

正如我們的歷史所顯示的，我們深信開(kāi)源社區(qū)的力量。我們相信，最先進(jìn)的AI技術(shù)在開(kāi)放和對(duì)所有人可訪問(wèn)的情況下會(huì)更安全、更好地對(duì)齊。此外，在高熵區(qū)域，建立橋梁并利用不可避免產(chǎn)生的創(chuàng)新是有利的。這對(duì)于PyTorch來(lái)說(shuō)是真實(shí)的，其中像穩(wěn)定擴(kuò)散、GPT 3和GPT 4這樣的突破不斷地顛覆了AI的世界，對(duì)于Llama也是如此。對(duì)于我們Meta來(lái)說(shuō)，我們可以沿著三個(gè)軸總結(jié)價(jià)值：

研究：新的技術(shù)、性能優(yōu)化、工具和評(píng)估方法，包括在安全性方面的工作，使Meta能夠從研究社區(qū)中更快地吸收學(xué)習(xí)。許多這些社區(qū)也是新興的，公開(kāi)合作使得取得進(jìn)展更為容易；

企業(yè)和商業(yè)化：越多的企業(yè)和創(chuàng)業(yè)公司在我們的技術(shù)上建立，我們就能更多地了解使用案例、安全模型部署和潛在機(jī)會(huì)；以及

開(kāi)發(fā)者生態(tài)系統(tǒng)：LLMs已經(jīng)從根本上改變了AI開(kāi)發(fā)，每天都有新的工具和方法用于操作、管理和評(píng)估模型。擁有一種通用語(yǔ)言使我們能夠快速利用這些技術(shù)，加速我們的內(nèi)部堆棧。

但這對(duì)于Meta來(lái)說(shuō)并不新鮮。就像PyTorch和其他幾十個(gè)公開(kāi)發(fā)布或開(kāi)源項(xiàng)目一樣，這種理念深深地根植在我們公司的DNA中。

前進(jìn)的道路

有一件事是肯定的：生成AI領(lǐng)域發(fā)展迅速，我們都在一起學(xué)習(xí)這項(xiàng)技術(shù)的能力和應(yīng)用。Meta仍然致力于今天的AI的開(kāi)放方式。以下是我們?cè)谶@個(gè)旅程中繼續(xù)關(guān)注的幾個(gè)領(lǐng)域：

多模態(tài)：就像世界并非完全由文本構(gòu)成一樣，AI可以接受新的模態(tài)，以實(shí)現(xiàn)更多沉浸式的生成體驗(yàn)；

安全和責(zé)任：生成AI已經(jīng)使負(fù)責(zé)任的AI世界煥發(fā)新生。我們將更加重視安全和責(zé)任，開(kāi)發(fā)新的工具，建立合作伙伴關(guān)系，并利用Llama作為我們的社區(qū)繼續(xù)學(xué)習(xí)如何安全和負(fù)責(zé)任地建設(shè)的工具；以及

關(guān)注社區(qū)：就像PyTorch一樣，我們將這看作是一個(gè)有發(fā)言權(quán)的開(kāi)發(fā)者社區(qū)，我們希望給予他們權(quán)力和推動(dòng)他們創(chuàng)新的工具。我們的目標(biāo)是為社區(qū)提供展示工作、貢獻(xiàn)和講述他們故事的新方式。

想了解更多關(guān)于Llama家族的信息嗎？

在Meta Connect主題演講（完整）中，我們談了很多關(guān)于我們的Llama模型和開(kāi)放訪問(wèn)的未來(lái)。從我們的會(huì)議到動(dòng)手工作坊，我們很高興與您分享我們的最新發(fā)展。

以下是您可以深入了解和學(xué)習(xí)更多的一些方式：

a.下載模型并與Llama 2互動(dòng)。

b.參加Connect Sessions，包括我們關(guān)于使用Llama模型的工作坊。

c.訪問(wèn)ai.meta.com/llama閱讀論文，查看我們的負(fù)責(zé)任使用指南和可接受使用政策，并了解更多關(guān)于支持Llama生態(tài)系統(tǒng)的合作伙伴。

作者：

Joe Spisak 產(chǎn)品總監(jiān)

Sergey Edunov 工程總監(jiān)