2023年5月，微軟CEO納德拉拋出一個(gè)驚人數(shù)字，未來(lái)全球的開(kāi)發(fā)者數(shù)量即將達(dá)到10億。
那時(shí)候Meta的Llama早已開(kāi)源4個(gè)月，但一些中國(guó)的開(kāi)發(fā)者顯示，從小以英文語(yǔ)料喂養(yǎng)起來(lái)的Llama，對(duì)中文天下并不友好。
這將來(lái)的“10億”開(kāi)發(fā)者里會(huì)有多少中文開(kāi)發(fā)者，這個(gè)問(wèn)題難以推測(cè)，但至少早已有755萬(wàn)人了。
圖源備注：圖片由AI生成，圖片授權(quán)服務(wù)商Midjourney
755萬(wàn)人，這是2023年在GitHub上注冊(cè)的我國(guó)程序員數(shù)量，當(dāng)今的程序員一定會(huì)是將來(lái)大模型的第一批開(kāi)發(fā)者。
大部分人已經(jīng)是了。
在浙江省電力設(shè)計(jì)院工作的陶佳，嘗試用一個(gè)開(kāi)源的大模型來(lái)做基于私有知識(shí)庫(kù)的檢索問(wèn)答類應(yīng)用。他所面對(duì)的場(chǎng)景很突出，經(jīng)常需要從幾十萬(wàn)甚至上百萬(wàn)字的文檔中查找內(nèi)容。陶佳的專注是電力系統(tǒng)控制優(yōu)化，里面有一些混入了傳統(tǒng)數(shù)學(xué)方法和AI方法的領(lǐng)域，因此對(duì)AI有基本認(rèn)識(shí)，也從去年底就一直在關(guān)注著這波大模型的浪潮。
他試了幾款，試下來(lái)通義千問(wèn)是最好的?！按_切，而且‘手感’很好，沒(méi)有那些獨(dú)特古怪的bug”，他說(shuō)。
要做的事也很簡(jiǎn)單。有一些基本的軟硬件基礎(chǔ)后，在家里買(mǎi)個(gè)服務(wù)器、扔三四塊顯卡上去，下載通義千問(wèn)、讓它在服務(wù)器上運(yùn)行，再搞個(gè)FRP反向代理，從阿里云上買(mǎi)最便宜的30多塊錢(qián)一個(gè)多月的服務(wù)就行，這樣就能經(jīng)過(guò)外網(wǎng)訪問(wèn)家里的服務(wù)器，在單位里也能用通義千問(wèn)做實(shí)驗(yàn)。
當(dāng)一個(gè)開(kāi)源生態(tài)開(kāi)始成型，這樣的開(kāi)發(fā)者也進(jìn)一步變多。
開(kāi)始閉環(huán)的開(kāi)源生態(tài)
陶佳對(duì)大模型最深處的祈盼來(lái)自一個(gè)終極問(wèn)題:人類能否成為上帝?
美國(guó)的將來(lái)學(xué)家?guī)炱濏f爾在2023年早已提出過(guò)這種沒(méi)準(zhǔn)性。庫(kù)茲韋爾的想象里，人類到2030年將抑或成為半機(jī)器人。通過(guò)在腦中植入納米機(jī)器人，人類將可能干脆接入互聯(lián)網(wǎng)，智力將變得更高，并且將擁有幽默、音樂(lè)和愛(ài)等歡愉的天賦和能力。人類將成為像上帝相仿的完美存在。
那一年OpenAI剛才建立，但8年前庫(kù)茲韋爾的設(shè)想放到目前依舊有同樣的地方，只但是當(dāng)下看起來(lái)好像在一個(gè)機(jī)器人（Agent）中添加意識(shí)和人性，這條路好像更近點(diǎn)——也就是AGI。
但哪怕技術(shù)是爆炸、是躍遷式的，正在離AGI還很遠(yuǎn)。如若說(shuō)AGI會(huì)再造一個(gè)新的天下，那現(xiàn)時(shí)人類對(duì)大模型的期望，依然是在現(xiàn)實(shí)基礎(chǔ)上改造全國(guó)。而這首先需要建立在我們知道這個(gè)地球是什么形狀的，哪里需要被改造。世界真實(shí)的聲音需要被聽(tīng)到，建立一條通道異常要緊。
大模型時(shí)代的開(kāi)源，意義就在這里。來(lái)自不同現(xiàn)實(shí)場(chǎng)景，又具有代碼能力的人們需要一個(gè)廣場(chǎng)，來(lái)讓技術(shù)主動(dòng)和場(chǎng)景對(duì)齊，然后具有代表性的產(chǎn)品才沒(méi)準(zhǔn)顯示。
這個(gè)廣場(chǎng)要供大家互動(dòng)用，還要有豐盛且價(jià)格合適的算力資源，同時(shí)也需要足夠充足的可調(diào)用模型來(lái)做選擇。開(kāi)發(fā)者要的是這樣一個(gè)閉環(huán)的開(kāi)源生態(tài)，通義千問(wèn)的特長(zhǎng)開(kāi)始出現(xiàn)出來(lái)。
算力是關(guān)于大模型所有想象力的基礎(chǔ)。通義千問(wèn)背后的阿里云占有我國(guó)最強(qiáng)的智能算力儲(chǔ)備算作基礎(chǔ)設(shè)施支持。其智算集群可達(dá)最大十萬(wàn)卡GPU規(guī)模，這意味著在阿里云上可以承載多個(gè)萬(wàn)億參數(shù)大模型同時(shí)在線訓(xùn)練，為大規(guī)模AI集群供給無(wú)擁塞通訊的自研RDMA網(wǎng)絡(luò)架構(gòu)和低成本高可靠的高性能存儲(chǔ)CPFS。
而在4月，阿里云在推出通義千問(wèn)的同時(shí)，也公布了史上最大幅度的一次降價(jià)，對(duì)比上一代主售產(chǎn)品最高可下降40%的同時(shí)，還開(kāi)放了計(jì)算、存儲(chǔ)、數(shù)據(jù)庫(kù)、機(jī)器學(xué)習(xí)等核心產(chǎn)品免費(fèi)試用的機(jī)會(huì)。這為大批新涌入的AI開(kāi)發(fā)者供給了測(cè)驗(yàn)和試錯(cuò)的機(jī)會(huì)。
在阿里云的算力支撐下，像陶佳肖似的開(kāi)發(fā)者開(kāi)始帶著“野心”涌入魔搭社區(qū)。
去年11月的云棲大會(huì)上，阿里云與CCF開(kāi)源發(fā)展委員會(huì)合伙推出AI模型社區(qū)“魔搭”ModelScope，在社區(qū)上線同時(shí)貢獻(xiàn)了300多個(gè)AI模型，全面開(kāi)源開(kāi)放，其中超過(guò)1/3為中文模型。上線一年后，魔搭社區(qū)上的AI開(kāi)發(fā)者數(shù)量早已超過(guò)280萬(wàn)人，AI模型超過(guò)2300+，下載超過(guò)1億+。
隨著大模型的熱潮轉(zhuǎn)向Agent，魔搭社區(qū)在今年9月推出了AI Agent開(kāi)發(fā)框架ModelScope-Agent，并且搭建了一個(gè)“打樣產(chǎn)品”ModeScopeGPT，它允許調(diào)用社區(qū)里眾多AI模型的API，然后自主達(dá)成人類布置的任務(wù)。這個(gè)ModeScopeGPT 的調(diào)用量曾經(jīng)超過(guò)了40萬(wàn)次。
除了通義千問(wèn)之外，Llama2、智譜AI、百川智能甚至最新推出大模型的零一萬(wàn)物等近百款開(kāi)源模型而今都已經(jīng)進(jìn)入社區(qū)。并且“而今大陸有一半大模型公司跑在阿里云上”，阿里云CTO周靖人在2023年云棲大會(huì)上這樣說(shuō)的時(shí)候，魔搭早已是眼前中國(guó)規(guī)模最大、用戶最活躍的AI模型開(kāi)源地。
當(dāng)下加入的參數(shù)量
12月1日，阿里云舉行通義千問(wèn)發(fā)布會(huì)，開(kāi)源了通義千問(wèn)720億參數(shù)模型Qwen-72B。在參數(shù)量上這是當(dāng)今大陸主流視線中最大的開(kāi)源大模型，而在能力上，Qwen-72B的性能已經(jīng)在測(cè)驗(yàn)中超越開(kāi)源標(biāo)桿Llama2-70B。
Qwen-72B的訓(xùn)練基礎(chǔ)是3T tokens的高品質(zhì)數(shù)據(jù)，它采用了更多的參數(shù)和訓(xùn)練數(shù)據(jù)，實(shí)現(xiàn)了全面的性能抬高。這個(gè)模型延續(xù)了通義千問(wèn)預(yù)訓(xùn)練模型的卓越展示，在10個(gè)權(quán)威測(cè)試中取得開(kāi)源模型中的最佳成績(jī)，并在某些評(píng)測(cè)中超越了非公開(kāi)的GPT-3.5和GPT-4。
在英語(yǔ)任務(wù)方面，Qwen-72B在MMLU基準(zhǔn)嘗試中獲得開(kāi)源模型中的最高分。在中文任務(wù)中，它在CEVAL、CMMLU、Gaokao等評(píng)測(cè)中領(lǐng)先，甚至超過(guò)了GPT-4。在數(shù)學(xué)推理領(lǐng)域，Qwen-72B在GSM8K、MATH評(píng)測(cè)中遠(yuǎn)超其他開(kāi)源模型。同時(shí)，在代碼理解任務(wù)上，經(jīng)過(guò)HumanEval和MBPP評(píng)測(cè)，Qwen-72B映現(xiàn)了顯著的進(jìn)步，其代碼能力實(shí)現(xiàn)了質(zhì)的飛躍。
從8月初開(kāi)始，Qwen-7B和Qwen-7B-Chat兩款開(kāi)源模型在魔搭社區(qū)上線開(kāi)始，通義千問(wèn)本身的模型開(kāi)源開(kāi)始提上日程。8月25日，以Qwen-7B為基座語(yǔ)言模型新意，支持圖文輸入，具備多模態(tài)音訊理解能力大規(guī)模視覺(jué)語(yǔ)言模型 Qwen-VL開(kāi)源。
Qwen-VL開(kāi)源的一個(gè)月往后，阿里云在9月25日開(kāi)源了通義千問(wèn)百億級(jí)的參數(shù)模型Qwen-14B及其對(duì)話模型Qwen-14B-Chat。這款模型在性能上開(kāi)始頭一回看向Llama-70B，加上前幾款開(kāi)源的模型，一個(gè)多月時(shí)間內(nèi)在開(kāi)源社區(qū)的下載量突破100萬(wàn)，在性能和可用性的平衡上，70億和140億參數(shù)的尺寸也是對(duì)開(kāi)發(fā)者最友好的。
但當(dāng)這個(gè)大模型開(kāi)源生態(tài)開(kāi)始走深，開(kāi)發(fā)者對(duì)模型的性能上限有了更高的要求，也就需要更大參數(shù)的模型。Qwen-72B開(kāi)始吸引到一些初創(chuàng)團(tuán)隊(duì)的目光。
“我對(duì)72B的模型抱有極度大的渴望，好奇72B在我們領(lǐng)域中的能力極限值?！?/p>
顏鑫是華東理工大學(xué)X-D Lab（心動(dòng)實(shí)驗(yàn)室）的成員，X-D Lab實(shí)驗(yàn)室之前的酌量方向網(wǎng)羅社會(huì)計(jì)算與社會(huì)智能、群體智能與隱私保護(hù)、公共衛(wèi)生與輿情監(jiān)測(cè)、工業(yè)智能與智能系統(tǒng)等方面，大模型呈現(xiàn)往后，開(kāi)始聚焦AI情感計(jì)算領(lǐng)域。
基于開(kāi)源的通義千問(wèn)基座模型，顏鑫和其他團(tuán)隊(duì)成員陸續(xù)開(kāi)發(fā)了心理健康大模型 MindChat（漫談）、醫(yī)療強(qiáng)壯大模型 Sunsimiao(孫思邈)、教育/考試大模型 GradChat(錦鯉)三款垂直領(lǐng)域大模型，此刻已有超過(guò)20萬(wàn)人次使用過(guò)這三款大模型，累計(jì)提供了超過(guò)100萬(wàn)次的問(wèn)答服務(wù)。
研討到計(jì)算資源的限制以及一些客戶對(duì)于私有化部署的需求，顏鑫表示現(xiàn)時(shí)團(tuán)隊(duì)在供應(yīng)問(wèn)答服務(wù)時(shí)7B或14B尺寸的大模型是更合適的選擇，但在更開(kāi)放的學(xué)術(shù)酌量上——例如應(yīng)該利用聯(lián)邦學(xué)習(xí)算法處理數(shù)據(jù)——Qwen-72B有著前者不具備的性能特長(zhǎng)。
而開(kāi)源模型參數(shù)量的向上思量，將來(lái)也有機(jī)會(huì)推動(dòng)ModelScope-Agent這樣關(guān)于如何接近AGI的暢想更接近現(xiàn)實(shí)。
此前在阿里從事大數(shù)據(jù)業(yè)務(wù)近7年的秦續(xù)業(yè)，日前身份是未來(lái)速度Xorbits協(xié)同創(chuàng)始人&CEO。Xorbits打造了公司級(jí)的分布式推理框架Xinference。通過(guò)Xinference，開(kāi)源模型允許降落在個(gè)人用戶和開(kāi)發(fā)者的個(gè)人電腦上，企業(yè)用戶抑或在計(jì)算集群上輕松部署并管理模型，享受私有化部署帶來(lái)的安全、定制化以及低成本。
秦續(xù)業(yè)表態(tài)，倘使外接知識(shí)庫(kù)做問(wèn)答應(yīng)用，經(jīng)過(guò)大模型召回一些數(shù)據(jù)，放到上下文中進(jìn)行總結(jié)，最終給出有用的答復(fù)，那么小尺寸（10B以下）的模型是夠用的。萬(wàn)一需要具備一定的邏輯推理能力的模型，20-30B的中等尺寸模型是比較好的選擇。
“但在Agent恐怕需要強(qiáng)大推理能力的場(chǎng)景中，70B+的大模型會(huì)更有優(yōu)勢(shì)?！?/p>
AI Agent是秦續(xù)業(yè)遠(yuǎn)處的祈盼，但他相似也是個(gè)現(xiàn)實(shí)主義者。眼下把模型用起來(lái)是更緊要的事情，所以Xorbits曾經(jīng)攻克的焦點(diǎn)，是讓通義千問(wèn)跑在一臺(tái)Mac電腦上。
秦續(xù)業(yè)覺(jué)得這一點(diǎn)能擊中很多人。由于很多開(kāi)發(fā)者都是用Mac電腦，他們直白在本地拉起Qwen類別模型，可以極大提高開(kāi)發(fā)效力。
Qwen序列的全尺寸完善不止一個(gè)72B的大參數(shù)模型。與Qwen-72B同步，阿里云本次開(kāi)源了通義千問(wèn)18億參數(shù)模型Qwen-1.8B和通義千問(wèn)音頻大模型Qwen-Audio，至此，通義千問(wèn)開(kāi)源光譜曾經(jīng)了覆蓋從18億、70億到140億、720億參數(shù)的4款大語(yǔ)言模型，以及視覺(jué)理解（Qwen-VL）、音頻理解兩款多模態(tài)大模型。
大模型的開(kāi)源生態(tài)，這是AI時(shí)代最后恐怕洶涌而來(lái)的一味藥引。周靖人對(duì)通義千問(wèn)的定位是“AI時(shí)代最開(kāi)放的大模型”，目下打點(diǎn)好一切，靜待開(kāi)發(fā)者登場(chǎng)了。
（舉報(bào)）
