10月(yuè)26日(rì)-28日(rì)，第二十屆中國‍↕&≠(guó)計(jì)算(suàn)機(jī)大(dà)會(huì±→↔)(CNCC2023)在遼甯沈陽舉辦，國↕‍(guó)內(nèi)外(wài)計(jì)×δ£算(suàn)機(jī)領域的(de)專家(π✘jiā)學者、科(kē)技(jì)領軍人(rén)才、企業(yè)代表共同§&£探討(tǎo)計(jì)算(suàn)及信息科(kē)學技(jì¶₩₽)術(shù)領域最新進展和(hé)宏觀發展趨勢。百度首席技(jì)術(shùε★)官、深度學習(xí)技(jì)術(shù)及應用(yòn≠$ g)國(guó)家(jiā)工(gōng)程研究中心主任王海(hǎi)峰在會¥ (huì)上(shàng)解讀(dú)文(wén)心大(d∑★<à)模型最新技(jì)術(shù)，闡述大(dà)模型産‌✔業(yè)模式。據了(le)解，自(zì)文(wén)心一(yī)言3月(yσ₩€uè)發布至今，文(wén)心大(dà)模型4.0訓練算(suàλ'n)法效率提升3.6倍，周均訓練有(yǒu)效率超過98%，↑↕"推理(lǐ)性能(néng)提升50倍。
王海(hǎi)峰認為(wèi)，人(rén)工(gōng)智能(n§✔σ✘éng)具有(yǒu)多(duō)種典型能(néng)力，理(lǐ)解、生≤₩↕(shēng)成、邏輯、記憶是(shì)其中的(de)基礎能(γ≤β™néng)力，這(zhè)四項能(néng)‌₹力越強，越接近(jìn)通(tōng)用(​✘yòng)人(rén)工(gōng)智能(néngΩβγ)，而大(dà)語言模型具備了(le)這(zhè)四項能(né₹  "ng)力，且越來(lái)越強，為(wèi)發展通÷♥"(tōng)用(yòng)人(rén)工(gōng)智能(néng)&↑帶來(lái)了(le)曙光(guāng>∞)。
百度在3月(yuè)16日(rì)發布知(zhī)識增強大∑δ♥(dà)語言模型文(wén)心一(yī)言，目前文(wén)心✘♥∞≠一(yī)言的(de)基礎模型已叠代到(εφ☆•dào)文(wén)心大(dà)模型4.0版本。知(zhī)識×±γ增強大(dà)語言模型從(cóng)數(shù)萬億數(shù)據 ↑和(hé)數(shù)千億知(zhī)識中融合學習(xí)，得(de)↑Ω到(dào)預訓練大(dà)模型，在此基‌☆​礎上(shàng)采用(yòng)有(y→ ǒu)監督精調、人(rén)類反饋強化(huà)學習(xí)、提示₽₽等技(jì)術(shù)，具備知(zhī)識增強、檢索增強和(hé)對(du>λ≥ì)話(huà)增強的(de)技(jì)術(sΩ↓∞®hù)優勢。
例如(rú)在推理(lǐ)方面，通(tōng)過大(dà)規模邏輯數₽≥€π(shù)據構建、邏輯知(zhī)識建模、多(duō)粒度語義知(zhī™≤)識組合以及符号神經網絡，提升邏輯能(nén<≈πβg)力。此外(wài)，在輸入和(hé)輸出階段都(dōu)進σ‌<行(xíng)知(zhī)識點增強。而在插件(jià↓•Ω n)方面，通(tōng)過數(shù)據驅動、提示構建，以及插件(jiàn)♦₹σ 增強進行(xíng)場(chǎng)景适配，協同優化(huà) λ©。文(wén)心一(yī)言已上(shàng)線百度搜索、覽卷文(wén)檔$¶‍₩、E言易圖、說(shuō)圖解畫(huà)、一(yī)δ<鏡流影(yǐng)等原生(shēng)插件(jiàn)‌$βπ，擴展了(le)大(dà)模型能(néng)力邊界，™ε£更适應場(chǎng)景需要(yào)。
此外(wài)，百度進一(yī)步研制(zhì)了(le)智能€™™‌(néng)體(tǐ)機(jī)制(zhì)，包括理(lǐ)♦→♠解、規劃、反思和(hé)進化(huà)，能(néng)夠做♣♦✔(zuò)到(dào)可(kě)靠執行(​Ω©xíng)、自(zì)我進化(huà)，并一(y♠α"ī)定程度上(shàng)将思考過程白(b '"ái)盒化(huà)，讓機(jī)器(q×$₹σì)像人(rén)一(yī)樣思考和(hé)行©π(xíng)動，自(zì)主完成複雜(zá)任務，在δ>環境中持續學習(xí)實現(xiàn)自(zì)主進化(huà)。
王海(hǎi)峰表示，基于更強平台、更優數(shù)據、更好(hǎo)算(σ×₽λsuàn)法，我們訓練出規模更大(dà)、效果更好(hǎo₹€₹)的(de)文(wén)心大(dà)模型4.0。通(tō' ™ng)過飛(fēi)槳與文(wén)心的(de∞☆γ♦)協同優化(huà)，模型周均訓練有(yǒu)效率超過98%，訓"✔'練算(suàn)法效率提升3.6倍，推理(lǐλ )性能(néng)提升50倍。文(wén)心4.0的(de)理(lǐ)✔¶$∑解、生(shēng)成、邏輯、記憶四大(dà)能(néng)力顯著提升‍≤ "，其中理(lǐ)解和(hé)生(shēng)成能(néng)力的(de)提升幅₽β ✔度相(xiàng)近(jìn)，而邏輯和(hé)記憶能(néng)® 力的(de)提升則更大(dà)，邏輯的(de★™)提升幅度達到(dào)理(lǐ)解的(de)近∞β$(jìn)3倍，記憶的(de)提升幅度也(yě)達到(dà§∏≈o)了(le)理(lǐ)解的(de)2倍多(duō)。
具體(tǐ)而言，在萬卡算(suàn)力上(shàng)運行(xíng)飛(∞₩ ​fēi)槳平台，通(tōng)過集群基礎設施和(hé)調☆↔→度系統、飛(fēi)槳框架的(de)軟硬協同優化(huà)，支持✔$了(le)大(dà)模型的(de)穩定高(gāo)效訓'∏λ練。建設了(le)多(duō)維數(shù)據體(tǐ)系，形成了(l•£e)數(shù)據挖掘、分(fēn)析、合成、标注、評∑ 估閉環，充分(fēn)釋放(fàng)數(shù)據價值，并通(tōσ₩★ng)過多(duō)種策略優化(huà)數(s♥™hù)據源及數(shù)據分(fēn)布，大(dà)幅提升模型效果。♠↕∑♦
基于有(yǒu)監督精調、偏好(hǎo)學習(xí)、強化δ₩φ(huà)學習(xí)等技(jì)術(s♠'hù)進行(xíng)多(duō)階段對(duì)齊，保證模型更好(hǎo)地λ↓β•(dì)與人(rén)類的(de)判斷和α (hé)選擇對(duì)齊。可(kě)再生(shēng)訓練技(jì)φ γ術(shù)通(tōng)過增量式的(de)參數(shù)調優，有(yǒu)效€ ♠節省了(le)訓練資源和(hé)時(shí)間© ​(jiān)，加快(kuài)了(le)模型叠代速度。
公開(kāi)數(shù)據顯示，文(wén)心一(yī)言面向全社會ββ (huì)開(kāi)放(fàng)一(yī)個(gè)多(duγ₩ ō)月(yuè)，用(yòng)戶規模達到(dào)4​♠α500萬，開(kāi)發者5.4萬，場(chǎng)景4300個(gè≈π)，應用(yòng)825個(gè)，插件(jiàn)超過5¥<±00個(gè)。飛(fēi)槳和(hé)文(wé✘♦✘¥n)心生(shēng)态愈加繁榮，已凝聚800萬開(kāi)發者₩&₩，服務22萬家(jiā)企事(shì)業(yè)單位，♥♦§基于飛(fēi)槳創建了(le)80萬個(gè)模型。
演講中，王海(hǎi)峰進一(yī)步展示≥←♥"了(le)文(wén)心一(yī)言的(de)理(×₽lǐ)解、生(shēng)成、邏輯、記憶能(néng)力。文(wβ'×én)心一(yī)言精準推薦了(le)沈陽的(de)賞秋勝地(d≠≥ì)，根據指令作(zuò)了(le)一(yī)首以“虎&rΩ>∏dquo;為(wèi)題，不(bù)出現(xiàn)“虎&​∞rdquo;字的(de)詩，生(shēng)動表現(‍≈↓xiàn)了(le)森(sēn)林(lín)之王老(lǎo)虎的≤≠σ(de)威猛形象。而在工(gōng)作(zuò)中←γ×，文(wén)心一(yī)言已經成為(wèi)“超級助理(lǐ) ↔”，實現(xiàn)了(le)IM對(duì)話(huà)智能(λ©≠÷néng)總結、會(huì)議(yì)洞察和(hé)會 λ♣(huì)議(yì)紀要(yào)實時(shí)生(shēng)成、一(λγ♠'yī)鍵智能(néng)差旅等。據悉，目前這γ©(zhè)些(xiē)功能(néng)已應用(yòng)于百®≠ ★度的(de)工(gōng)作(zuò)流程中，₽®∏∏助力員(yuán)工(gōng)提升工(gōng)作(zuò)←≤效率。
面對(duì)大(dà)模型産業(yè)化(huà)的(de)挑戰，王‍ 海(hǎi)峰表示，類似芯片代工(gōng)廠(c≥♦≥σhǎng)模式，可(kě)以采用(yòng)“集約化(huà)£π★÷生(shēng)産，平台化(huà)應用(yòng)&rdqu<↔→o;的(de)模式，即具有(yǒu)算(suàn) ∑φ法、算(suàn)力和(hé)數(shù)據綜合優勢的(de)企業 •÷(yè)将模型生(shēng)産的(de)複σ¥"雜(zá)過程封裝起來(lái)，通(tōng)過低(dī​ ∏≈)門(mén)檻、高(gāo)效率的(de)生(shēng)産平台‌♦，為(wèi)千行(xíng)百業(yè)↕®提供大(dà)模型服務。目前，這(zhè)一(yī)産業(yè)化(huà)路∏Ω↓≤(lù)徑已在文(wén)心大(dà)模型産業(yè)實踐↕×中得(de)到(dào)驗證，百度與各行(γ£xíng)業(yè)頭部企業(yè)、機(jī)構共建₹∞÷Ω了(le)包括能(néng)源、金(jīn)融、航天、制(zhì)造、傳媒、城™σ'®(chéng)市(shì)、社科(kē)以及影(yǐng)視(s♠∑εhì)等行(xíng)業(yè)大(dà)模型，正加速™ ≤∑大(dà)模型産業(yè)化(huà)落地(dì)。