最新消息，字節(jié)跳動在大模型上已有所布局，分別在語言和圖像兩種模態(tài)上發(fā)力。

// 字節(jié)緊急布局 //

據(jù)報道，語言大模型團隊由字節(jié)搜索部門牽頭，團隊規(guī)模在十?dāng)?shù)人左右。圖片大模型團隊則由產(chǎn)品研發(fā)與工程架構(gòu)部下屬的智能創(chuàng)作團隊牽頭。字節(jié)跳動語言大模型團隊在今年組建，探索方向主要為與搜索、廣告等下游業(yè)務(wù)的結(jié)合，“搜索業(yè)務(wù)部門、AI Lab和AML（應(yīng)用機器學(xué)習(xí)）團隊都調(diào)了一部分人支援語言大模型，團隊目前的預(yù)期是在今年年中推出大模型”。據(jù)悉，語言大模型團隊負(fù)責(zé)人與圖像大模型團隊負(fù)責(zé)人的間接和直接匯報對象，均為Tik Tok產(chǎn)品技術(shù)負(fù)責(zé)人朱文佳。

(相關(guān)資料圖)

對AI領(lǐng)域的布局，字節(jié)的反應(yīng)速度一直較快。據(jù)了解，目前AIGC（AI生成內(nèi)容）技術(shù)也已結(jié)合到頭條的內(nèi)容創(chuàng)作以及抖音的圖文內(nèi)容生成中。比如2021年，抖音上線的可以把人臉卡通畫的“漫畫臉”就小范圍出圈。

ChatGPT模式證明，大模型的訓(xùn)練是入場費高昂的長跑。在算力保障方面，字節(jié)旗下的企業(yè)技術(shù)服務(wù)平臺火山引擎，在2021年正式進(jìn)軍基礎(chǔ)云市場（IaaS層），為大模型所需的算力奠定了基礎(chǔ)。

// 大廠跑步進(jìn)場 //

所謂“大模型”，通常是在無標(biāo)注的大數(shù)據(jù)集上，采用自監(jiān)督學(xué)習(xí)的方法進(jìn)行訓(xùn)練。之后在其他場景的應(yīng)用中，開發(fā)者只需要對模型進(jìn)行微調(diào)，或采用少量數(shù)據(jù)進(jìn)行二次訓(xùn)練，就可以滿足新應(yīng)用場景的需要。

在大模型的框架下，ChatGPT所使用的GPT模型，每一代參數(shù)量均高速擴張，預(yù)訓(xùn)練的數(shù)據(jù)量需求和成本亦快速提升。據(jù)資料，僅GPT-3訓(xùn)練一次的成本約為140萬美元，對于一些更大的LLM模型，訓(xùn)練成本介于200萬美元至1200萬美元之間。因此說進(jìn)入大模型首先得肯燒錢。另外從參數(shù)數(shù)量上，國內(nèi)并不缺數(shù)據(jù)，百度、字節(jié)跳動這樣的公司都有海量的數(shù)據(jù)積累，不過后續(xù)包括數(shù)據(jù)清洗、標(biāo)注以及模型的結(jié)構(gòu)設(shè)計，訓(xùn)練、推理等都需要時間積累。此外想做大模型，不僅是資金，還有人力和基礎(chǔ)模型，對于互聯(lián)網(wǎng)大廠而言，難度也是不小。

ChatGPT帶動了國內(nèi)互聯(lián)網(wǎng)大廠大模型熱潮。據(jù)悉，目前已經(jīng)有多家互聯(lián)網(wǎng)大廠宣布正開展ChatGPT相關(guān)研發(fā)。此前，百度高調(diào)宣布，已站上ChatGPT競賽的跑道。按照百度的規(guī)劃，其將于今年3月推出類ChatGPT產(chǎn)品文心一言，外界猜測，文心一言要么與百度搜索引擎入口打通，要么推出類似AI畫作平臺文心一格的獨立入口。

阿里方面也確認(rèn)，阿里達(dá)摩院正在研發(fā)類 ChatGPT 的對話機器人，目前處于內(nèi)測階段。三六零在互動平臺表示，360 公司也計劃盡快推出類 ChatGPT 技術(shù)的 demo 版產(chǎn)品。

騰訊方面還沒有確切的消息傳來，不過，2月3日，騰訊申請的“人機對話方法、裝置、設(shè)備及計算機可讀存儲介質(zhì)”專利獲授權(quán)，該項專利與ChatGPT的原理十分相似。

// 將獲得政策大力支持 //

2月24日，國新辦舉行“權(quán)威部門話開局”系列主題新聞發(fā)布會。科技部高新技術(shù)司司長陳家昌在談到近期引起廣泛關(guān)注的ChatGPT時表示，科技部將把人工智能作為戰(zhàn)略性新興產(chǎn)業(yè)，作為新增長引擎，繼續(xù)給予大力支持。將推動人工智能與經(jīng)濟社會深度融合，在重大應(yīng)用場景中錘煉技術(shù)，升級迭代，培育市場。

CSR-期貨專題統(tǒng)計

關(guān)鍵詞： 機器學(xué)習(xí) 人工智能技術(shù) chatgpt