4月24日,浙江大學召開OpenKS(知目)知識計算引擎開源項目發(fā)布會,宣布浙大與合作單位研發(fā)的OpenKS知識計算引擎取得重大進展。中國工程院院士、國家新一代人工智能戰(zhàn)略咨詢委員會組長、浙江大學計算機學院教授潘云鶴說,本次發(fā)布的OpenKS,作為知識計算引擎項目中的基礎(chǔ)軟件架構(gòu),定義并豐富了知識計算的內(nèi)涵,是我國在大數(shù)據(jù)人工智能方向的又一次有益嘗試。

“可泛化的領(lǐng)域知識學習與計算引擎”是以莊越挺教授作為首席科學家的科技創(chuàng)新2030“新一代人工智能”首批重大項目,該項目由浙江大學牽頭,聯(lián)合北京大學、北京航空航天大學、哈爾濱工業(yè)大學、西北工業(yè)大學、之江實驗室等頂尖學術(shù)機構(gòu)、百度等行業(yè)領(lǐng)軍企業(yè)聯(lián)合建設(shè),旨在建立一整套可服務(wù)于知識密集型行業(yè)共性需求的知識計算工具、算法與系統(tǒng),幫助這些行業(yè)快速地構(gòu)建行業(yè)知識圖譜,提供行業(yè)相關(guān)的智能規(guī)劃與決策支持。經(jīng)過各課題組的深入研究和課題間的緊密協(xié)作,共同研發(fā)了可用于支撐各行業(yè)知識服務(wù)系統(tǒng)構(gòu)建的OpenKS知識計算引擎算法庫。

OpenKS基于百度飛槳,可實現(xiàn)模型的大規(guī)模分布式訓練與圖計算,解決了從數(shù)據(jù)到知識,從知識到?jīng)Q策中的三大問題。OpenKS集成大量算法和解決方案,提供了一系列知識學習與計算的多層級接口標準,可供各機構(gòu)研發(fā)人員以統(tǒng)一的形式進行算法模型研究成果的封裝、集成與服務(wù),并通過開源機制支持企業(yè)和社區(qū)開發(fā)者根據(jù)不同的場景需求對接口服務(wù)進行調(diào)用和進一步開發(fā)。各行各業(yè)可以選擇引擎中的算法,快速地搭建行業(yè)系統(tǒng)應(yīng)用,以應(yīng)對多變的決策需求。當行業(yè)與需求發(fā)生變化,系統(tǒng)能夠及時地提供算力、算法支撐,以縮短行業(yè)智能化改造的時間。

以工程科技教育行業(yè)為例,目前我國存在很大的工程人才缺口,然而工程科技門類眾多、知識體系繁復(fù)、知識點之間關(guān)聯(lián)復(fù)雜、教材層次各異導(dǎo)致自學門檻較高。不僅如此,學生背景各異、學習目的各異,也導(dǎo)致統(tǒng)一培訓效率較低。OpenKS知識計算引擎包含的知識抽取算法API、知識表征學習API、分布式知識計算API、知識圖譜應(yīng)用API等可為工程科教行業(yè)構(gòu)建知識圖譜,并基于圖譜為不同學生設(shè)計個性化教育路線,滿足差異化學習的需要。

深度學習框架助力OpenKS智能化加速

知識圖譜技術(shù)的研發(fā)應(yīng)用需要海量數(shù)據(jù)、龐大算力以及復(fù)雜的模型算法,而構(gòu)建知識圖譜底層平臺所需的技術(shù)要求高、周期長、投入大、收益慢。基于深度學習框架開展人工智能科學實驗或產(chǎn)品研發(fā),則可以避免在知識圖譜系統(tǒng)搭建中重復(fù)造輪子。

百度飛槳自2016年開源,是我國首個自主研發(fā)、功能完備、開源開放的產(chǎn)業(yè)級深度學習平臺?；诎俣蕊w槳平臺,OpenKS可實現(xiàn)模型的大規(guī)模分布式訓練與圖計算,解決了從數(shù)據(jù)到知識,從知識到?jīng)Q策中的三大問題。

飛槳助力OpenKS實現(xiàn)模型大規(guī)模分布式訓練

面對超大規(guī)模知識圖譜訓練,隨著圖譜規(guī)模增大,數(shù)據(jù)量增多,對訓練框架要求越來越高。針對分布式知識計算,OpenKS系統(tǒng)采用飛槳超大規(guī)模深度學習模型訓練技術(shù),支持百億圖譜分布式存儲和檢索,還支持百節(jié)點數(shù)據(jù)并行訓練萬億稀疏參數(shù),進而學習大規(guī)模的知識圖譜。

針對知識圖譜應(yīng)用,如知識問答,模型比較復(fù)雜,OpenKS采用飛槳集合通信多機多卡訓練;知識推薦任務(wù),訓練數(shù)據(jù)比較大,稀疏特征比較多,OpenKS除了采用飛槳萬億稀疏參數(shù)服務(wù)器外,隨著模型越來越復(fù)雜,還引入純GPU參數(shù)服務(wù)器來提升稀疏模型的計算性能,把100臺CPU機器才能訓練的模型只用1臺多卡GPU設(shè)備即可完成訓練,不僅節(jié)約了成本,還保障了集群的穩(wěn)定性和擴展性。同時,在知識圖譜應(yīng)用場景里,如知識圖譜問答和推薦,飛槳不僅提供了相應(yīng)的算法,還針對推薦場景提供了工業(yè)級數(shù)據(jù)處理和萬億稀疏模型訓練能力。

考慮到在純GPU的參數(shù)服務(wù)器下,當模型網(wǎng)絡(luò)層比較復(fù)雜時,GPU利用率很難被打滿,飛槳框架2.0版又創(chuàng)新性地推出了業(yè)內(nèi)首個通用異構(gòu)參數(shù)服務(wù)器功能,可以同時使用不同的硬件進行混合異構(gòu)訓練,兼容了多款CPU、AI專用芯片(如百度昆侖XPU)、GPU(如V100、P40、K40),讓用戶可以在硬件異構(gòu)集群中部署分布式訓練任務(wù),實現(xiàn)對不同算力芯片高效利用,為用戶提供更高吞吐、更低資源消耗的訓練能力。

對于大規(guī)模稠密參數(shù)模型,飛槳分布式訓練技術(shù)同樣與業(yè)務(wù)緊密結(jié)合,通過模型并行策略、分組參數(shù)切片組合、流水線并行策略和數(shù)據(jù)并行策略的多層疊加,發(fā)揮合力作用,誕生了業(yè)內(nèi)第一個4D混合并行策略。通過測試驗證,如此創(chuàng)新性提出的4D混合并行策略的訓練速度的確高于3D混合并行策略,進一步優(yōu)化訓練性能和顯存占比,再次走到了技術(shù)的前沿。

飛槳PGL助力OpenKS實現(xiàn)圖計算

針對圖學習算法通用性與性能兼顧的挑戰(zhàn),OpenKS以飛槳圖學習PGL作為知識表示學習以及知識存儲的重要模塊之一。在知識圖譜表征學習中,需要在線高性能圖引擎查詢,因此會面對大規(guī)模異構(gòu)關(guān)系存儲以及在線高性能查詢問題,OpenKS采用PGL的大規(guī)模分布式異構(gòu)圖引擎來進行知識表征學習的在線服務(wù),來支撐日益增長的知識關(guān)系。

此外,高效的圖神經(jīng)網(wǎng)絡(luò)算法,也是知識圖譜先進性的保證,PGL是業(yè)界首個提出通用消息并行傳遞機制的圖神經(jīng)網(wǎng)絡(luò)框架,原生支持異構(gòu)圖消息傳遞聚合等多種功能,并內(nèi)置多種高效圖神經(jīng)網(wǎng)絡(luò)模型。因此,OpenKS項目中集成了PGL的GCN、TransE、TransR等多種圖表征學習算法,并且同時采用了PGL的高效消息傳遞接口作為圖神經(jīng)網(wǎng)絡(luò)的編程接口之一。

百度飛槳深度學習平臺于2019年開源的分布式圖學習框架PGL,是業(yè)界首個提出通用消息并行傳遞機制,支持百億規(guī)模巨圖的工業(yè)級圖學習框架。原生支持圖學習中較為獨特的分布式圖存儲(Distributed Graph Storage)和分布式采樣(Distributed Sampling),可以方便地通過上層Python接口,將圖的特征(如Side Feature等)存儲在不同的Server上,也支持通用的分布式采樣接口,將不同子圖的采樣分布式處理,并基于PaddlePaddle Fleet API來完成分布式訓練(Distributed Training),實現(xiàn)在大規(guī)模圖學習分布式的上加速計算。

PGL基于飛槳動態(tài)圖全新升級,極大提升了易用性,原生支持異構(gòu)圖,覆蓋30+圖學習模型,包括圖語義理解模型ERNIESage等,歷經(jīng)大量真實工業(yè)應(yīng)用驗證,可全流程服務(wù)產(chǎn)業(yè)應(yīng)用項目,為開發(fā)者提供充分的實踐案例投射進行技術(shù)選型。另外,基于飛槳深度學習框架的分布式Fleet API,建立分布式圖存儲及分布式學習算法,可實現(xiàn)靈活、高效地搭建前沿的大規(guī)模圖學習算法。

展望

未來,在充滿了機遇與挑戰(zhàn)的大時代背景中,飛槳將持續(xù)在技術(shù)上不斷創(chuàng)新進步,探索分布式訓練技術(shù)等的邊界,擴展AI賦能的領(lǐng)域,與開發(fā)者共同成長進步,為產(chǎn)學研智能化進程貢獻著自己的力量。(辛文)

關(guān)鍵詞： 大數(shù)據(jù) 人工智能