內(nèi)容來源:2023 年 6 月 10 日,筆記俠舉辦的 "Ai 新視野,增長新勢能 " 新商業(yè)千人大會(huì)。
分享嘉賓:方軍,快知實(shí)驗(yàn)室合伙人 &UWEB 教育合伙人。
(資料圖片僅供參考)
責(zé)編 | 金木研
第 7516 篇深度好文:5453 字 | 11 分鐘閱讀
AI
我今天分享的主題是《把握生成式 AI 新范式:趨勢、原理與應(yīng)用》。
今天我會(huì)盡量少談技術(shù)但又不可避免要提及不少技術(shù)名詞,但我想傳遞的一個(gè)關(guān)鍵信息與技術(shù)無關(guān):
ChatGPT 所引領(lǐng)的生成式 AI 浪潮與你有關(guān),你不一定需要自己做大模型或做應(yīng)用研發(fā),但你一定可以找到某個(gè)角度加入這一浪潮。我們每個(gè)人都應(yīng)該嘗試去理解生成式 AI 的原理和可能性,然后找到一條屬于自己的路。
2022 年 11 月最后一天,ChatGPT 聊天機(jī)器人出現(xiàn)時(shí),我這樣的熱愛新技術(shù)產(chǎn)品的人跑去使用了,但覺得沒什么新鮮的。畢竟我們早前用過 GPT-2 寫過文章,也在用 GitHub 基于 GPT 的工具輔助編程。
這大概是一個(gè)小迭代,是對話 UI 的嘗試。很顯然,我很快就發(fā)現(xiàn)自己錯(cuò)了,這小小的一步似乎激發(fā)了 AI 的潛能,并將 AI 的潛能帶到數(shù)以百萬計(jì)的大眾手中。
一、數(shù)字化浪潮來到轉(zhuǎn)折點(diǎn)
生成式 AI 正引領(lǐng)一個(gè)新的數(shù)字化范式,且跟每個(gè)人都有很強(qiáng)的關(guān)系。在我看來,以 GPT 和圖像生成為代表的生成式 AI 代表著第三波數(shù)字化浪潮。
第一波數(shù)字化浪潮是讓計(jì)算隨手可及。這是一波延續(xù)至今的數(shù)字化浪潮,過去十年大數(shù)據(jù)、云計(jì)算、企業(yè)數(shù)字化轉(zhuǎn)型仍在高速迭代。我們也看到 AI 的基礎(chǔ)是更強(qiáng)大的計(jì)算能力,比如 OpenAI 背后是微軟 Azure 云和英偉達(dá)強(qiáng)大的 GPU 芯片。
第二波數(shù)字化浪潮是讓信息隨手可及。互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)是我們所有人都親身參與的變化,比如你隨手打開 APP,就可以看新聞、看視頻、看直播。信息隨手可及不僅與資訊有關(guān),它還改變了做生意或消費(fèi)的方式,比如我們可以在網(wǎng)上買東西、叫網(wǎng)約車、叫外賣。
第三波數(shù)字化浪潮是讓知識隨手可及。ChatGPT、谷歌 Bard、百度文心一言、科大訊飛星火等等聊天機(jī)器人讓我們能夠比過去用搜索引擎更方便地獲得「知識」——有問題我們問 AI,而它能夠針對性地進(jìn)行回答。我們不會(huì)繪畫的人也能夠用咒語來讓 AI 繪畫,一下子擁有了新的能力。經(jīng)訓(xùn)練的大模型掌握了大量的的知識與能力,可以為我們所用。
上個(gè)月,ChatGPT 的月度用戶量達(dá)到了 10 億,也就是半年時(shí)間超過 10 億。和它最初以五天時(shí)間超過 100 萬注冊用戶一樣,這同樣創(chuàng)造了互聯(lián)網(wǎng)產(chǎn)品用戶增長的新記錄。這標(biāo)志生成式 AI 從研究與技術(shù)走向了大眾,成為每個(gè)人都在日常工作與生活中用的產(chǎn)品。
在這個(gè)讓知識隨手可及的數(shù)字化新范式的風(fēng)起云涌之時(shí),我們可以做什么?我們發(fā)現(xiàn),之前的數(shù)字化浪潮都呈現(xiàn)造輪子(建)和用輪子(用)兩個(gè)分支,建網(wǎng)站或 APP 大有可為,但用網(wǎng)站或 APP 同樣大有可為。
在這一波浪潮中,建模型和用模型也均可大有所為。同時(shí),過去的數(shù)字化經(jīng)驗(yàn)也告訴我們,抓住先機(jī)的兩大關(guān)鍵是:
第一,洞悉新技術(shù)新產(chǎn)品的原理,了解真正可用的用途。
第二,在理解之后,勇于嘗試、把握先入優(yōu)勢。
下面,我來談?wù)勎覍ι墒?AI 原理的理解。
二、GPT 的原理:預(yù)訓(xùn)練、微調(diào)與提示語
生成式 AI 的兩大基礎(chǔ)功能:文字生成與圖像生成。同時(shí),兩種基礎(chǔ)功能是相似的,我們可以通過文字「提示語」,來指揮 AI 去生成文、生成圖。比如,你是一個(gè)服裝公司,你可以將風(fēng)格用文字描述輸入給它,生成商品的展示圖。你可以用提示語指揮 AI 幫你撰寫賣商品所需的介紹文案。
由文字生成文字、由文字生成圖像再往前進(jìn),就可以生成各種新東西:把圖像動(dòng)起來、將文字轉(zhuǎn)成聲音,就可以生成視頻。如果生成的文字是網(wǎng)站的代碼,再加上圖片、文字,就可以生成網(wǎng)站應(yīng)用。等等。
以 OpenAI 公司的 AI 模型進(jìn)化為例來看很有意思,我們會(huì)發(fā)現(xiàn),由文字生成文字的所謂大語言模型、由文字生成圖像的圖像模型之間共同的根。
以 GPT-3 為例,用對話預(yù)料訓(xùn)練它,形成了專門用于對話的模型,然后就有了我們用的聊天機(jī)器人。用文本加圖像對它進(jìn)行訓(xùn)練,讓它了解文字與圖片之間的關(guān)聯(lián),然后我們就可用它根據(jù)文字描述生成圖片。
接下來我們來專門看大語言模型這個(gè)部分,它是如何擁有知識與能力的?
首先,研究人員拿海量的文本對名為 Transformer 架構(gòu)的人工神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練。在預(yù)訓(xùn)練之后,它掌握關(guān)于字詞的概率,它有了這樣一種能力:你說了某個(gè)詞,它就能預(yù)測你的下一個(gè)詞是什么。一個(gè)詞一個(gè)詞、一句話一句話地預(yù)測下去,它能流暢的方式說話了。
雖然它的實(shí)質(zhì)只是下一個(gè)詞預(yù)測器,但它的表現(xiàn)的確像掌握了一定的知識、有語言能力,甚至有推理能力。
接著,一個(gè)關(guān)鍵的轉(zhuǎn)變就出現(xiàn)了。既然我們給一句話,它可以按照這句話所開始的模式接著說下去。那么,如果我們給定一句問句,它是不是同樣可以說下去,但現(xiàn)在它在對問句進(jìn)行回答了。
我們輸入模型的提示語(Prompt)就有了新的含義,最初它的意思是演員忘詞時(shí)的提詞,現(xiàn)在它變成了我們提出的問題(請問這個(gè)問題如何解答)或命令(請幫我解答這道題、請幫我編寫這個(gè)程序)。提出的問題或發(fā)出的命令,就是我們給 AI 模型的指令。
之后,研究者開始著力于提升 AI 模型能夠更好地對人類的指令進(jìn)行回應(yīng)。這其中主要的方法是用指令、輸入、輸出所組成的指令集數(shù)據(jù)來對模型進(jìn)行補(bǔ)充訓(xùn)練,也叫指令微調(diào)。
ChatGPT-3.5 就是用所謂的人類反饋強(qiáng)化學(xué)習(xí)(RLHF)進(jìn)行的微調(diào)訓(xùn)練,它能更好地響應(yīng)人類指令,同時(shí)也能夠更好地與人類價(jià)值觀對齊。總而言之,到了這個(gè)階段之后,AI 模型就從下一個(gè)詞預(yù)測器變成了能夠回答問題或指令命令的強(qiáng)大機(jī)器。
換個(gè)每個(gè)人都很容易理解的視角再看:公司招聘了聰明的應(yīng)屆畢業(yè)生,他在學(xué)校里學(xué)到了很多知識。他最初能做的事情是,用自己的知識預(yù)測下一句話該說什么。幾個(gè)月短暫適應(yīng)之后,他能夠?qū)嶋H參與工作了:你向他提問和給他命令,他回答問題和完成任務(wù)。
但這個(gè)優(yōu)秀的人才還是不太了解本行業(yè)、本企業(yè),我們可以對他進(jìn)行培訓(xùn),當(dāng)然也包括干中學(xué),他很快就從大學(xué)畢業(yè)生變成了本企業(yè)的骨干了。
在 2022 年底、2023 年初,不少人認(rèn)為在大語言模型上 OpenAI 遙遙領(lǐng)先,其他人的追趕需要時(shí)間。但 2023 年 3 月之后,人們的看法變了,原因在于,開源模型以短短幾個(gè)月的時(shí)間走完了 OpenAI 幾年的探索過程。
以 Meta 公司開源的 Llama 模型為例,它 2 月底開源,3 月斯坦福大學(xué)的研究人員基于它微調(diào)出 Alpaca 模型,之后一個(gè)大學(xué)與企業(yè)界聯(lián)合團(tuán)隊(duì)進(jìn)一步微調(diào)出對話模型 Vicuna(也就是能像 ChatGPT 一樣對話),很快,采用人類反饋強(qiáng)化學(xué)習(xí)的開源模型如 Stable Vicuna 也出現(xiàn)了。
圍繞著 Llama,現(xiàn)在有幾百個(gè)開源模型在進(jìn)行探索。同時(shí),由中國清華大學(xué)開源的 ChatGLM 模型也有超級活躍的社區(qū),沙特的一家大學(xué)則推出了 Falcon 模型,與 Meta 公司開源模型不同,這個(gè)模型可用于商用。
大語言模型等生成式 AI 模型將知識變得隨手可及,而在它發(fā)展的過程中,它本身的知識實(shí)際上在過去幾個(gè)月也變得隨手可及。
當(dāng)然,這背后還是有很多訣竅的,是眾多研究人員和產(chǎn)業(yè)公司在探索的,比如數(shù)據(jù)管道、性能評估、模型安全性等。眾人目前都在沿著 OpenAI 公司開辟的道路前進(jìn):通過人類反饋強(qiáng)化學(xué)習(xí)的方法,來讓模型更好地回答人的指令,同時(shí)跟人類的價(jià)值觀對齊。
總而言之,GPT 模型看著很復(fù)雜,但總體框架可看成包括分兩步:
第一步,進(jìn)行所謂的預(yù)訓(xùn)練及微調(diào),得到一個(gè)人工神經(jīng)模型。第二步,將模型的參數(shù)部署在服務(wù)器上供公眾使用,這個(gè)過程通常叫提供推理服務(wù),這時(shí),我們用戶向它提問、給它指令,得到回答。
如果能力視角看,我們也看到同樣的兩步:第一步,模型在預(yù)訓(xùn)練后擁有了比如語言理解、文本生成、知識問答、邏輯推理、數(shù)學(xué)能力、代碼能力、多模態(tài)能力等上游能力;第二步,我們將這些能力用于下游應(yīng)用,目前主要是問答機(jī)器人或應(yīng)用助手的形式用于比如語言翻譯、輔助寫作、輔助編程、一對一教育、辦公自動(dòng)化等場景。
三、如何用好 GPT:用其所長,避其所短
要用好 GPT,我們要了解它擅長什么,知道它不擅長什么。另外,我們還要掌握向它提出問題或發(fā)出命令的能力,提問能力越強(qiáng),我們得到的結(jié)果就越好。
很多人都已經(jīng)知道了,GPT 等 AI 大模型的最大缺是它會(huì)是胡說八道,也就是所謂出現(xiàn)幻覺,編造回答。這實(shí)際上是它的 " 特性 " 還沒有完全訓(xùn)練好的問題,這是因?yàn)?,?dāng)我們試圖要求它能一定程度上 " 生成 " 新的內(nèi)容時(shí),我們實(shí)際上鼓勵(lì)它有在不相關(guān)的信息間建立新聯(lián)系的能力。
因此,要用好 GPT 等 AI 大模型,關(guān)鍵就是要掌握提問的能力——能夠高效地提問引導(dǎo)出盡量好的答案,同時(shí)提問者又要對答案的優(yōu)劣好壞有判斷力。想真正用好 GPT,最關(guān)鍵的是掌握向它提問的技巧。
比如,你跟它說,幫我寫篇關(guān)于故宮 600 年的文章,對不起,它寫不好,因?yàn)槟愀緵]有觀點(diǎn)與信息給它。但如果你跟它說,我的公司的情況是這樣,我的產(chǎn)品是這樣,你幫我寫一個(gè)產(chǎn)品介紹,他就能夠幫你寫出來。
1. 與大模型打交道:提示語
向 AI 提問的基本技巧是,你要給它盡可能多的信息,同時(shí)就它的回答進(jìn)行反饋、調(diào)整,多次循環(huán)迭代后,你可能可以得到你想要的回答。在我認(rèn)為,提問分為 3 個(gè)層次:
第一層次正確的提問,懂得提問 3 要素:詳盡的背景信息、具體的問題描述、清晰的解答要求。
第二層次進(jìn)階的提問,給它少量樣本提示、調(diào)整提示語重復(fù)提問、拆解任務(wù)分步提問。
第三層次高階的提問,外掛知識庫、與其他工具聯(lián)合使用、多輪交互完成復(fù)雜任務(wù)。
2. 運(yùn)用場景
具體來說,我們可以讓 GPT 在哪些場景幫助我們呢?
① 頭腦風(fēng)暴會(huì)
比如,很多公司會(huì)花大量時(shí)間來開頭腦風(fēng)暴會(huì),用好 GPT 可以幫助我們節(jié)省大量時(shí)間。
將 GPT 用于頭腦風(fēng)暴會(huì)的一種方式是:不用團(tuán)隊(duì)來開會(huì),你讓 GPT 模仿不同的角色,客戶 A、客戶 B、公司老板、具體事務(wù)的執(zhí)行人,還可以請它扮演一個(gè)專門提反對意見的角色。這時(shí),你一個(gè)人就可以變成一個(gè)團(tuán)隊(duì),一個(gè)人就可以進(jìn)行頭腦風(fēng)暴。
第二種方式是,你可以讓團(tuán)隊(duì)一起來頭腦風(fēng)暴,但讓團(tuán)隊(duì)成員每人都借助 GPT 的輔助,每個(gè)人帶 10 個(gè)想法來會(huì)議現(xiàn)場。過去,很多人帶不來這么多想法;現(xiàn)在,他可以想一兩個(gè)想法,然后問 GPT,最后每個(gè)人都可以輕松帶很多新想法來了。這樣,可以大幅度提高頭腦風(fēng)暴會(huì)的效率,就跟有人說的,用好 GPT,可以幫團(tuán)隊(duì)每次頭腦風(fēng)暴會(huì)節(jié)省 100 個(gè)小時(shí)。
② AI 旅游顧問
我們再來看一個(gè)稍微復(fù)雜的場景,假設(shè)你是一家高端的旅游服務(wù)公司,客戶說,我想要去哪旅游,我有五六個(gè)人,我有什么需求。
這時(shí),我們可以用一個(gè)專門的聊天機(jī)器人跟他進(jìn)行對話,用 GPT 的對話能力把客戶的需求問清楚。當(dāng)然,也開始人機(jī)協(xié)同,由人類顧問用 GPT 作為輔助,跟客戶對話詢問需求。
我們知道,GPT 有分析和推理的能力,有了客戶需求之后,我們可讓 GPT 去進(jìn)行分析、將旅游行程設(shè)計(jì)的大任務(wù)拆成一一系列任務(wù),分別去在內(nèi)部、外部進(jìn)行查詢,比如去外部查詢機(jī)票酒店等信息。
之后,我們再運(yùn)用 GPT 的文字能力,請它將收集到的資料整合成一個(gè)提案。這時(shí),我們就可以把提案拿給客戶看,如果客戶對某個(gè)旅游環(huán)節(jié)設(shè)計(jì)不滿意,我們再把這個(gè)流程走一遍直到客戶滿意。最終,我們再將 GPT 與比如排版工具、預(yù)定工具等聯(lián)合使用,幫客戶預(yù)定酒店、票、各地的車輛與導(dǎo)游等,同時(shí)生成詳盡的最終方案手冊給到客戶。
要注意的是,在這樣的場景里,并不是全部交給大模型就可以了,要靠人類專業(yè)人士來有效地運(yùn)用,我們才能用 GPT 來提升企業(yè)服務(wù)客戶的能力。
③ 進(jìn)階使用
目前還處在大模型廣泛應(yīng)用的初期,但有些進(jìn)階使用的方向已經(jīng)被證明是必需的,眾多的技術(shù)團(tuán)隊(duì)和企業(yè)在嘗試著。
第一種,使用微調(diào)模型。經(jīng)預(yù)訓(xùn)練的大模型一開始是不懂行業(yè)中的專有知識,我們可以通過指令微調(diào)訓(xùn)練來形成適合本行業(yè)、本企業(yè)的模型,用它來服務(wù)客戶。
企業(yè)會(huì)考慮微調(diào)訓(xùn)練出自己的模型,而不是采用公開的模型服務(wù),也是因?yàn)榭紤]到數(shù)據(jù)問題,一方面數(shù)據(jù)是企業(yè)的關(guān)鍵資產(chǎn),你不愿與其他企業(yè)分享,另一方面數(shù)據(jù)也涉及到可能客戶隱私,企業(yè)不能與其他人分享。
第二種,為模型外掛知識庫?,F(xiàn)在不少 AI 面向 C 端的產(chǎn)品做法是,用公開的模型服務(wù)或自己的微調(diào)模型,但又額外附加一個(gè)知識庫,當(dāng)用戶提問或提出要求時(shí),應(yīng)用會(huì)先去知識庫進(jìn)行匹配,然后將匹配出來的信息交由 GPT 處理。
這說起來容易,實(shí)踐中出好的效果還是很難的。通常來說難點(diǎn)主要有兩個(gè)方面:第一,怎么把自己本來雜亂的數(shù)據(jù)變成可以讓 GPT 理解的數(shù)據(jù)。第二,GPT 的性能(即回答的質(zhì)量)究竟能拿到多少分,能否滿足用戶的需求。
這里有很多工程上的具體實(shí)踐,也有很多研究者的巧思。比如,用戶問了問題,我們用問題在知識庫做相關(guān)性匹配時(shí),匹配不出想要的資料怎么辦?去年底有一篇論文提出的做法(HyDE)已經(jīng)變成了行業(yè)的普遍實(shí)踐。
它的做法是,我們可以拿問題先去問 GPT,得到一個(gè)(可能質(zhì)量不佳的)假設(shè)性回答,然后我們拿這個(gè)假設(shè)性回答去知識庫進(jìn)行匹配,就可以匹配出更相關(guān)的資料。
之后,再拿著這些資料去問 GPT,這時(shí)可以得到好得多回答。這個(gè)回答的效果與針對一個(gè)細(xì)分領(lǐng)域、對模型進(jìn)行相對要復(fù)雜一些的微調(diào)得到的結(jié)果是相當(dāng)?shù)?。總的來說,GPT 等大語言模型的研發(fā)和應(yīng)用都欣欣向榮,但目前所有人都在努力地進(jìn)行各種嘗試,既有研究上的嘗試,也有工程上的嘗試,也有應(yīng)用上的嘗試。
四、結(jié)語
今天,我們處在一個(gè)的新范式轉(zhuǎn)移中,海量的知識被壓縮進(jìn)了模型,讓得知識隨手可及。我們每個(gè)人、每個(gè)企業(yè)都有了一個(gè)擁有強(qiáng)大的知識與能力的機(jī)器助手。
現(xiàn)在,每個(gè)人都應(yīng)該去了解生成式 AI,理解它真正的用途,然后從你自己的角度切入進(jìn)去。
這是我今天的分享,謝謝大家。
分享、點(diǎn)贊、在看,3 連 3 連!
關(guān)鍵詞:
質(zhì)檢
推薦