作者 | 褚杏娟

大模型在過去半年多時(shí)間里狂飆突進(jìn)，但最近的大模型應(yīng)用已經(jīng)開始降溫。要不要用、怎么用大模型成為現(xiàn)在大家需要解決的問題,。我們邀請(qǐng)了具有多年實(shí)踐經(jīng)驗(yàn)的數(shù)禾科技 AI 技術(shù)負(fù)責(zé)人楊春勇，來一起聊聊企業(yè)如何落地大模型。

楊春勇表示,，大語言模型已經(jīng)構(gòu)成了一個(gè)自己技術(shù)棧,，強(qiáng)調(diào)了在特定情景下它的優(yōu)勢(shì)，如降低成本,、提升效率,。但傳統(tǒng)的 NLP 技術(shù)依然有其重要性，大模型是其有益補(bǔ)充,。每家公司可以根據(jù)實(shí)際情況嘗試不同的開源模型,。而企業(yè)在大型模型落地中，需要綜合考慮多個(gè)因素,。除了做好技術(shù)選型,，企業(yè)還需審慎評(píng)估數(shù)據(jù)難題以及在算力和人力上的投入成本。

下面文字根據(jù)直播內(nèi)容整理,，在不改變?cè)饣A(chǔ)上進(jìn)行了刪減,，完整版可以點(diǎn)擊查看直播視頻。

InfoQ：數(shù)禾科技開發(fā)了一個(gè)非常有趣的模型——反詐騙模型,，當(dāng)時(shí)是如何開發(fā)出這個(gè)模型的呢,？

楊春勇：在借還款環(huán)節(jié)中，反詐模型發(fā)揮著重要作用,。在這個(gè)階段,，詐騙分子常常利用借還款環(huán)節(jié)進(jìn)行違法活動(dòng)，我們的目的是保護(hù)客戶的合法權(quán)益,，防止他們成為欺詐的受害者,。因此，基于當(dāng)下領(lǐng)先的深度學(xué)習(xí)和大數(shù)據(jù)技術(shù),，我們建立了設(shè)備風(fēng)險(xiǎn)識(shí)別,、行為風(fēng)險(xiǎn)識(shí)別以及關(guān)聯(lián)風(fēng)險(xiǎn)識(shí)別等多個(gè)識(shí)別體系，開發(fā)出了適用于不同詐騙場(chǎng)景的多種反詐模型,，能夠提前識(shí)別并攔截異常行為,。在這個(gè)反詐體系的幫助下，自 2020 年至 2022 年,，詐騙案件數(shù)量顯著下降,，提前攔截率達(dá)到了 92%。結(jié)合反詐模型和人工審核,，我們成功保護(hù)了超過 3 萬名用戶,，其中有 6000 多人因?yàn)榧皶r(shí)的提醒和攔截而避免了電信詐騙，總計(jì)防止用戶被騙金額超過 1 億元,。

除了反詐模型,，我們還利用大量的機(jī)器深度學(xué)習(xí)技術(shù)關(guān)注借款用戶面臨的問題。例如，在最近北方發(fā)生洪澇災(zāi)害時(shí),，一些受困的用戶無法與搜救人員取得聯(lián)系,，于是他們聯(lián)系到我們，我們針對(duì)緊急情況安排專員與他們對(duì)接,，協(xié)助救援工作,，確保這些用戶得到及時(shí)救援。

InfoQ：金融場(chǎng)景的大模型應(yīng)用有哪些,？

楊春勇：在金融領(lǐng)域,，由于大模型相對(duì)較新，我們正處于探索階段,。數(shù)禾科技目前已經(jīng)在內(nèi)部服務(wù)臺(tái)應(yīng)用中使用大模型進(jìn)行相關(guān)的服務(wù)問答,，并在用戶營銷場(chǎng)景中使用大模型生成素材。除了這些已經(jīng)在使用的場(chǎng)景,，大模型還適用于輔助分析和輔助工作,。我們也正在開發(fā)一個(gè)名為數(shù)禾助手的輔助工具，類似于 ChatGPT,，但我們將其定位為特定領(lǐng)域的助手,，更具體地說就是為金融公司定制的。與此同時(shí),，我們也在探索如何將大模型直接賦能于業(yè)務(wù),，例如在風(fēng)險(xiǎn)控制和貸后管理領(lǐng)域直接應(yīng)用大模型。

實(shí)際上,，大模型有兩個(gè)方面的應(yīng)用,，一是模型本身的研發(fā)，需要加強(qiáng)其理解能力,；二是將大型模型與業(yè)務(wù)場(chǎng)景結(jié)合,，讓其直接在場(chǎng)景中發(fā)揮作用。我們的投入主要集中在后者,，即如何更好地將大型模型應(yīng)用于實(shí)際場(chǎng)景,。我們將調(diào)整大模型的理解能力以適應(yīng)金融行業(yè)的需求，并根據(jù)不同應(yīng)用場(chǎng)景進(jìn)行優(yōu)化,。我們的目標(biāo)是讓大模型與內(nèi)部各項(xiàng)資源連接,，最終實(shí)現(xiàn)為業(yè)務(wù)賦能的目標(biāo)。

InfoQ：就整個(gè)行業(yè)而言,，您注意到適合應(yīng)用大模型的場(chǎng)景有哪些,？

楊春勇：大模型在很多方面都可以發(fā)揮作用，特別是在輔助分析和工作方面,。輔助分析,，簡而言之,，就是利用大模型幫助完成一些業(yè)務(wù)智能（BI）任務(wù),。以前,，數(shù)據(jù)分析通常需要手動(dòng)下載數(shù)據(jù)、編寫代碼,、創(chuàng)建可視化和計(jì)算統(tǒng)計(jì)信息,，而現(xiàn)在，我們可以將數(shù)據(jù)提供給大型模型,，利用其能力生成分析代碼,、執(zhí)行代碼并獲得所需的分析結(jié)果。在這些場(chǎng)景中,，大模型發(fā)揮著重要作用,，尤其是對(duì)于那些以數(shù)據(jù)為基礎(chǔ)的公司來說，這樣的應(yīng)用有很大的前景,。

此外,，大模型還可以在輔助工作方面發(fā)揮作用。它可以幫助規(guī)劃任務(wù),，特別是在你對(duì)某個(gè)領(lǐng)域不熟悉的情況下,。你可以向大型模型提問，它會(huì)告訴你如何分步進(jìn)行任務(wù),，從第一步到第三步,，甚至可以實(shí)現(xiàn)自動(dòng)化，類似于現(xiàn)在流行的 AutoGPT,。這樣,，大模型可以自動(dòng)執(zhí)行并輸出你需要的結(jié)果，實(shí)現(xiàn)對(duì)工作的輔助,。之前提到過,，我們?cè)诤芏囝I(lǐng)域都廣泛使用大型模型，包括內(nèi)部服務(wù)問答和營銷場(chǎng)景,，這些用途都非常典型,。

InfoQ：有觀眾還提到了一個(gè)更為細(xì)分的領(lǐng)域——消費(fèi)信貸。金融領(lǐng)域是否已經(jīng)細(xì)化到了消費(fèi)信貸這種更具體的大模型了嗎,？

楊春勇：盡管有許多公司在探索行業(yè)大模型,，但我們的看法可能與其他公司不同。有些公司可能只是在現(xiàn)有模型中添加了一些金融術(shù)語的知識(shí),，這種知識(shí)添加僅限于對(duì)術(shù)語的解釋,。

然而，在實(shí)際應(yīng)用中,，對(duì)于這個(gè)行業(yè)來說,，模型所需的一些數(shù)據(jù)，比如任務(wù)執(zhí)行步驟等，可能并不充分或未被積累,。這就導(dǎo)致了一個(gè)情況,，即雖然在金融術(shù)語的理解上可能有所優(yōu)勢(shì)，但在實(shí)際的落地應(yīng)用中可能并不適用,。因此,，需要更進(jìn)一步的細(xì)化，深入到各個(gè)領(lǐng)域的細(xì)節(jié)中,，看看哪些部分更適合落地應(yīng)用,。

目前，很多數(shù)據(jù)準(zhǔn)備工作仍然不夠完善,。我認(rèn)為當(dāng)前的做法是,，先讓每家公司嘗試應(yīng)用，然后在使用過程中不斷迭代,，這可能是更好的方式,。僅僅依靠現(xiàn)有的金融百科知識(shí)、術(shù)語解釋來構(gòu)建大型模型,，可能無法很好地支持相關(guān)的實(shí)際工作,。

InfoQ：經(jīng)過微調(diào)的模型是否可以適應(yīng)特定領(lǐng)域的需求？

楊春勇：關(guān)于微調(diào)模型的構(gòu)建過程,，有幾個(gè)方面需要考慮,。首先，大模型的構(gòu)建應(yīng)用方式目前主要可以分為四大類：

第一種是通過與向量數(shù)據(jù)庫結(jié)合,，實(shí)現(xiàn)企業(yè)相關(guān)的問答服務(wù),；

第二種是利用大模型的生成能力，生成文本和圖像素材,；

第三種是利用大模型的規(guī)劃能力,，構(gòu)建智能體應(yīng)用；

第四種是利用大模型的代碼生成和接口調(diào)用能力,，實(shí)現(xiàn)自動(dòng)化工具與使用工具的應(yīng)用,，同時(shí)還可以進(jìn)行相關(guān)分析任務(wù)。

舉個(gè)例子,，以知識(shí)庫問答服務(wù)為例,，構(gòu)建過程涉及以下步驟。首先,，需要收集企業(yè)的典型問答數(shù)據(jù),，并將其進(jìn)行分割和向量化表示，然后將這些向量存入向量數(shù)據(jù)庫以便后續(xù)檢索bvty寶威VIP,。當(dāng)用戶提問時(shí),，我們會(huì)將用戶提問轉(zhuǎn)化為向量表示,，并通過相似度算法從向量數(shù)據(jù)庫中檢索相關(guān)的知識(shí)。最后,，我們根據(jù)檢索到的知識(shí)和提問構(gòu)建一個(gè)提示,，模型會(huì)根據(jù)這個(gè)提示生成回答。

關(guān)于微調(diào)模型,，微調(diào)是一個(gè)模型選擇的過程,，需要考慮多方面的因素。首先,，要選擇一個(gè)適合的模型，而選擇需要考慮場(chǎng)景,、成本和效率等因素,。在選擇模型時(shí)，可以使用自有場(chǎng)景的數(shù)據(jù)集和公開數(shù)據(jù)集進(jìn)行測(cè)試,，以選擇最適合自己場(chǎng)景的模型,。其次，要考慮成本,，可以使用開源大模型或云服務(wù)接口來滿足大部分需求,，只有在一些特定情況下需要自研。效率方面,，不是模型越大越好,，需要根據(jù)實(shí)際需求選擇合適大小的模型，以獲得更大的吞吐率和更高的效率,。

微調(diào)過程涉及三個(gè)階段,。首先是有監(jiān)督微調(diào)階段，使用高質(zhì)量標(biāo)注數(shù)據(jù)對(duì)模型進(jìn)行微調(diào),，使其具備行業(yè)相關(guān)的知識(shí)和行為能力,，這有助于模型在特定領(lǐng)域中的表現(xiàn)。然后是訓(xùn)練獎(jiǎng)勵(lì)模型,，用于評(píng)估回答的合理性,，獎(jiǎng)勵(lì)模型在微調(diào)的第一階段也可能會(huì)用到。最后是基于獎(jiǎng)勵(lì)模型的強(qiáng)化學(xué)習(xí)微調(diào)階段,，通過 PPO 方法使模型的回答與人類回答對(duì)齊,，以減少不合理或有害的回答。

整個(gè)微調(diào)過程需要驗(yàn)證和檢測(cè),，以確保模型在實(shí)際場(chǎng)景中的表現(xiàn)符合預(yù)期,。最后需要強(qiáng)調(diào)的是，微調(diào)模型的過程中還需關(guān)注遺忘問題,。微調(diào)后模型可能在某些方面提升,，但通用能力可能下降,。在微調(diào)中可能需要進(jìn)行一些混合訓(xùn)練，以防止模型在特定領(lǐng)域微調(diào)時(shí)遺忘通用知識(shí),。這是微調(diào)過程中需要考慮的一些關(guān)鍵點(diǎn),。

InfoQ：大家普遍認(rèn)為微調(diào)可以通過使用開源模型并進(jìn)行微調(diào)來降低成本，具體的實(shí)現(xiàn)方式是怎么的,？

楊春勇：微調(diào)的成本降低方法實(shí)際上有多種途徑,。我們目前主要采用了一種叫做 QLoRA 的方式，這種方式通過對(duì)量化后的部分重要結(jié)構(gòu)微調(diào),，實(shí)現(xiàn)用更低成本得到微調(diào)后的模型結(jié)果,。例如，我們使用 QLoRA 在 A100 40G 顯卡上進(jìn)行模型的微調(diào),，這種配置對(duì)于大部分企業(yè)和行業(yè)模型已經(jīng)足夠,，單個(gè)分支在 40G 的顯存下只需約 26G，訓(xùn)練速度也很快,，一個(gè) 5 萬條中文數(shù)據(jù)集只需 12 小時(shí)就可以完成訓(xùn)練,，極大地節(jié)省了成本。

不過,，每家公司的情況不同,，要考慮自身的基礎(chǔ)架構(gòu)。有些公司可能擁有自有基礎(chǔ)設(shè)施,，比如運(yùn)維團(tuán)隊(duì)和機(jī)器設(shè)備,，從而不需要過多的成本投入。然而,，對(duì)于沒有這些資源的公司,，可以考慮云廠商提供的云原生服務(wù)，這樣訓(xùn)練時(shí)能夠彈性使用資源,，從而在成本上更加靈活,。云廠商提供的彈性擴(kuò)容和縮容功能也有助于在推理時(shí)降低成本。

綜上所述,，降低微調(diào)成本主要有兩個(gè)方向：第一個(gè)方向是通過微調(diào)加速的方法,，包括使用更低的 GPU 和顯存；第二個(gè)方向是通過云廠商提供的彈性服務(wù),，根據(jù)具體使用情況靈活調(diào)整資源,。

InfoQ：關(guān)于微調(diào)效果的問題，您有什么建議,？

楊春勇：關(guān)于微調(diào)效果的問題,，是否有效取決于具體情況。并不一定是僅僅由提示造成的問題,。你需要根據(jù)評(píng)測(cè)結(jié)果來判斷,。如果你發(fā)現(xiàn)微調(diào)后在現(xiàn)有任務(wù)場(chǎng)景中表現(xiàn)不佳,，那確實(shí)和提示有可能有關(guān)。這時(shí),，可能需要準(zhǔn)備更多的提示,。例如，ChatGPT 在提示和回答之間通常需要多輪回答,，但很多公司可能沒有足夠的數(shù)據(jù)和條件,，導(dǎo)致微調(diào)效果受限。目前,，微調(diào)最大的難題可能是數(shù)據(jù)問題,，但尚沒有明確的解決辦法。

數(shù)據(jù)對(duì)于大模型的落地確實(shí)存在一定要求,。不同企業(yè)的數(shù)據(jù)情況各異,，有些企業(yè)可能本身沒有足夠的數(shù)據(jù)收集，但在特定場(chǎng)景下也許足夠使用,，例如構(gòu)建問答服務(wù)企業(yè)的知識(shí)庫時(shí)，可以直接使用現(xiàn)有的知識(shí)庫和文檔數(shù)據(jù)進(jìn)行微調(diào),。

大模型的迭代是一個(gè)更復(fù)雜的問題,。如何建立一個(gè)讓大模型不斷優(yōu)化的體系對(duì)于很多企業(yè)來說是具有挑戰(zhàn)性的。在特定領(lǐng)域使用通用模型時(shí),，很多問題可能無法解決,，此時(shí)如何獲取并回應(yīng)不能解決問題的反饋、然后對(duì)模型進(jìn)行迭代,，是一個(gè)關(guān)鍵的問題,。這種迭代可以使大模型更加適應(yīng)特定領(lǐng)域，最終實(shí)現(xiàn)行業(yè)級(jí)別的應(yīng)用,。

在引入新元素時(shí),，需要考慮如何實(shí)現(xiàn)迭代，特別是在面對(duì)解決不了的問題時(shí),，如何推動(dòng)它的進(jìn)化,。我們正在思考這個(gè)問題，從用戶界面的角度出發(fā),，通過應(yīng)用的用戶界面來獲取良好的反饋,。此外，還需要考慮在大模型應(yīng)用失敗時(shí)如何通過人工分發(fā)進(jìn)行兜底,。同時(shí),，還需要建立一個(gè)完善的日志系統(tǒng)以及訓(xùn)練數(shù)據(jù)分析系統(tǒng)等，以確保在這個(gè)基礎(chǔ)上實(shí)現(xiàn)大模型的自動(dòng)迭代和演進(jìn),。

企業(yè)無需過于擔(dān)憂自身的數(shù)據(jù)體系是否存在問題,，而是應(yīng)先開始使用大模型,。然后，建立一個(gè)剛剛所提到的迭代演進(jìn)系統(tǒng),，我認(rèn)為這種方法可能會(huì)比依賴外部的所謂行業(yè)大模型更加可靠,。

InfoQ：目前在行業(yè)中是否已經(jīng)形成了完整的大模型應(yīng)用技術(shù)棧呢？

楊春勇：之前我們已經(jīng)介紹了大語言模型的應(yīng)用構(gòu)建方式,，這也涵蓋了大模型技術(shù)棧的一些方面,。在這個(gè)技術(shù)棧中，我們需要使用一系列的技術(shù)和工具來構(gòu)建應(yīng)用,，例如在構(gòu)建知識(shí)庫問答服務(wù)時(shí),，向量數(shù)據(jù)庫是其中之一，我們需要了解其工作原理,。同時(shí),，提示工程也是關(guān)鍵，它能夠提升應(yīng)用效果,。任務(wù)規(guī)劃編排也是技術(shù)棧的一部分,，可以借助開源技術(shù)如 LangChain 和 LangFlow 來實(shí)現(xiàn)。大模型的緩存和監(jiān)控也不可或缺,。

此外,，微調(diào)大模型也是技術(shù)棧中的一環(huán)。對(duì)比傳統(tǒng)的 NLP 模型,，大模型是一個(gè)補(bǔ)充,，它在許多情況下表現(xiàn)出色。然而,，對(duì)于一些特定領(lǐng)域,，專有的 NLP 模型仍然更優(yōu)。大模型在沒有數(shù)據(jù)標(biāo)注的情況下能夠取得良好結(jié)果,，尤其適用于數(shù)據(jù)標(biāo)注成本高昂的場(chǎng)景,。

總之，大語言模型構(gòu)成了一個(gè)自己技術(shù)棧,，強(qiáng)調(diào)了在特定情景下它的優(yōu)勢(shì),，如降低成本、提升效率,。同時(shí),，傳統(tǒng)的 NLP 技術(shù)依然有其重要性，大模型是其有益補(bǔ)充,。每家公司可以根據(jù)實(shí)際情況嘗試不同的開源模型,。

InfoQ：金融領(lǐng)域強(qiáng)監(jiān)管的特點(diǎn)，會(huì)對(duì)我們?cè)谶x擇模型方面會(huì)帶來哪些限制,？

楊春勇：在金融領(lǐng)域,，強(qiáng)監(jiān)管特點(diǎn)會(huì)對(duì)模型選擇產(chǎn)生限制,，一些外部模型如 ChatGPT 可能無法使用，很多云廠商內(nèi)部提供的模型,，如阿里,、訊飛、星火等,，在國內(nèi)某些場(chǎng)景中可能是可用的,，且不受監(jiān)管問題影響。

在內(nèi)部使用模型時(shí),，企業(yè)需根據(jù)是否用于內(nèi)部應(yīng)用或外部構(gòu)建應(yīng)用進(jìn)行區(qū)分,。內(nèi)部應(yīng)用的監(jiān)管要求較為寬松，但對(duì)于外部應(yīng)用則需要更多考慮,，包括全方位評(píng)估和微調(diào),。

模型的微調(diào)是關(guān)鍵階段之一，尤其是對(duì)于有害性的降低,。盡管一些技術(shù)如 RHF 可用于降低模型有害性,，但目前尚未完全解決，仍存在挑戰(zhàn),。類似近期的 OpenAI 辦的“黑客比賽”也反映出該問題的挑戰(zhàn)性,，需要學(xué)術(shù)界和工業(yè)界共同努力解決。

總體來說,，合規(guī)問題是首要關(guān)注點(diǎn)，然后逐步提升模型的安全性,。雖然不能馬上實(shí)現(xiàn)完美解決,，但不能因此完全放棄使用模型，而應(yīng)在不斷的迭代和提升中尋找平衡,。

InfoQ：當(dāng)前的大模型技術(shù)棧中,，數(shù)據(jù)存儲(chǔ)和訪問的方式是否發(fā)生了重大演變？

楊春勇：當(dāng)前的大模型技術(shù)棧中,，數(shù)據(jù)存儲(chǔ)方式確實(shí)發(fā)生了重大的演變——我們引入了向量數(shù)據(jù)庫作為一個(gè)重要的組件,。與傳統(tǒng)的數(shù)據(jù)庫不同，向量數(shù)據(jù)庫旨在處理非結(jié)構(gòu)化的數(shù)據(jù),，如文檔,、圖像、音頻等,。這個(gè)概念并不是新的,，早在上世紀(jì) 90 年代，美國國立衛(wèi)生研究院和斯坦福大學(xué)就開始使用向量數(shù)據(jù)庫,。

在大模型時(shí)代,，向量數(shù)據(jù)庫扮演了關(guān)鍵的角色,。它設(shè)計(jì)了一些索引方式，使我們能夠根據(jù)對(duì)象的數(shù)值進(jìn)行高效的檢索,，例如我們可以搜索相似的文本內(nèi)容,、可以根據(jù)語義搜索圖像和音頻。向量數(shù)據(jù)庫逐漸成為大模型時(shí)代中不可或缺的存儲(chǔ)組件,。開源的向量數(shù)據(jù)庫如 Facebook 的 Faiss,、Milvus、Annoy 等,，都為企業(yè)提供了可用的基礎(chǔ),。

InfoQ：企業(yè)應(yīng)該如何引入向量數(shù)據(jù)庫？

楊春勇：對(duì)于企業(yè)來說,，需要根據(jù)實(shí)際場(chǎng)景來評(píng)估,。首先，你需要審查企業(yè)內(nèi)部的結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)方式,，確?，F(xiàn)有的方式是否滿足存儲(chǔ)需求和應(yīng)用場(chǎng)景。如果傳統(tǒng)數(shù)據(jù)庫已經(jīng)能夠滿足需求,，可能不需要引入新的向量數(shù)據(jù)庫,。

目前許多開源技術(shù)和服務(wù)提供商都為企業(yè)提供了輕松接入和跟進(jìn)的機(jī)會(huì)。如果確實(shí)存在需求,，企業(yè)可以考慮將內(nèi)部數(shù)據(jù)轉(zhuǎn)型并與大模型對(duì)接,，以實(shí)現(xiàn)更高的效能。

InfoQ：金融行業(yè)使用開源大模型,，可能會(huì)面臨哪些挑戰(zhàn)或者不太理想的情況,？

楊春勇：金融行業(yè)如果使用開源模型會(huì)有一些挑戰(zhàn)。首先,，不能直接使用模型,，需要進(jìn)行評(píng)測(cè)并確保模型符合合規(guī)性要求。這需要涵蓋多個(gè)方面,，包括數(shù)據(jù)隱私和合規(guī)等,。對(duì)外部應(yīng)用而言，企業(yè)需要更嚴(yán)格地考慮合規(guī)性,。確保平臺(tái)設(shè)計(jì)考慮了合規(guī)性問題,，同時(shí)在評(píng)測(cè)、調(diào)整和數(shù)據(jù)處理方面投入更多的資源,。開源模型雖然提供了便利,，但評(píng)估和調(diào)整過程是不可或缺的。

InfoQ：有觀眾問道：“很多人吐槽 LangChain 大多數(shù)工作都是在構(gòu)造 Prompt，重用性低,?！睂?duì)此您怎么看？

楊春勇：LangChain 體現(xiàn)了一種設(shè)計(jì)思維,，即強(qiáng)調(diào)工作流的可重用性,。雖然在構(gòu)建工作流時(shí)可能需要關(guān)注重用性，但 LangChain 本身的設(shè)計(jì)并不完全受其構(gòu)造的 Prompt 和重用 ID 的影響,。關(guān)鍵在于,，其設(shè)計(jì)思想可以幫助我們串聯(lián)各種組件，包括 AI 和其他元素的工作流,，以便更好地復(fù)用組件,，這種底層思想值得我們學(xué)習(xí)。

可能有人會(huì)批評(píng) LangChain 的代碼質(zhì)量或者相比于其參考的論文,，直接實(shí)現(xiàn)可能更快,。但從另一個(gè)角度來看，重要的是讓大家接受其理念,，而不僅僅考慮代碼的質(zhì)量,。此外，它的工程可以使不太熟悉的用戶能夠快速應(yīng)用,，這種貢獻(xiàn)是相當(dāng)大的,。

InfoQ：有觀眾問道：“很多選型都是成本和性能的權(quán)衡，您可以分享下私有 Embedding 和 Embedding API 做選型的話您會(huì)怎么思考嗎,？”

楊春勇：在某些情況下,，并不是說外部的 embedding 或 API 在你的場(chǎng)景下一定會(huì)產(chǎn)生最佳效果。我們經(jīng)過測(cè)試發(fā)現(xiàn),，在某些場(chǎng)景中,，比如 ChatGPT 生成的 embedding，其效果未必比常規(guī)訓(xùn)練模型改進(jìn)的 embedding 效果更好,。這涉及到國內(nèi)和國外的差異，因?yàn)槲覀兪鞘褂弥形?，一個(gè)專注于中文預(yù)訓(xùn)練模型的 embedding 可能比一個(gè)通用的多語言 embedding 更具區(qū)分度,。

另外，文本的長度也是一個(gè)影響因素,。如果文本長度不是很長,，大模型的 API 和私有 embedding 的差距可能不大。但是,，隨著文本長度變得更長更復(fù)雜,，大模型可能會(huì)帶來更好的效果。這時(shí)，你可以選擇使用大模型提供的 API,，從而在更長文本的情況下獲得更好的效果,。

總的來說，在一些復(fù)雜的情況下,，尤其是文本較長的情況下,，使用大模型提供的 API 可能會(huì)更合適。而對(duì)于較短的文本,，可能私有的 embedding 效果更接近,，選擇更靈活。

InfoQ：當(dāng)模型部署到生產(chǎn)環(huán)境后,，開發(fā)者如何進(jìn)行后續(xù)的管理維護(hù)和迭代優(yōu)化工作,？

楊春勇：關(guān)于模型部署和維護(hù)，大模型和傳統(tǒng)模型的維護(hù)沒有太大區(qū)別,。首先,，需要進(jìn)行版本和數(shù)據(jù)管理。同時(shí),，保障線上模型的穩(wěn)定性和版本管理是必要的,，方便快速回滾等操作。此外,，自動(dòng)擴(kuò)縮容也是關(guān)鍵,，以滿足模型的資源需求。

另外,，部署前需要考慮資源優(yōu)化,，以提高推理速度并降低資源占用。針對(duì)這一點(diǎn),，有量化,、剪枝、蒸餾等方法可以幫助實(shí)現(xiàn)目標(biāo),。底層框架也可以提供提升推理速度的方法,。

最后，在上線部署后,，建立用戶反饋系統(tǒng)至關(guān)重要,，以便及時(shí)獲得有關(guān)模型輸出的反饋。這將有助于模型的改進(jìn)和調(diào)優(yōu),。整個(gè)過程需要深思熟慮,，以確保模型的有效運(yùn)營和持續(xù)優(yōu)化。

InfoQ：關(guān)于防止惡意 Prompt 注入攻擊的經(jīng)驗(yàn),，您是否有相關(guān)的分享,？

楊春勇：關(guān)于 Prompt 注入這個(gè)問題,，實(shí)際上是一個(gè)相當(dāng)復(fù)雜的課題。正如之前提到的,，一些“黑客比賽”顯示出對(duì)此類問題的潛在威脅,。盡管我個(gè)人對(duì)此關(guān)注并不深入，但我認(rèn)為解決這個(gè)問題的關(guān)鍵思路可能主要集中在 RLHF 方法上,，需要在這個(gè)領(lǐng)域做出更多努力,。

InfoQ：在實(shí)施大型模型的落地過程中，開發(fā)者可能會(huì)面臨哪些問題,？

楊春勇：在將大型模型應(yīng)用于實(shí)際場(chǎng)景時(shí),，需要綜合考慮多個(gè)因素。除了前面提到的各個(gè)方面,，企業(yè)還需審慎評(píng)估數(shù)據(jù)難題以及在算力和人力上的投入成本,。利用大模型構(gòu)建應(yīng)用涉及到一定難度，尤其需要關(guān)注創(chuàng)業(yè)成本,，因此對(duì)于創(chuàng)業(yè)者而言,，需權(quán)衡場(chǎng)景選擇和資源投入。

事實(shí)上,，許多從事大模型應(yīng)用的企業(yè)如 Jasper,，最初采用 OpenAI 的模型但隨后因?yàn)闆]有自己的核心模型，已經(jīng)開始了大規(guī)模裁員,。這顯示了大模型創(chuàng)業(yè)需要審慎,，根據(jù)不同場(chǎng)景定制。因此,，在將大模型落地應(yīng)用中,，需結(jié)合企業(yè)場(chǎng)景、資源投入,、創(chuàng)業(yè)環(huán)境等因素綜合考慮,。這個(gè)過程可能需要根據(jù)場(chǎng)景進(jìn)行研究，并在有了清晰場(chǎng)景后深入研究,。

InfoQ：之前楊老師提到,，選擇大模型時(shí)的一個(gè)關(guān)鍵問題是成本。如果使用大模型構(gòu)建一個(gè)應(yīng)用,，成本大致在什么數(shù)量級(jí)上,？

楊春勇：在討論應(yīng)用大型語言模型時(shí)，其中的成本主要涉及到算力和開發(fā)方面,。算力成本是一個(gè)主要因素，然后還需要考慮應(yīng)用的開發(fā)以及系統(tǒng)集成等方面的費(fèi)用,。關(guān)于成本的量級(jí),，實(shí)際上與應(yīng)用的具體情況密切相關(guān)。成本取決于多個(gè)因素，包括應(yīng)用的開發(fā)復(fù)雜程度,、并發(fā)量,、對(duì)算力的需求以及系統(tǒng)集成規(guī)模等，因此不容易精確預(yù)測(cè),。

針對(duì)自研大模型的情況,，需要考慮 GPU 的成本以及系統(tǒng)集成的投入。另一方面,，如果選擇使用第三方的接口,，例如云廠商提供的服務(wù)，成本可能與調(diào)用的 token 數(shù)量相關(guān),。而這些 token 的使用量與業(yè)務(wù)規(guī)模和場(chǎng)景有關(guān),，難以簡單確定成本。此外,，系統(tǒng)集成和應(yīng)用開發(fā)屬于研發(fā)成本,，這個(gè)部分也是因具體情況而異，不容易量化,。

InfoQ：人力成本也是一項(xiàng)重要開銷,，人力支出通常在整體成本中占多大的比例？

bvty寶威

楊春勇：人力成本往往在這個(gè)領(lǐng)域是占據(jù)重要位置的,，可能排在開銷的第一位,。不論是自主研發(fā)還是采用第三方應(yīng)用，技術(shù)實(shí)力通常是主要投入,，盡管相對(duì)而言 GPU 等硬件開銷并不占據(jù)太大比例,。bvty寶威VIP

InfoQ：您建議大家進(jìn)入到這個(gè)行業(yè)里去從事相關(guān)工作嗎？

楊春勇：當(dāng)考慮在公司內(nèi)部采用大型模型時(shí),，重要的是不要盲目追隨潮流,，而是應(yīng)該根據(jù)自身的業(yè)務(wù)場(chǎng)景來進(jìn)行判斷。不妨從實(shí)際應(yīng)用的角度出發(fā),，了解是否能夠?qū)⒋笮湍Ｐ蛻?yīng)用到其中,。

實(shí)際上，更有意義的方法可能是從落地應(yīng)用的角度入手,，根據(jù)遇到的問題進(jìn)行研究和優(yōu)化,。這種方式可能更加實(shí)效，而不是僅僅因?yàn)榇笮湍Ｐ湍壳昂苁懿毮烤瓦^早地投入大量的基礎(chǔ)性工作,。當(dāng)然在學(xué)術(shù)界可能會(huì)有不同的情況,，但在工業(yè)界，基于應(yīng)用的思路可能更加適用,。

InfoQ：您認(rèn)為,，未來大模型應(yīng)用領(lǐng)域可能出現(xiàn)怎樣的發(fā)展趨勢(shì),？

楊春勇：在大模型應(yīng)用領(lǐng)域，未來的發(fā)展趨勢(shì)可能會(huì)更加清晰,，特別是針對(duì)行業(yè)大模型?，F(xiàn)階段所謂的行業(yè)大模型或許還不夠明確，但未來行業(yè)大模型可能會(huì)建立更完善的行業(yè)落地機(jī)制,，促使大模型在各個(gè)領(lǐng)域真正落地并發(fā)揮作用,。另一方面，我對(duì)于大模型所帶來的通用人工智能影響更加關(guān)注,。

在這個(gè)領(lǐng)域,，有許多人正在從不同的角度進(jìn)行研究，未來可能會(huì)取得迅速的進(jìn)展,。通用人工智能的實(shí)現(xiàn)將直接影響到普通人們的生活,，它將更廣泛地應(yīng)用，甚至包括具身智能,，如實(shí)體機(jī)器人,，有可能會(huì)進(jìn)入千家萬戶。這些變化都是我們可以預(yù)見到的未來發(fā)展方向,。