聲明:本文來自于微信公眾號 機器之心（ID:almosthuman2014），作者:Esther，授權微新創想轉載發布。

大模型爆火的一年中，生成式 AI 行業最重要的發展瓶頸出現在算力側。9月20日，紅杉美國在文章《生成式 AI 的第二幕》提到，許多生成式人工智能公司在過去一年中很快發現，自身的發展瓶頸不是客戶需求，而是 GPU 緊張。漫長的 GPU 等待時間成為常態，以至于一個簡單的商業模式出現了:支付訂閱費以跳過排隊，而獲得更好的模型。

在大模型的訓練中，參數規模的指數級增加，帶來了訓練成本的急劇攀升。對于緊張的 GPU 資源，盡可能地發揮出硬件的性能，提高訓練效率，變成一件更加重要的事情。

AI 開發計算平臺是一個重要的解決方案。利用 AI 開發計算平臺，一個大模型開發者可以一站式完成覆蓋數據準備、模型開發、模型訓練及模型部署的 AI 開發全流程。除了能夠降低大模型開發的門檻，AI 計算平臺通過提供訓練優化以及推理管理服務，讓計算資源變得更加高效。

9月26日，根據京東云在西安城市大會上對言犀 AI 開發計算平臺的介紹，使用京東云所推出的言犀 AI 開發計算平臺，不到一周時間，即可完成從數據準備、模型訓練、到模型部署的全流程;之前需要10余人的科學家團隊工作，現在只需要1-2個算法人員;通過平臺模型加速工具優化，使用團隊能夠節約90% 的推理成本。

更重要的是，在大模型快速走入千行百業的當下，言犀 AI 開發計算平臺通過對大模型算法開發者和應用開發者同時賦能，對于應用開發者還能夠使用低代碼的形式實現大模型產品開發。產業大模型開發變得門檻更低，利用和改造大模型，將更加簡單了。

大模型時代，需要新的數字基礎設施

對一個大模型開發者來說，如果沒有 AI 開發計算平臺，意味著:在算法和應用的開發過程中，需要自己搭建底層 GPU 算力資源的調度、存儲網絡、模型管控等一系列體系，整體開發過程將非常原始且門檻非常高。

而對于一個正在在內部推行大模型行業應用的公司來說，這意味著成本的迅速上升，以及訓練效率的難以保證。

一年時間過去，金融、營銷、汽車、內容、法律、辦公等行業正在積極與大模型做結合。大模型的強大勢能成為許多行業里重構競爭格局的重要影響因素。更快地找到自己業務與大模型結合的場景，并高效地落地執行，成為競爭的關鍵。

但發展行業模型并不是一件順利的事，如今仍然面臨一系列的挑戰和機遇:

數據上，不同行業的數據呈現不同的集中度和分散狀態，數據準備周期和處理難度各有千秋;海量多模態的數據在訓練時如何高效加載，是一個必須要解決的問題。

其次，大模型訓練時環境的穩定性，故障斷點恢復及接續訓練的處理，對訓練效率產生很大影響;在訓練和部署環節，如何高效的進行算力調度，提升算力資源利用率，也是企業必須考慮的成本問題。

京東云在西安城市大會上的分享稱，在過去一段時間的實踐中，京東云發現，產業大模型的挑戰不僅僅在于技術本身，如何將技術與行業應用場景相結合，如何平衡成本、效率、體驗，才是大模型行業落地的真正挑戰。

回歸到最基礎的開發層面，平衡好成本、效率、體驗，意味著需要重新解決并優化一些問題。

京東云 IaaS 產品研發部負責人龔義成在采訪中進一步解釋稱，大模型時代對開發基礎設施的要求與傳統已經產生了巨大的差別。在效率層面上，過去 AI 開發過程中，即使是相對低成本一些的 GPU 也可以完成很多相關工作，但是在大模型場景下，AI 開發已經嚴重依賴 A100、A800等高成本 GPU，對 GPU 的算力和性能要求變得更高，成本也隨之快速攀升。

“因此，在高昂的成本下，如何把這些硬件性能壓榨到極致，對于大模型開發的成本效率就變得尤為重要。”

在過往 AI 的開發中，數據吞吐的并發度并沒有像大模型這么大，因為它需要許多 GPU 同時工作，因此即使本身數據量不大，但大模型的并發讀取以及可能帶來的延遲問題，對高性能的存儲提出了新的要求，過往的存儲機制通常無法滿足。

龔義成還提到，由于數據存取過程中，如果延遲越低，那么整個模型的效率就會更高。如果利用自研的智能芯片，就可完全采用低延遲的網絡，那么就能幫助整個模型訓練效率的提升。

另外，在規模層面上，千億參數以上的大模型訓練基本都要用到千卡以上進行訓練。龔義成分享稱，這在以往的 AI 開發中是極其少見的，因此這對開發提出了很高且全新的經驗要求，對應的開發基礎設施也完全不一樣。

對于想要提高大模型開發效率，幫助大模型更好得在行業中落地的公司來說，一套新的基礎設施成為了必要。

京東云發布言犀 AI 計算平臺

9月26日，京東在西安城市大會上正式對外發布了言犀 AI 開發計算平臺，產品覆蓋了數據準備、模型開發、模型訓練及模型部署的 AI 開發全流程能力，預置了主流開源大模型以及部分商業化大模型，以及一百多種推理工具和框架，能夠有效降低大模型開發門檻和成本。

在性能提升方面，言犀 AI 開發計算平臺在算力和存儲上做了許多技術突破。在底層，平臺能夠進一步對 GPU 算力進行整體調度和統籌，提高對平臺的底層資源使用的調度效率。

根據京東云方面的分享，算力方面京東云將在平臺中提供第五代的云主機，各種高性能的產品形態，可以提供算力最大可以支持數十萬的 GPU 節點規模。網絡層面則通過自研 RDMA 擁塞算法，全局調控 RDMA 網絡流量路徑，不同 GPU 節點最大支持3.2Tbps RDMA 網絡帶寬，傳輸時延低至2us 左右作為基礎能力支撐。

在存儲方面，針對大模型訓練數據吞吐量大的情況，京東云的云海分布式存儲，能夠支持大模型海量數據高并發集群要求，可以做到千萬級 IOPS，延遲低至百微秒。配合新的存算分離的架構，云海可為客戶節省整體基礎設施成本超30%，現已在高性能計算、AI 訓練等新興場景以及音視頻存儲、數據報表等傳統場景廣泛應用。

除了能夠優化底層資源，言犀 AI 計算平臺能夠幫助大模型開發者提高全鏈路效率提高，高效實現數據處理、模型開發、訓練、部署、評測以及訓練推理優化、模型安全等工作:

• 在數據管理環節，言犀能夠通過智能標注模型、數據增強模型、數據轉換工具集，幫助模型開發者實現數據導入、清洗、標注以及增強所有環節，支持多種文件格式的數據導入和智能解析、提供自動、半自動的數據標注能力。幫助解決數據環節存儲分散、數據格式不一、數據質量參差不齊、人工標注數據效率低等問題。

• 在分布式訓練環節，言犀平臺適配國產硬件，支持 HPC，集成高性能文件系統;提供資源的分配調度策略，保證硬件資源被充分利用;提供統一的交互接口，簡化訓練任務的管理。幫助解決網絡和算法的復雜度快速增長，帶來計算資源的稀缺和浪費;HPC、高性能計算、高性能文件系統、異構硬件的使用和適配困難;模型訓練的多樣性，訓練學習成本提高等問題。

• 無代碼開發能力方面，則進一步簡化產大模型開發過程。用戶能夠直接選擇平臺內置的大模型，上傳數據后，之后繼續選擇訓練方式，指定超參和 AutoML 兩種無代碼訓練方式之一后，得到一個微調模型或者應用。

• 在應用層，言犀平臺內置了問答開發、文檔分析開發、插件開發等常用應用場景的無代碼開發工具。選擇模型、知識庫、Prompt 模版以及開發平臺后，一鍵部署。并且能夠支持監控、追蹤測試以及測試評估。

整體上，言犀 AI 開發計算平臺能夠滿足不同專業程度的用戶的使用需求。對于大模型算法開發者來說，能夠全流程支持從數據準備、選擇模型、代碼調優、部署發布等工作。對于應用層開發者，能夠利用無代碼的方式，可視化點按選擇模型、上傳數據、配置參數，無需寫代碼即可實現任務引發，開始模型任務的訓練，進而降低門檻。

在引入模型方面，目前平臺已經內置了言犀、星火、LLama2等商業模型以及開源模型。龔義成表示，言犀對模型的選擇思路更傾向于重視質量多過數量:選擇各個技術領域相對優秀的商業模型，以及一些圍繞基礎模型打造的行業模型，避免用戶陷入選擇焦慮。

并且，之后言犀將重點引入京東基于基礎模型打造的行業模型應用，如零售、健康場景以及在實際上已經實現規模化落地的行業應用模型放到平臺上，幫助平臺的開發者來推進相關業務的落地。

目前言犀共有三種方式交付方式:一是 MaaS 服務形式，開發者開發者可以通過 API 采用按量付費、成本經濟的方式探索和使用大模型;二是，公有云 SaaS 版，用戶可以通過平臺提供的一站式模型開發、訓練和部署的能力，基于公有云資源彈性供應的優勢，以最小化的成本啟動產業大模型的開發和部署。三是私有化交付版本，滿足對數據安全有更多特殊要求的客戶，數據完全本地化。

未來，言犀還將繼續升級平臺能力，在國產硬件覆蓋、模型生態合作、插件開發、應用評測服務、一體機交付、Agent 開發服務等方面繼續完善，體系化地幫助解決產業大模型的開發和實施困難、大模型應用的開發困難、模型訓練推理成本昂貴、模型和應用獲取困難、高性能計算、高性能文件、異構硬件的使用和適配困難等問題。

推動大模型在千行百業落地

在西安城市大會上，京東集團技術委員會主席、京東云事業部總裁曹鵬在演講中提到，在大模型逐漸向產業落地的過程中，希望做到提升更好的產業效率、產生更大的產業價值、能夠在更多的場景里復制，實質上是對模型的訓練過程以及基礎設施提出了更高的要求:模型需要更加易用、要做到更低門檻更低成本、并且可以靈活調用算力。

AI 開發計算平臺是解決這些問題的重要方案之一，一個高性能且易用的 AI 開發計算平臺能夠讓更多行業方低成本地參與到大模型行業建設當中來，激發更多產業大模型的出現，加速大模型在千行百業的落地。

在實際的市場中，龔義成稱，行業客戶在選擇 AI 計算平臺時，主要會考慮的亮點分別是:行業理解以及平臺效率。相比于其他 AI 計算平臺，言犀 AI 開發計算平臺除了能夠提高極致的性能，還能夠結合京東長期以來在零售、金融、物流、健康等優勢場景的經驗，擁有更專業的產業大模型選擇。

在言犀 AI 計算平臺的模型生態中，除了內置優秀商業模型和開源模型，為了進一步降低門檻，言犀 AI 計算平臺還會為這些大模型補充進一步的增強能力，比如中文能力、數學能力等等，讓用戶能夠選擇更易用專業的大模型。

更重要的是，由于言犀 AI 開發計算平臺同時面向大模型應用開發者，支持無代碼的方式構建專有模型，除了上述基礎模型外，在言犀平臺還將為用戶提供更多應用場景的專有模型，供用戶快速在自己的行業落地。

目前，言犀平臺所提供的應用場景專有模型主要包括問答開發以及文檔分析開發等成熟高頻場景。這些應用京東在自身的優勢領域已被多次驗證，結合大模型能夠快速提升效率。

以對話工具為例，2021年起，名創優品和京東云達成合作，將京東云旗下言犀在客戶服務方面的系列技術產品應用在名創優品，涵蓋名創優品門店客服團隊、用戶運營團隊、IT 服務運維團隊。2022年4月，言犀系列產品陸續上線，包含了在線客服機器人、語音應答機器人、語音外呼機器人、智能質檢、智能知識庫等一系列智能化產品，帶來了顯著的成效。

反饋數據顯示，目前言犀系列產品日均咨詢服務量近10000次，其中在線客服機器人應答準確率超過97%，獨立接待率超過70%，降低40% 的服務成本;語音應答機器人應答準確率超過93%，獨立處理了46。1% 的客戶問題;智能質檢累計完成數十萬次，發現并處理近3000服務風險問題，用戶滿意度提升20%;智能知識庫內容涵蓋了「名創優品」品牌下約8800個核心 SKU，以及「TOP TOY」品牌下約4600個 SKU。

在大模型的落地實踐進程已經到了從單點向外普及的階段。在產業中，還有許多類似名創優品的產業公司，對話機器人場景能夠為他們帶來更大的價值。而言犀 AI 開發計算平臺的推出，從底層算力、數據管理、無代碼應用等全鏈路對產業公司的賦能，將為這些公司提供一個更更低門檻更低成本、更短訓練周期的大模型產業化方案。可以預見，之后類似名創優品的案例將會出現得更加頻繁。

此外，京東云方面強調，相較于其他其他競品，京東言犀 AI 計算平臺采用的低代碼方面進一步拉低了應用開發者的開發門檻，且高性能存儲方面完全自主、整體技術體系完整適配度高且性能效率高。

隨著新型數字基礎設施的普及，大模型在千行百業的落地將變得更加快速，成本效率與創新的不可能三角將擁有更開闊的想象空間。