聲明:本文來自于微信公眾號 量子位（ID:QbitAI），作者:明敏 魚羊，授權微新創想轉載發布。

大模型趨勢，給與之相關的一切來了億點“小震撼”。

人工智能/機器學習平臺正是其中之一。

它與大模型趨勢緊密相關，能直接反映出各大云廠商的AI技術研發儲備水平，以及對最新趨勢的洞察和理解能力。

究竟誰家實力更強?正被業內所津津樂道。

而技術風向劇變之下，AI/ML平臺也有了新的評價標準。

國際權威機構Forrester最新發布的“首份中國人工智能/機器學習平臺報告”，恰逢其時給出參考。

Forrester Research是一家獨立的技術和市場調研公司，其發布的主題報告在中國乃至全球范圍內具有很高的市場認可度。

其中The Forrester Wave類型兩年發布一次，是Forrester影響力最高的報告類型。

報告調研了國內市場14家主流云廠商，包括百度智能云、阿里云、華為云、騰訊云等，從產品能力、戰略規劃和市場表現三個方面對其進行評測。

基于25項細分標準的全面評估，Forrester將這14家主流廠商劃分為4個象限:領導者、優秀表現者、競爭者和挑戰者。

具體亮點，一起來看。

新趨勢帶來哪些新標準

先來看報告的核心結論。

在這張象限圖里，以戰略水平為橫軸、產品能力為縱軸，按照領導者、優秀表現者、競爭者和挑戰者四個象限進行劃分，同時也體現了各家的市場表現。

各個象限的分布如下:

領導者（2個）、優秀表現者(5個)、競爭者(4個)、挑戰者(3個)。

位于第一梯隊的分別是百度智能云和阿里云。其中，百度智能云表現亮眼，拿下綜合得分第一。

第二梯隊競爭最為激烈，5家廠商在象限圖中的位置非常緊湊。

如上結論是Forrester進行25項評估后得出的結果。

而除了梳理當下中國市場AI/ML平臺競爭格局外，Forrester更進一步為評估AI/ML平臺提出新的標準參考。

以下三點最為關鍵:

• 全面的工具鏈

• 易用的加速器

• 規模化的模型運營（ModelOps）

為什么?

Forrester認為，在生成式AI和大模型趨勢影響下，AI應用落地被更進一步重視，以推動生產力水平提高、加速業務創新。

在當下的中國市場里，企業正迫切需要能在自身業務環境內解決復雜問題的AI/ML平臺。

而想要滿足市場需求，如上提出的三個方面缺一不可。

其一，要有提供數據管理、模型訓練和AI應用開發能力的工具鏈。

這也是AI/ML平臺的核心。

Forrester提出平臺方不僅要關注模型構建、訓練評估方面的關鍵工具，還應該重視AI應用開發所需的工具。

比如面向專業人員提供的AI框架、Notebook;面向業務人員的低代碼、可視化工具。

除此之外，數據管理工具對模型構建也有重要影響。

其二，提供面向行業的易用加速器。

Forrester指出國內市場大多公司都缺乏既懂AI算法又懂業務知識的工程師，這使得他們很難根據自身業務需求量身定制算法。

目前他們擁抱大模型趨勢的“姿勢”，要么是拿來大模型微調、要么是進行提示工程。

所以，能加速AI模型構建、應用開發的加速工具非常關鍵。如可視化工具、低代碼開發等都能進一步加速創新。

其三，通過大規模的模型運營加速大模型落地。

模型運營（ModelOps）包括模型部署、監控、更新、自動化等方面，可解決模型漂移、性能下降、安全維護和模型更新等問題，提供A/B測試、自動調整、模型再訓練等能力。

在企業擁抱大模型趨勢下，具備大規模模型運營的AI/ML平臺能更好幫助企業開發部署管理AI模型，更進一步推動企業數字化轉型、降本增效。

總結來看，一個AI/ML平臺想要成為新趨勢中的領先者，需要提供簡單易用的工具、滿足行業需求、并能加速企業應用AI。

而更具體需要具備哪些能力，還得從當下領先者身上展開分析。

如何躋身“領導者”象限?

在本次Forrester報告中，百度智能云的表現讓人眼前一亮。

它是唯二進入到“領導者”象限的云廠商，同時還獲得綜合得分第一、9項細分評分第一。

產品能力方面，百度智能云在數據、訓練、預測推理、應用四個細分領域都處于領先水平。

同時在戰略維度和市場規模方面，百度也在其中多個項目獲得第一。

Forrester評價百度智能云為“中國基礎模型的先行者之一”:

百度智能云將ERNIE系列基礎模型嵌入到具有可靠產品路線圖的產品組合中，其圍繞PaddlePaddle的活躍生態系統能有效地吸引人工智能開發人員進行共同創新。

其具體能力來自百度AI平臺，產品包括BML、EasyDL和百度智能云千帆大模型平臺等。

而以百度智能云AI平臺為例，便可更具體分析當下AI/ML平臺想要在市場中占據領先身位，應該具備哪些能力。

按照Forrester報告的劃分維度，具體能力可從五方面出發:數據、訓練、預測推理、應用和架構。這也是AI模型開發應用過程中最核心的五大要素。

首先來看數據方面。

在數據處理部分，百度AI平臺可同時處理結構化、非結構化數據。

支持65種以上的數據可視化，包括餅圖、熱力圖、散點圖、地圖等。支持10+種過濾組件，用戶只需進行簡單配置和拖拽，就能實現實時數據監控、輔助決策。

同時還支持30+種數據格式標注，提升建模環節中人力最為集中的標注環節的效率。

值得一提的是，百度AI平臺提供了主動學習標注能力，系統可以直接從數據集里分析圖片的模式，自動篩選出來最關鍵的圖片，提示有限標注。

比如有10000張圖需要標注，系統會將有特點的圖前置、有重復性的后置，這樣一來只標注前3000張圖，后7000張就能自動標好。

據介紹，這種方式平均可為企業用戶節省70-90%的人力。大幅降低了“人工智能”中人工的比例。

此外，在特征工程方面，百度AI平臺集成了專業級特征庫管理能力，提供特征的增刪改查、特征生產、特征共享、特征版本管理、數據驗證等功能。

支持批式、流式不同形式數據用于預測服務，這樣能保證模型訓練和最終預測時特征一致，直接關乎模型的準確性高低。

以上能力反映到具體數字層面，Forrester報告給百度AI平臺的數據能力打分為5（滿分），大幅領先于其他廠商。

其二是模型訓練環節。

這也是最新趨勢中市場需求最明顯的方面之一，它的受眾不僅有專業開發者，還包括對AI算法并不專長的業務人員，所以這要求提供能力的AI/ML平臺要足夠易用和靈活。

參照百度AI平臺的做法。

一方面是重視“廣度”，支持多種數據的建模和訓練，如圖像、視頻、文本、語音等。

建模方式也很靈活，支持Notebook/WebIDE開發、拖拽式可視化開發、腳本調參、自定義作業等多種建模方式，可以面向不同專業水平人群，完成高精度模型的定制開發。

另一方面是“深度”。在自家飛槳算法團隊的支持下，百度AI平臺對大量的場景算子做了深度優化。包括圖像分類、物體檢測、文本分類、序列標注等方面。

比如基于Paddle算子進行深度優化的PP YOLO，效果已經超越了目標檢測領域標桿YOLO V3。

易用性也是一大重點。在百度AI平臺上可以實現零代碼建模和可視化建模。前者只需用戶上傳數據、選擇類型即可開始建模;后者通過拖拉拽拼接組件、設置各個部分參數即可組配出一個建模流程。

另外，當下AI計算量正以每年至少10倍的速度增長，深度學習訓練中調整任務資源的能力也變得尤為重要。百度AI平臺支持多機多卡分布式訓練，并提供多種類型算力資源。

加上百度本身就有訓練超大模型的豐富經驗，在視覺大模型、生成式AI等方面能都整合了自身能力。如可以進行自動超參數搜索、不平衡數據自動處理、超大規模預訓練等。

由此在百度AI平臺上，也能看到非常多開發工具，用來提升編程效率。

第三個能力維度是推理。

隨著大模型趨勢發展，推理市場還將進一步擴大、甚至呈指數級趨勢增長，這給AI/ML平臺也提出很大挑戰。

從百度AI平臺的做法來看，他們主要關注了開發效率、性能優化、靈活度、廣泛度幾個方面。

其推理模塊Model Serve支持16種AI框架，包括最常見的Paddle、Tensor Flow、PyTorch，以及科學計算方面的Matlab/R，機器學習方面的Xg boost等。

性能優化方面，通過在調度層上直接抽象出來一個異步推理調度器，實現推理Worker異構，將整個服務器性能和GPU利用率提高1倍以上。

同時支持自動化批處理，對不同長度任務進行分類，將大小類似的任務編入同一個batch以充分利用異構資源，這種方式在異步解耦的基礎上， 還能再提升70%效率。

第四方面需要關注的是應用。

報告中的應用主要考察各平臺的應用效率。

即如何才能利用現有資源， 快速地將數據轉化為企業生產力。

百度AI平臺可以提供從數據采集清洗，到模型開發訓練、模型管理，再到云端及離線推理服務管理等AI開發過程的全生命周期管理能力。

值得一提的是，百度AI平臺是國內第一家達到信通院MLOps標準旗艦級的平臺。

目前百度AI平臺的能力已經向金融、能源、交通等行業輸出。服務浦發銀行、北京銀行，以及國家電網、南方電網等。

2022年，百度智能云AI平臺公有云付費用戶數增長49%，私有化客戶數增長32%，開發者增加了122.8萬，增長率40%左右;復購率連年上升，在重點行業中復購率已經達到50%。

最后在架構維度上，百度AI平臺的架構設計在Forrester評分中獲得了滿分。

如果用一句話總結，百度AI平臺達到“領導者”水平，就是做到了:

算法多、工具多、運行快、效果好，還節省服務器和人力，同時保障安全和易用。

而通過對百度AI平臺整體能力的分析就不難發現，其中很多工具、構思都正符合當下大模型趨勢的新需求。

實際上，在技術風向劇變的背景下，不僅對已有架構調整以適應需求變化，提出新的應對之道，也是趨勢使然。

大模型時代，云上AI新競爭格局初定

所以，大模型浪潮沖擊，市場對AI/ML平臺的需求究竟發生了哪些新變化?

在過去，CV、NLP的諸多模型雖有SOTA之名，在產業界卻仍更多被用在非核心業務上。而現在，大模型憑借其顛覆傳統工作流的驚人能力，開始受到越來越多認可，被認為是突破各行業智能化瓶頸的關鍵所在。

但對于云廠商而言，這并不意味著，大模型時代之于小模型時代，是“從零再出發”。

實際上，隨著大模型應用的深入，Agent（智能體）等技術領域越來越受到關注。核心在于，大模型基于自身能力，在實際應用中連接調度成熟的小模型去解決問題，這樣的模式被認為在生產場景中落地更快、更具價值。

因此，在大模型開啟的“新時代”里，對于AI/ML平臺的“領導者”而言，小模型時代的技術積淀和大模型時代的技術創新，兩者是相輔相成，缺一不可的。

百度AI平臺在“新時代”交出的答卷——百度智能云千帆大模型平臺就是一例。

作為一個一站式企業級大模型平臺，百度智能云千帆平臺本質上是百度在芯片層、框架層、模型層和應用層均有深度積累后的產物。

具體體現在五個方面:

第一，在算力層面，百度智能云千帆平臺可以提供高效、高性價比的異構算力服務。

在大模型訓練環節，通過分布式并行訓練策略和微秒級互聯能力，百度千帆平臺上萬卡規模集群訓練的加速比可以達到95%。同時萬卡集群有效訓練時間占比能達到96%，大幅降低算力和時間成本。

第二，在模型層面，百度千帆平臺納管了包括文心大模型、Llama系列、ChatGLM等在內的44個國內外主流大模型，支持用戶快速調用API，直接獲取大模型能力。

對于第三方大模型，百度千帆平臺還針對性地進行了優化，包括中文增強、性能增強、上下文增強等等。

百度透露，百度千帆平臺的大模型API調用量正持續高速攀升。目前，百度千帆平臺已經服務了超過2萬家客戶。

第三，對于希望基于現有大模型進行二次開發的客戶，百度千帆平臺為大模型的再訓練、微調、評估和部署等環節提供全生命周期工具鏈，以及41個高質量數據集，能實現針對具體業務場景的模型快速調優。

第四，在應用層面，針對企業基于大模型開發AI原生應用的需求，百度千帆平臺提供了一系列能力組件和框架。

比如，內置226個Prompt模板，讓開發者在不熟悉提示工程的情況下，也能快速讓大模型的回答質量更上一層樓。

而在10月17日的百度世界大會上，百度智能云還發布了“百度千帆AI原生應用開發工作臺”。具體而言，這個“工作臺”由兩部分組成:應用組件+應用框架。

應用組件服務由AI和基礎云兩大類組件構成。

其中AI組件，即大模型能力的組件化封裝，包含問答、思維鏈（CoT）等大語言模型組件，以及文生圖、語音識別等多模態組件。

基礎云組件，則包含向量數據庫、對象存儲等傳統云服務能力。

應用框架則面向具體的場景任務，可以理解為以大模型能力為基礎，上述應用組件的有效組合應用。

目前，百度千帆平臺提供了檢索增強生成（RAG）和智能體（Agent）等常用的AI原生應用框架。

其中，RAG框架可以把企業專有領域內的知識，和大模型問答能力結合起來，對專業知識做出更為精準的回答。

三一重工就基于這一RAG框架，快速實現了官網智能客服應用的開發和上線。

百度集團執行副總裁、百度智能云事業群總裁沈抖透露，搭建這樣一個“小助手”，即使需要處理幾千篇萬字長文檔，成本也只需幾百塊錢;之后用戶每次資訊，成本僅需幾分錢。

基于Agent框架，大模型則可以對人類給定的任務進行自動拆解，自動規劃并調用各種組件協同完成任務，同時根據任務完成效果自我反饋，改進自身能力。

目前，中天鋼鐵已基于這一Agent框架，打造了智能化的“企業調度中樞”，實現了任務指令的自動感知、分解和執行。

比如，在發現鋼鐵產量不達標時，只需提問一次，大模型就可以自動調用平臺納管的各種資源和API，找出未達標原因，及時調整排產計劃并發送郵件通知調度人員。

最后，百度千帆還上線了“AI原生應用商店”，連接起了AI原生應用的供應方和需求方，提供了一個大模型商業機會的匯集地。

不難看出，一方面，百度智能云千帆大模型平臺的快速推出得益于百度自身大模型技術的發展;另一方面，百度AI平臺多年以來積累的產品能力，以及豐富的工業界實踐經驗，使得百度千帆平臺在應用側率先發揮出了實效。

根據IDC數據，2022年中國AI公有云服務市場逆市呈現出80.6%的正增長，整體市場規模達到79.7億元人民幣。

IDC分析認為，生成式AI、大模型的落地目前正處于起步階段，這些能力在公有云上能看到更快速的更新迭代，短期內將為AI公有云服務帶來明顯利好。

Gartner也指出，生成式AI由大模型驅動，這就對計算基礎設施提出了強大、高可擴展的要求。“云提供了完美的解決方案和平臺，生成式AI競賽的關鍵參與者必然是頭部云廠商。”

結合Forrester這份最新報告，可以看出對于云廠商而言，AI云服務已經成為新的競爭焦點。

而競爭力如何衡量，現在評價的標準也逐漸清晰。

歸結起來，核心還是兩個方面:

其一，站在開發者、企業用戶的角度，是依托于AI云服務平臺的能力，能否真正高性價比地解決復雜業務中面臨的實際問題，以及智能化升級過程中，尤其是大模型浪潮下專業人才短缺的問題。

其二，從技術趨勢的角度來講，是跟大模型更為緊密的結合。

百度AI平臺的布局，可以視作這種最新競爭格局變化之中，頭部AI云廠商給出的一份參考答案。

至于成效如何?更多的落地案例中，可見真章。