科大訊飛全球1024開發者節代碼論壇 |厚植大模型土壤 與京東云擁抱AI未來
如今,人工智能已融入醫療健康、交通運輸等多個社會領域,成為引領未來的戰略性技術,以預訓練大模型引領的人工智能創新浪潮也不斷更迭。為應對訓練成本急劇攀升的大模型訓練,AI 開發計算平臺成為重要的解決方案。
10 月 24 日, 2023 科大訊飛全球 1024 開發者節在合肥召開,這場人工智能盛會將引領AI向新而行,探索人工智能產業未來方向與趨勢。在 24 日下午的代碼論壇主會場現場,京東云副總裁龔義成發表關于代碼大模型的主題演講,介紹京東云新上線的言犀 AI 計算平臺。會議邀請了行業專家、京東云技術專家、科大訊飛業務負責人以及生態合作伙伴出席,共同探討AI 開發計算平臺的發展前景。
龔義成:提高大模型開發效率迫在眉睫
京東云副總裁龔義成在主題演講中表示,對一個大模型開發者來說,如果沒有 AI 開發計算平臺,意味著:在算法和應用的開發過程中,需要自己搭建底層 GPU 算力資源的調度、存儲網絡、模型管控等一系列體系,整體開發過程將非常原始且門檻非常高。
如今,大模型的強大勢能成為許多行業里重構競爭格局的重要影響因素。在過去一段時間的實踐中,京東云發現,產業大模型的挑戰不僅僅在于技術本身,如何將技術與行業應用場景相結合,如何平衡成本、效率、體驗,才是大模型行業落地的真正挑戰。
對于想要提高大模型開發效率,幫助大模型更好得在行業中落地的公司來說,一套新的基礎設施成為了必要。
京東云:言犀 AI 開發計算平臺讓大模型觸手可及
2023 科大訊飛全球 1024 開發者節展會現場,剛于今年 9 月底上線的京東言犀 AI 開發計算平臺實力亮相,吸睛無數。
在大模型快速走入千行百業的當下,京東言犀 AI 開發計算平臺讓產業大模型開發變得門檻更低,利用和改造大模型更加簡單。有過這樣的計算:之前需要 10 余人的科學家團隊工作,現在只需要1- 2 個算法人員,不到一周時間,言犀即可完成從數據準備、模型訓練、到模型部署的全流程。
龔義成介紹,京東言犀 AI 開發計算平臺覆蓋了數據準備、模型開發、模型訓練及模型部署的 AI 開發全流程能力,預置了主流開源大模型以及部分商業化大模型,以及一百多種推理工具和框架,能夠有效降低大模型開發門檻和成本。
整體上,言犀 AI 開發計算平臺能夠滿足不同專業程度的用戶的使用需求。對于大模型算法開發者來說,能夠全流程支持從數據準備、選擇模型、代碼調優、部署發布等工作。對于應用層開發者,能夠利用無代碼的方式,可視化點按選擇模型、上傳數據、配置參數,無需寫代碼即可實現任務引發,開始模型任務的訓練,進而降低門檻。
未來,言犀還將繼續升級平臺能力,在國產硬件覆蓋、模型生態合作、插件開發、應用評測服務、一體機交付、Agent 開發服務等方面繼續完善,體系化地幫助解決產業大模型的開發和實施困難、大模型應用的開發困難、模型訓練推理成本昂貴、模型和應用獲取困難、高性能計算、高性能文件、異構硬件的使用和適配困難等問題。
科大訊飛:巧用大數據發力在“云端”
作為一家AI公司, 科大訊飛擁有超 500 萬的生態合作伙伴以及海量數據,僅自有媒體月活用戶就達到 2 億,其營銷業務也已經實現從零到百億級的日交易量“飛躍”。背后強大的AI和大數據能力,是基于京東云助力構建的科大訊飛AI營銷平臺混合多云體系,實現了多云差異的屏蔽,做到了客戶視角“一朵云”。
2019 上云、用云前,科大訊飛AI營銷平臺使用的是自建單機房,一旦機房或者網絡出現問題,業務可用性就無法保證,同時業務飛速增長也導致基礎設施維護成本逐年攀升。
上京東云之后最 大的改善,就是“很大的彈性”。作為國內頭家提供多云多活多芯的云廠商,京東云有效、穩定、多入口的公有云平臺,為AI營銷構建整套廣告投放公有云平臺,全國不同區域的流量就近訪問,大大提高了業務效率,全鏈路體驗也得到了提升。
據悉,通過京東公有云的快速部署和按需付費優點,可以幫助科大訊飛AI營銷業務降低成本20%以上。如按照618、11. 11 高峰需要彈性資源來計算,降低成本甚至能達到40%以上。
龔義成表示,大模型比拼已經走入落地應用的戰場。京東云正提供從硬件基礎設施、到智算集群,再到MaaS服務,一站式的大模型服務能力,從更強算力、更大存力、更加易用和更低門檻等方向發力,推動大模型在產業里的落地應用。