開發者新玩具，還不愁寫不好prompt

編者按：本文來自微信公眾號 量子位（ID：QbitAI），微新創想經授權發布。

2個華人牽頭拉起一支7人隊伍，創業大模型？？？

沒錯，Cortex就是這樣一個項目，被曝還拿下了還拿下了Zoom系，Getty家族和快手系的天使投資。

這是一個集成諸多大模型API后，讓大模型更懂你的中間件。

主打特色有二：

一是外接私有數據，包括Notion、Slack、Google Drive等，做特定領域的私有版GPT；

另一件事是在每個企業內部，打造千人千面的Copilot。

這個工具在國外已經小小火了一把，目前擁有10多家付費用戶和上千個人用戶。

還有家網紅SaaS公司用上了Cortex，讓網紅們以特定的人設，和粉絲們激情熱聊。

所謂大模型中間件，是在底層大模型和上層應用之間的基礎軟件，主要解決大模型落地過程中，集成數據、應用、知識庫，以及大模型融合級功能協同這些問題。

比較適合那種正面臨兩難境地，又想在大模型領域試水的旁友們：

自己造一個通用大模型，又貴又麻煩；那單純訓更垂直的行業大模型，或者調用別人家的大模型的API呢？好像又有些不夠用。

這個時候，中間件帶著解決方案閃亮登場了。

隨著大模型領域的愈發深入，大模型中間件的創業項目也先后冒了出來。能入硅谷頂級創始人青眼，Cortex憑借的是什么？

Cortex能夠做什么？

Cortex，可以將GPT-4等多個不同的大模型組合使用，實現語言模型之間的協同應用。

也就是說，它是個大模型應用層的編排器。

主要目的是提高技術人員開發的“可拓展性、可訪問性和效率”。

之所以叫Cortex，是取這個英文單詞“大腦皮層”的意思。

大腦是神經中樞，可以看做大模型，而皮層就是大腦上面的結構。

它能做的事情，就是按需調用不同的大模型，并用固定的格式來限制輸出的自由度，從而幫助用戶做些單一大模型解決不了，或自己調用多個大模型API會比較麻煩的事情。

具體而言，它的功能主要是以下兩方面：

第一，作為集成許多API的工具，外接私有數據庫，“指哪兒打哪兒”地變成一個專一領域大模型。

從這個角度來看，Cortex走的是既“廣”又“深”的路子。

廣，是說Cortex不與個別行業服務競爭，而是可以每個領域都用它練出大模型應用。

深，是說在大模型通用知識基礎上，可以接入私有數據庫，加深對領域或用戶企業本身的理解。

為了讓這個專一領域大模型更實用，Cortex會采取調用向量數據、實時聯網搜索、調用指定API等方式。

Cortex的第二個功能，是能幫助每個人打造一個私人copilot。

基礎層面的工作，如撰寫草稿、制作PPT、編寫電郵、總結會議、查詢網購退貨方式，Cortex都能搞定。

進一步的，在同一公司內部，喂給它一份原始的信息，Cortex也能獲取每個人崗位所需要的關鍵點，并以特定格式輸出，即根據業務部門的不同而“千人千面”。

據了解，Cortex的費用根據實際使用量計算。

就計費方式和服務模式而言，Cortex似乎可以類比為鏈接數據庫和大模型的“云廠商”，聚集多種多樣的API資源后，保證所有的功能都能一直運作，提供相關服務。

也因為如此，Cortex還蠻受開發人員的歡迎——Cortex主要面向的就是有一定技術基礎的開發者和IT從業人員，他們可以很快上手，大大減少從調試開始的工作量，節省時間去做更有創造性的事情。

對不擅長寫prompt的程序員格外友好

為什么會選擇做這樣一個功能的大模型中間件？為了弄清楚答案，量子位聯系了Cortex背后的團隊。

他們給出的答案是，因為相信未來一定是一個多模態、多模型的世界。如果只有一個模型，哪怕強大如GPT-4，也無法搞定所有問題。

他們認為，必須“把多個模型聯系在一起，才能組織一個真正的AI應用”。

而這樣的功能實現，在團隊核心成員初期想用Langchain去做的時候，“越做越發現非常困難”，AI領域目前缺少一個幫助模型層和應用層磨合的中間件來完成它的建設。

Cortex背后團隊的創始成員（也是背后公司的CEO）Nemo Yang對量子位表示：不管已有的平臺還是工具能夠提供的能力，都無法很好地滿足這樣的idea。

團隊最初也走過其他路子，但隨著對領域的了解，聽到越來越多的用戶反饋稱，大模型挺好用的，但是出一個厲害的大模型就要接入一個API太過麻煩，對大模型調控性的掌握也比較困難。

受到這樣的啟發，Cortex才逐步打磨成了今天的樣子。

Cortex的成形大概離不開用戶對市場現狀的一個反饋，在與量子位的交流中，Nemo反復多次提到“用戶說”“市場反饋”這樣的字樣，然后解釋Cortex是如何根據這些信息來捏出產品的特點的。

比如隨著大模型大火而愈發走到眾人面前的向量數據庫，就有市場反饋如果對上下文關聯很強的文章進行向量分割，檢索匹配后返回的答案，可能因為痛失對上下文的理解而“不知所謂”。

根據這一點，Cortex調用的向量數據庫是完全自研的，可以根據需要全局檢索，也可以選擇一段一段地部分返回。

再比如，身為團隊里“語文底蘊最好”的人，Nemo實操下來還是覺得，對程序員來說，prompt engineering看上去簡單，其實要出色完成并不容易。

所以Cortex有個設計對不擅長撰寫prompt的開發者極其友好：

能夠讓擅長寫prompt的同事啥的（也就是俗稱的語文好，能夠對需求進行精準描述），加入工作流程，讓Cortex更清晰地了解你需要什么。

之后還會有什么功能上新呢？

Nemo介紹，接下來大概率會接入Slack confluence、 Microsoft全家桶、 Google全家桶等。

一切為了一個最終目的，那就是Developer first，盡可能減少開發者的開發周期。

團隊介紹

Cortex背后的公司叫做Kinesys AI，目前團隊7人全職，2名創始人均為華人，多人從斯坦福本碩畢業。

創始人兼CEO，Nemo Yang，00后，花了2年時間，拿下佐治亞理工學院本碩學位，ML出身，之前在字節飛書和微軟工作過。

14歲的時候，Nemo就因為喜歡計算機，只身前往硅谷留學。高中起，他開始寫網站和App，參與過startup的開發工作。

聯合創始人兼CTO，Jian Cai，畢業于北京大學計算機系，曾在Google工作8年。

他的上一份創業項目是在線協作辦公文檔“一起寫”，后來被快手收購。

本文為專欄作者授權微新創想發表，版權歸原作者所有。文章系作者個人觀點，不代表微新創想立場，轉載請聯系原作者。如有任何疑問，請聯系http://www.i0562.net/。