還推出了自創測試數據集

編者按：本文來自微信公眾號量子位（ID:QbitAI），作者：克雷西，微新創想經授權發布。

能為患者答疑解惑的谷歌醫療大模型（Med-PaLM），它的詳細測評數據終于披露了！

現在，這篇論文已經登上了Nature，來看看里面的具體細節吧。

團隊首先研制了Flan-PaLM，并在此基礎之上，通過提示策略等方式調整得到了成品Med-PaLM。

前者挑戰了美國醫學執照考試（USMLE），取得了67.6%的成績，比此前最好的模型提高了17%。

Med-PaLM相比于Flan-PaLM，在實際問題上的表現有顯著提升，而后者則顯示出很大不足。

經過專業臨床醫生評判，Med-PaLM對實際問題的回答準確率與真人相差無幾。

除了Med-PaLM模型，研究團隊還推出了自建醫療模型測評數據集。

團隊成員Jason Wei興奮地在社交媒體表示，自己89歲的奶奶經常問他有沒有發Science或Nature，現在終于可以回答是了。

多套測試數據共同認證

研究團隊一共使用了七套測試數據集，從多個角度對Med-PaLM的表現進行了測評。

首先就是準確性。

Med-PaLM相比于其前體Flan-PaLM的主要改進不在于此，故這一步使用后者作為測試對象。

這部分一共使用了多個數據集，包括由USMLE題目構成的MedQA。

結果Flan-PaLM在其中兩個數據集上的表現較此前的最佳產品均有顯著提升。

而針對PubMedQA數據集，Flan-PaLM的成績雖然只提高了0.8%，但真人在該數據集中取得的成績也只有78%。

更為專業的數據集MMLU中包含來自多個臨床知識、醫學和生物學相關主題的多項選擇題。

其中包括解剖學、臨床知識、專業醫學、人類遺傳學、大學醫學和大學生物學等方面。

結果Flan-PaLM的準確度超越了所有的已知模型。

前面的測評主要是針對模型的理論能力，接下來就要進入實戰了。

這個過程中Med-PaLM本體和前體Flan-PaLM都是測試的對象。

研究團隊從另外三個數據集中共選擇了140個問題（HealthSearchQA中100個，另外兩種各20個）。

其中的HealthSearchQA是谷歌自建的，包含了3000多個問題。

這些問題既包括學術問題，也包括患者在就醫時可能會向醫生提出的疑問。

模型的表現則由9名來自不同國家的醫生組成的專家小組進行人工評判。

在科學共識方面，Med-PaLM的結果具有92.6%的一致性，遠高于其前體，與真人醫生相近。

但和真人相比，Med-PaLM輸出的錯誤或不準確信息還是比較高的，在信息缺失方面差距則小一些。

不過錯誤的信息不一定會真的帶來傷害，經過專家評估，Med-PaLM造成傷害的可能性與嚴重性和人類相比并不大。

甚至出現偏見的概率比人類還要低。

而從模型能力角度看，Med-PaLM在閱讀理解、信息檢索和邏輯推理能力上都表現出了接近真人的水平。

而作為一款面向不特定人群的語言模型，獲得專業人士的認可是不夠的，因此，研究團隊還邀請了非專業人士對Med-PaLM進行評價。

評價的標準有兩條——「是不是所答所問」和「有沒有幫助」。

結果在答案匹配度上，Med-PaLM和真人差了1.5%。

而對于「有沒有幫助」這個問題，80.3%認為Med-PaLM是「有用」的。

這個數字和真人差距不小，但如果分別加上認為「比較有用」的人，區別就沒有那么明顯了。

從以上測試結果可以看出，Med-PaLM和真人之間還存在一定的差距，但已經是目前最好的醫療大模型。

論文地址：https://www.nature.com/articles/s41586-023-06291-2

本文（含圖片）為合作媒體授權微新創想轉載，不代表微新創想立場，轉載請聯系原作者。如有任何疑問，請聯系http://www.i0562.net/。