微新創(chuàng)想（idea2003.com）5月10日 消息:AI圈大頭條!谷歌大腦的NLP奠基之作、提出Transformer架構(gòu)的開山鼻祖級論文 《Attention Is All Your Need》竟然出現(xiàn)圖與代碼不一致的問題。

今天，谷歌的開創(chuàng)性論文《Attention Is All Your Need》中變壓器架構(gòu)的原始圖表被發(fā)現(xiàn)是不正確的，LayerNorm處于錯誤的位置。然而，一篇新論文表明，將Pre-LN和Post-LN結(jié)合起來可以解決梯度爆炸和消失的問題。

論文地址:https://arxiv.org/abs/1706.03762

代碼地址:

https://github.com/tensorflow/tensor2tensor/commit/f5c9b17e617ea9179b7d84d36b1e8162cb369f25#diff-76e2b94ef16871bdbf46bf04dfe7f1477bafb884748f08197c9cf1b10a4dd78e

據(jù)悉，Transformer架構(gòu)是人工智能的基石，自2017年發(fā)表以來，該論文已被引用超過7萬多次。在圖表中發(fā)現(xiàn)錯誤引發(fā)了對該領(lǐng)域其他開創(chuàng)性論文準(zhǔn)確性的質(zhì)疑。

圖中的錯誤可能導(dǎo)致轉(zhuǎn)換器體系結(jié)構(gòu)的不正確實現(xiàn)，這可能會影響使用它構(gòu)建的模型的性能。

關(guān)于使用Pre-LN還是Post-LN的討論正在進(jìn)行中，新論文中提出的兩種方法的結(jié)合可能會導(dǎo)致人工智能模型開發(fā)的進(jìn)一步發(fā)展。