該論文為北京大學(xué)與DeepSeek共同完成，論文提出條件記憶（conditional memory），通過引入可擴(kuò)展的查找記憶結(jié)構(gòu)，在等參數(shù)、等算力條件下顯著提升模型在知識調(diào)用、推理、代碼、數(shù)學(xué)等任務(wù)上的表現(xiàn)。
觀點(diǎn)網(wǎng)訊：1月12日晚間，DeepSeek發(fā)布新論文《Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models》（基于可擴(kuò)展查找的條件記憶：大型語言模型稀疏性的新維度）。
據(jù)介紹，該論文為北京大學(xué)與DeepSeek共同完成，合著作者署名中出現(xiàn)梁文鋒。論文提出條件記憶（conditional memory），通過引入可擴(kuò)展的查找記憶結(jié)構(gòu)，在等參數(shù)、等算力條件下顯著提升模型在知識調(diào)用、推理、代碼、數(shù)學(xué)等任務(wù)上的表現(xiàn)。
同時，DeepSeek開源相關(guān)記憶模塊Engram。
免責(zé)聲明：本文內(nèi)容與數(shù)據(jù)由觀點(diǎn)根據(jù)公開信息整理，不構(gòu)成投資建議，使用前請核實(shí)。
審校：勞蓉蓉
版權(quán)聲明：觀點(diǎn)網(wǎng)絡(luò)信息科技有限公司及廣州觀點(diǎn)信息資訊服務(wù)有限公司擁有及保留其主辦暨承辦網(wǎng)站、論壇及活動的所有資料（包括但不限于文字、圖片、音頻、視頻資料及頁面設(shè)計、編排、軟件等）的所有權(quán)、版權(quán)等其他相關(guān)知識產(chǎn)權(quán)。除經(jīng)授權(quán)合法使用上述資料外，未征得我司書面許可并付費(fèi)，任何單位和個人不得以任何理由及方式使用上述資料（包括但不限于轉(zhuǎn)載、轉(zhuǎn)讓、授權(quán)他人使用等），否則我司將依法追究其法律責(zé)任以及賠償責(zé)任。
觀點(diǎn) ? 2001- guandian.cn, All Rights Reserved. 粵ICP備20003243號-1
|??網(wǎng)上110
粵公網(wǎng)安備 44010402001235號
移動端下載