文章概要:

1. TinyLlama:一款小型但強(qiáng)大的AI模型，由新加坡科技設(shè)計大學(xué)的研究團(tuán)隊開發(fā)，僅占用550MB內(nèi)存。

2. 該模型采用了穩(wěn)定擴(kuò)散XL技術(shù)，計劃在90天內(nèi)在3萬億代幣的數(shù)據(jù)集上進(jìn)行訓(xùn)練，旨在適應(yīng)內(nèi)存受限的邊緣設(shè)備。

3. TinyLlama的成功將為實時機(jī)器翻譯等多種應(yīng)用提供高性能AI解決方案。

微新創(chuàng)想（idea2003.com）9月8日 消息:新加坡科技設(shè)計大學(xué)的研究人員正進(jìn)行一項引人注目的項目，他們正在努力創(chuàng)建一款小型但強(qiáng)大的AI模型，這個模型被稱為TinyLlama，它采用了一種緊湊的設(shè)計，僅占用550MB的內(nèi)存。

這一模型的獨特之處在于，它將在3萬億token的數(shù)據(jù)集上進(jìn)行訓(xùn)練，這個龐大的數(shù)據(jù)集將在短短90天內(nèi)完成訓(xùn)練。

這個項目的目標(biāo)是為內(nèi)存受限的邊緣設(shè)備提供高性能的人工智能解決方案。越來越多的開發(fā)者要求創(chuàng)建更小的AI模型，因為對于內(nèi)存和計算能力受限的邊緣設(shè)備來說，較少的參數(shù)更加優(yōu)化。此外，較小的模型還可以用來協(xié)助解碼更大的模型，正如前特斯拉高級AI總監(jiān)Andrej Karpathy所言。

TinyLlama項目由新加坡科技設(shè)計大學(xué)的研究助理領(lǐng)導(dǎo)，他們試圖在三萬億token的數(shù)據(jù)集上預(yù)訓(xùn)練一個11億token的Llama模型。這個模型僅占用550MB的內(nèi)存，團(tuán)隊認(rèn)為它的緊湊性將使它能夠滿足多種應(yīng)用的需求，這些應(yīng)用需要受限的計算和內(nèi)存占用，以實現(xiàn)諸如無需互聯(lián)網(wǎng)連接的實時機(jī)器翻譯等功能。

TinyLlama的訓(xùn)練于9月1日開始，使用了16個A100-40G GPU，團(tuán)隊計劃在短短90天內(nèi)完成訓(xùn)練。截止到目前，團(tuán)隊已完成了1050億token的訓(xùn)練。

模型的構(gòu)建者表示，他們正在使用與Meta用于訓(xùn)練Llama2的“完全相同的架構(gòu)和分詞器”，因此它可以輕松應(yīng)用于基于Llama構(gòu)建的開源項目。

TinyLlama團(tuán)隊正在使用包括Cerebras Systems的Slimpajama和StarCoder數(shù)據(jù)在內(nèi)的三萬億token數(shù)據(jù)集，這些數(shù)據(jù)集曾用于訓(xùn)練StarCoder，這是一個代碼生成模型。

一旦完成，TinyLlama將加入越來越多的較小語言模型的行列，這些模型由開發(fā)者用于構(gòu)建各種應(yīng)用。同時，EleutherAI的Pythia-1b和Databricks旗下MosaicML的MPT-1b也在取得進(jìn)展。

項目網(wǎng)址:https://github.com/eivindbohler/tinyllama