編程客棧（）6月26日 消息:微軟的人工智能研究人員發(fā)布了一種新的、輕量級的代碼生成模型 phi-1，并且其性能優(yōu)于 ChatGPT 背后的大型語言模型 GPT-3.5。

據(jù)了解， 這個基于 Transformer 的模型僅擁有13億個參數(shù)，相比之下，Codex擁有120億個參數(shù)。

(相關資料圖)

微軟的研究人員僅用了四天時間就使用 Nvidia 的8個 A100芯片來訓練 phi-1。該模型使用來自網(wǎng)絡的60億個token以及使用 GPT-3.5生成的另外10億個token進行訓練。

在性能方面，phi-1在HumanEval基準測試中獲得了50.6% 的 pass@1準確率。盡管模型小得多，但微軟模型擊敗了 Hugging Face 和 ServiceNow 的 StarCoder （33.6%）、OpenAI 的 GPT-3.5(47%) 和谷歌的 PaLM2-S 編程客棧(37.6% ) 。

在MBPP pass@1測試中，phi-1表現(xiàn)更好，取得了55.5% 的分數(shù)。上述許多模型尚未發(fā)布該基準測試的結果，但 WizardLM 的WizardCoder在本月早些時候進行的測試中得分為51.5%。WizardCoder 是一個150億個參數(shù)模型，而 phi-1的參數(shù)模型為13億個。

高質(zhì)量數(shù)據(jù)帶來差異

微軟的研究人員認為，正是“高質(zhì)量數(shù)據(jù)的力量”讓 phi-1表現(xiàn)如此出色。為了說明這一點，研究人員將他們模型的論文js命名為“教科書就是你所需要的”。

他們寫道:“正如一本全面、精心制作的教科書可以為學生提供掌握新學科所需的知識一樣，我們的工作展示了高質(zhì)量數(shù)據(jù)在磨練語言模型在代碼生成任務中的熟練程度方面的顯著影響?！?。

“通過制作‘教科書質(zhì)量’數(shù)據(jù)，我們能夠訓練出一個模型，盡管模型大php小縮小了10倍，數(shù)據(jù)集大小縮小了100倍，但在編碼基準（例如 HumanEval 和 MBPP）上，該模型超越了幾乎所有開源模型?！?/p>

與其他可用的編碼模型相比，Phi-1僅限于 python 編javascript碼。他們表示，該模型的局限性還在于它缺乏大型模型的特定領域知識，例如使用特定 API 進行編程。

為了擴展他們的工作，微軟的研究人員建議使用 GPT-4而不是 GPT-3.5來生成用于模型訓練的合成數(shù)據(jù)。

研究人員還將尋求提高數(shù)據(jù)集的多樣性和非重復性，盡管該團隊表示，他們必須找到方法“在數(shù)據(jù)生成過程中注入隨機性和創(chuàng)造力，同時仍然保持示例的質(zhì)量和連貫性。”

關鍵詞：