【AI歸納總結】
人工智慧公司 Stability AI,該公司正計畫進入程式碼開發市場,釋出名為 StableCode 的大型語言模型。以下是五個重點:
- Stability AI 公司介紹:Stability AI 是以其文生圖模型 Stable Diffusion 而聞名的人工智慧公司,目前正計畫進入程式碼開發市場。
- StableCode 語言模型:StableCode 是 Stability AI 公司釋出的第一個用於程式開發的大型語言模型。該模型不僅能協助開發者完成日常工作,還能幫助他們學習程式開發。
- 模型訓練過程:StableCode 模型的訓練分為三個階段。首先,使用來自 BigCode 專案的 stack-dataset v1.2 資料集進行多語言基礎模型訓練。其次,進行針對熱門程式語言(如 Python、Go、Java、Javascript、C、markdown 和 C++)的特化訓練,共使用了 5,600 億個 Token 進行訓練。最後,對特定用途調校指令模型,以解決複雜的程式開發任務,使用約 12 萬個 Alpaca 格式的程式碼指令和回應資料對進行訓練。
- 多階段訓練:模型訓練過程分為基礎模型訓練、熱門程式語言特化訓練以及特定用途調校指令模型,著重於提供全面且有針對性的模型功能。
- 應用範疇:StableCode 模型的應用範疇涵蓋程式開發的多個方面,包括日常工作輔助和複雜任務解決,有望提升程式開發者的效率和學習能力。