[名詞解釋]Stable Diffusion中的Lora (小模型)

【AI解答】

在 Stable Diffusion 中,Lora 是一種用於生成模型的先前分布(prior distribution)。Lora 是以機率密度函數的形式描述的,表示模型在訓練之前對於生成樣本的預期分佈。

Lora 是 Stable Diffusion 中的一個關鍵概念,它提供了一個先驗分佈,用於控制生成模型產生樣本的多樣性和多樣性的程度。通常,Lora 被設計為一個高維的分佈,能夠涵蓋樣本空間中多樣性豐富的區域。生成模型通過在訓練過程中逐步調整 Lora,進一步逼近實際數據的分佈。

Lora 的設計和選擇對於生成模型的性能和表現至關重要。一個合理的 Lora 可以幫助生成模型在生成樣本時保持多樣性,並同時避免生成不真實或不合理的樣本。因此,研究人員在 Stable Diffusion 中通常會花費時間和精力來調整和優化 Lora,以提高生成模型的品質。

總結而言,Lora 在 Stable Diffusion 中是指生成模型的先前分布,用於控制生成樣本的多樣性和多樣性程度。它在生成模型的訓練過程中被逐步調整,以逼近實際數據的分佈。適當的 Lora 設計可以提升生成模型的表現和品質。

【其它參考】

Low-rank adaptation of large language models,又稱 LoRA,微軟開發的局部調整模型,非常輕量,可以在Stable Diffusion主模型的基礎上,增加局部特徵。

主要原理是將低秩矩陣分解應用到大型語言模型中,將模型中的權重矩陣分解成低秩的兩個矩陣,從而減少存儲需求和計算成本。此外模型還通過自適應學習的方法來調整模型的參數,以更好地適應不同的語言模型和文本數據。

文章網址:從頭開始學習Stable Diffusion:一個初學者指南

【參考影片】

error: 抱歉,本站所有內容不提供複製 !!
為提供您最佳個人化且即時的服務,本網站透過使用"Cookies"記錄與存取您的瀏覽使用訊息。若您使用本網站,即表示您同意我們上述Cookies聲明。