こしあん
2023-11-16

論文まとめ:LCM-LoRA: A Universal Stable-Diffusion Acceleration Module


Pocket
LINEで送る
Delicious にシェア

1.3k{icon} {views}

ざっくりいうと

  • Consistency modelsの派生系である、Latent Consistency Models(LCM)を使い推論高速化する研究
  • 従来のLoRAはカスタマイズしかできなかったが、ここに推論高速化の要素を加えることに成功
  • 従来よりも少ないステップ数で拡散モデルの生成が可能。任意のモデルに適用可能

背景研究

  • 従来のDiffusionモデルは推論に多数のステップがいて遅かった。これの改善版としてOpenAIの研究者が「Consistency Models」を発表

  • Consistency modelsの発展形として、これを蒸留の方向で活用したLatent Consistency ModelsLCM)が発表される
    • 元論文:https://arxiv.org/abs/2310.04378
    • 潜在空間の値が各ステップで同一になるような蒸留を提唱。これにより拡散モデルの推論速度が飛躍的に向上する
    • Consistency Modelsは拡散モデルとは別のモデルだが、拡散モデルの速度向上(蒸留)においてもこの考え方が有効
    • ただし、論文が確率微分方程式の展開で非常に読むのがつらい(本気で理解しようとすると相当の時間が必要そう)

repeat以下の数式(コードで理解するとそこまで難しくはない)

* 1行目:z:ノイズ、cはプロンプトといった条件
* 2行目:ノイズのサンプリング
* 3行目:Guidance Scaleの複数パスを考慮した版
* 4行目:普通の蒸留プロセス
* 5行目:Back Propergation
* 6行目:EMA
  • LCMをLoRAにしたのがこのLCM-LoRA

概要

  • LCMのような推論高速化を併せ持ちつつ、LoRAのようなカスタマイズが可能
  • LCMは推論ステップ数を減らして高品質な画像ができるようにするための蒸留で、モデルサイズを軽量化するような蒸留ではない
  • モデルの依存性はなく、SD1.5、SSD-1B、SDXLといった拡散モデルに適用可能

LoRAのアップデートプロセス。LCMの蒸留プロセスを訓練のフォワードパスに置き換えることが可能。LoRAを使うことで訓練パラメーター数を減らすことが可能。

LCM-LoRAを作ることで、汎用的に推論を加速することができる。

従来のLoRAはコンテンツ方向のカスタマイズだったが、これに推論の加速方向のマージを加えることができる

ここでτ’がコンテンツ方向のカスタマイズ、τ_LCMが推論加速方向。それぞれλ1,2というマージのハイパーパラメータを持つ。

LCMの効果

LCMの論文より。理論部分は難しいのでスキップして、実験部分のみ着目。これはLoRAではなく、普通のT2Iの蒸留。

所感

  • LoRAに推論加速の意味をもたせるのは時代を先取りしすぎていてすごい!
  • これ拡散モデルのように何度も反復させるプロセスだからできる気がする。LLMのように一発推論のクソデカモデルに適用できたら強そう
Pocket
LINEで送る
Delicious にシェア



Shikoan's ML Blogの中の人が運営しているサークル「じゅ~しぃ~すくりぷと」の本のご案内

技術書コーナー

北海道の駅巡りコーナー


2 Comments

Add a Comment

メールアドレスが公開されることはありません。 が付いている欄は必須項目です