CLIPに対していろいろ条件を変えてLoRAを訓練してみた(PyTorch Lightning)
1.1k{icon} {views} CLIPに対してLoRAを適用して、いろいろ条件を変えて画像分類モデルを訓練した。Few-shotやパラメーター数に対しては従来のファインチューニングと同じだが、rとαとバランスを考 […]...
transformersのTrainerでCLIPにLoRAを適用して訓練する
697{icon} {views} HuggingFaceの提供しているpeftを使うと、LoRAが簡単に訓練できますが、transformersのTrainerベースでの訓練であり、画像分類でどうやるのかがよくわかりま […]...
論文まとめ:LCM-LoRA: A Universal Stable-Diffusion Acceleration Module
1.5k{icon} {views} タイトル:LCM-LoRA: A Universal Stable-Diffusion Acceleration Module 論文URL:https://arxiv.org/abs […]...
Kohya版のLoRAをDockerで訓練する
3.7k{icon} {views} LoRAのデファクトスタンダードとなりつつあるKohya版のLoRA学習スクリプトをDockerで動かしてみました。Diffusersとの連携も可能で、Diffusersオフィシャル […]...
Diffusers版のControlNet+LoRAで遊ぶ:理論と実践
10.5k{icon} {views} 前回に引き続き、Stable DiffusionのControlNetで遊んでみます。ControlNetとは画像主に空間方向の強い条件付が可能です。LoRAと組み合わせて動画レン […]...
Stable Diffusion (Diffusers)でLoRA~理論と実践~
26.3k{icon} {views} Stable DiffusionでのLoRAをdiffusersで試してみます。3Dモデルに対して、Unityで透過スクショを撮りLoRAで学習させるというよくあるやり方ですが、L […]...