CLIPに対していろいろ条件を変えてLoRAを訓練してみた（PyTorch Lightning）
1.6k{icon} {views} CLIPに対してLoRAを適用して、いろいろ条件を変えて画像分類モデルを訓練した。Few-shotやパラメーター数に対しては従来のファインチューニングと同じだが、rとαとバランスを考 […]...
transformersのTrainerでCLIPにLoRAを適用して訓練する
893{icon} {views} HuggingFaceの提供しているpeftを使うと、LoRAが簡単に訓練できますが、transformersのTrainerベースでの訓練であり、画像分類でどうやるのかがよくわかりま […]...
論文まとめ：ConTextual: Evaluating Context-Sensitive Text-Rich Visual Reasoning in Large Multimodal Models
215{icon} {views} 論文タイトル：ConTextual: Evaluating Context-Sensitive Text-Rich Visual Reasoning in Large Multimod […]...
論文まとめ：COLE: A Hierarchical Generation Framework for Graphic Design
301{icon} {views} * タイトル：COLE: A Hierarchical Generation Framework for Graphic Design * 著者：Peidong Jia, Chenxu […]...
論文まとめ：Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4
535{icon} {views} 論文タイトル：Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4 著者：Sond […]...
論文まとめ：WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models
601{icon} {views} タイトル：WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models 著者：Hongliang […]...
論文まとめ：Gemini: A Family of Highly Capable Multimodal Models
457{icon} {views} タイトル：Gemini: A Family of Highly Capable Multimodal Models 著者：Gemini Team（(842 additional aut […]...
論文まとめ：Weak to Strong Generalization: Eliciting Strong Capabilities with Weak SUPERVISION
408{icon} {views} タイトル：Weak to Strong Generalization: Eliciting Strong Capabilities with Weak SUPERVISION 著者：O […]...
論文まとめ：Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets
665{icon} {views} タイトル：Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets 著者：Stab […]...
論文まとめ：Video-LLaVA: Learning United Visual Representation by Alignment Before Projection
879{icon} {views} 論文URL：Video-LLaVA: Learning United Visual Representation by Alignment Before Projection 著者：B […]...