CLIPに対していろいろ条件を変えてLoRAを訓練してみた（PyTorch Lightning）
1.1k{icon} {views} CLIPに対してLoRAを適用して、いろいろ条件を変えて画像分類モデルを訓練した。Few-shotやパラメーター数に対しては従来のファインチューニングと同じだが、rとαとバランスを考 […]...
transformersのTrainerでCLIPにLoRAを適用して訓練する
698{icon} {views} HuggingFaceの提供しているpeftを使うと、LoRAが簡単に訓練できますが、transformersのTrainerベースでの訓練であり、画像分類でどうやるのかがよくわかりま […]...
論文まとめ：ConTextual: Evaluating Context-Sensitive Text-Rich Visual Reasoning in Large Multimodal Models
178{icon} {views} 論文タイトル：ConTextual: Evaluating Context-Sensitive Text-Rich Visual Reasoning in Large Multimod […]...
論文まとめ：COLE: A Hierarchical Generation Framework for Graphic Design
261{icon} {views} * タイトル：COLE: A Hierarchical Generation Framework for Graphic Design * 著者：Peidong Jia, Chenxu […]...
論文まとめ：Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4
431{icon} {views} 論文タイトル：Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4 著者：Sond […]...
論文まとめ：WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models
347{icon} {views} タイトル：WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models 著者：Hongliang […]...
論文まとめ：Gemini: A Family of Highly Capable Multimodal Models
393{icon} {views} タイトル：Gemini: A Family of Highly Capable Multimodal Models 著者：Gemini Team（(842 additional aut […]...
論文まとめ：Weak to Strong Generalization: Eliciting Strong Capabilities with Weak SUPERVISION
328{icon} {views} タイトル：Weak to Strong Generalization: Eliciting Strong Capabilities with Weak SUPERVISION 著者：O […]...
論文まとめ：Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets
540{icon} {views} タイトル：Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets 著者：Stab […]...
論文まとめ：Video-LLaVA: Learning United Visual Representation by Alignment Before Projection
762{icon} {views} 論文URL：Video-LLaVA: Learning United Visual Representation by Alignment Before Projection 著者：B […]...