CLIPに対していろいろ条件を変えてLoRAを訓練してみた(PyTorch Lightning)
249{icon} {views} CLIPに対してLoRAを適用して、いろいろ条件を変えて画像分類モデルを訓練した。Few-shotやパラメーター数に対しては従来のファインチューニングと同じだが、rとαとバランスを考慮 […]...
transformersのTrainerでCLIPにLoRAを適用して訓練する
227{icon} {views} HuggingFaceの提供しているpeftを使うと、LoRAが簡単に訓練できますが、transformersのTrainerベースでの訓練であり、画像分類でどうやるのかがよくわかりま […]...
論文まとめ:ConTextual: Evaluating Context-Sensitive Text-Rich Visual Reasoning in Large Multimodal Models
97{icon} {views} 論文タイトル:ConTextual: Evaluating Context-Sensitive Text-Rich Visual Reasoning in Large Multimoda […]...
LangChainのRecursiveCharacterTextSplitterの動作がおかしいので自作する
497{icon} {views}LangChainのRecursiveCharacterTextSplitter.from_tiktoken_encoderの動作が思ってたのと違ったので、それに相当するものを自作してみ […]...
GeminiのアプリケーションとGeminiのAPIは全然出力が違うので気をつけましょうという話
586{icon} {views} Gemini AdvancedやGeminiのようなアプリケーションとしてのGeminiと、Google Cloud上のモデル/LLMとしてのGeminiは全く異なる出力をします。最初 […]...
Vertex AIからGeminiのAPIを呼び出す
134{icon} {views} Google Cloudのサービスアカウントがある場合に、Vertex AIからGeminiのAPIをサクッと動かす方法のメモ。とりあえず試したいときに。 前提 サービスアカウントのJ […]...
論文まとめ:COLE: A Hierarchical Generation Framework for Graphic Design
121{icon} {views} * タイトル:COLE: A Hierarchical Generation Framework for Graphic Design * 著者:Peidong Jia, Chenxu […]...
論文まとめ:Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4
151{icon} {views} 論文タイトル:Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4 著者:Sond […]...
LLMに検索エンジンの検索ワードを生成させる(AI王データセット)
223{icon} {views} 検索エンジンの結果を利用してRAGをするために、LLMを使って検索ワードを自動生成させたい。AI王データセットの中から、GPTの知識だけでは解けない問題を選択し、定量評価することで、プ […]...
論文まとめ:WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models
160{icon} {views} タイトル:WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models 著者:Hongliang […]...