LLMに検索エンジンの検索ワードを生成させる(AI王データセット)
1.1k{icon} {views} 検索エンジンの結果を利用してRAGをするために、LLMを使って検索ワードを自動生成させたい。AI王データセットの中から、GPTの知識だけでは解けない問題を選択し、定量評価することで、 […]...
論文まとめ:Gemini: A Family of Highly Capable Multimodal Models
538{icon} {views} タイトル:Gemini: A Family of Highly Capable Multimodal Models 著者:Gemini Team((842 additional aut […]...
日本語翻訳で比較するLLMと翻訳API
2.4k{icon} {views} 英語を日本語に翻訳するというタスクから、Amazon TranslateやDeepLのような翻訳APIと、GPTやClaudeのようなLLMを比較します。BLEUによる翻訳性能と、コ […]...
論文まとめ:Video-LLaVA: Learning United Visual Representation by Alignment Before Projection
1.2k{icon} {views} 論文URL:Video-LLaVA: Learning United Visual Representation by Alignment Before Projection 著者: […]...
MiniGPT-4をAutoGPTQ/BitsAndBytesで量子化時の生成文章の定量評価
546{icon} {views} LLMをデプロイする際に、LLM部分の量子化が必要になることが多いです。MiniGPT4のようなVLMに焦点をあて、AutoGPTQとBitsAndBytesという2つの量子化フレーム […]...
MiniGPT4をAutoGPTQ/BitsAndBytesで量子化してAWS上でのスループットを検証する
936{icon} {views} LLMをデプロイする際に、LLM部分の量子化が必要になることが多いです。MiniGPT4のようなVision & Language(マルチモーダル)なLLMに焦点をあて、Aut […]...
論文まとめ:Investigating Emergent Goal-Like Behaviour in Large Language Models Using Experimental Economics
343{icon} {views} タイトル:Investigating Emergent Goal-Like Behaviour in Large Language Models Using Experimental […]...
LLaMA.cpp+(cu)BLASのCPU/GPUのスループット検証(AWS編)
1.1k{icon} {views} AWSのEC2環境でのLLaMA.cppのスループットをCPU,GPUインスタンスで比較してみました。結論としてはGPUのほうが良さそうということですが、インスタンスあたりのコストを […]...
LLaMA.cpp+(cu)BLASのCPU/GPUのスループット検証(ローカル編)
2.3k{icon} {views} LLaMA.cppのスループットをローカルで検証してみました。OpenLLaMA 7B/13Bをベースに、CPU/GPUのそれぞれの生成速度(token per second)と量子 […]...
論文まとめ:Evaluating and Inducing Personality in Pre-trained Language Models
502{icon} {views} タイトル:Evaluating and Inducing Personality in Pre-trained Language Models 著者:Guangyuan Jiang, […]...