MiniGPT4をAutoGPTQ/BitsAndBytesで量子化してAWS上でのスループットを検証する
458{icon} {views} LLMをデプロイする際に、LLM部分の量子化が必要になることが多いです。MiniGPT4のようなVision & Language(マルチモーダル)なLLMに焦点をあて、Aut […]...
論文まとめ:Investigating Emergent Goal-Like Behaviour in Large Language Models Using Experimental Economics
149{icon} {views} タイトル:Investigating Emergent Goal-Like Behaviour in Large Language Models Using Experimental […]...
LLaMA.cpp+(cu)BLASのCPU/GPUのスループット検証(ローカル編)
1.4k{icon} {views} LLaMA.cppのスループットをローカルで検証してみました。OpenLLaMA 7B/13Bをベースに、CPU/GPUのそれぞれの生成速度(token per second)と量子 […]...
Mini-GPT4をDockerで動かしてバッチ処理する
564{icon} {views} Mini-GPT4というマルチモーダルLLMをDockerを使ってバッチ処理をしてみました。係数を部分的にDockerイメージに組み込んだり、使用するLLMを切り替えられるようにちょっ […]...
OpenAIのChatGPT APIの並列化を試す(LangChain)
1.6k{icon} {views} 大量のデータをChatGPTで推論したいときに、並列化したらどの程度速くなったのかを実験してみました。振れ幅はかなり大きいですが、かなり並列化の効果はありました。 はじめに Chat […]...
論文まとめ:TinyStories: How Small Can Language Models Be and Still Speak Coherent English?
376{icon} {views} タイトル:TinyStories: How Small Can Language Models Be and Still Speak Coherent English? 著者:Rone […]...
LangChainでConversationMemoryBufferのトークン数対策をする
4.8k{icon} {views} LangChainでChatGPTを使っていると、特に長時間や長い文章・指示を入れて会話するときにトークン数が問題になります。プロンプトに入れる会話履歴を選別するプロセスが必要になる […]...
LangChainのChatAgentのデフォルトのプロンプトをのぞく
4.7k{icon} {views} LangChainのAgentをカスタムできると自由度が上がりますが、LangChainのAgentがいまいちブラックボックスだった感があったので、デフォルトのプロンプトを解剖してみ […]...