MiniGPT-4をAutoGPTQ/BitsAndBytesで量子化時の生成文章の定量評価
271{icon} {views} LLMをデプロイする際に、LLM部分の量子化が必要になることが多いです。MiniGPT4のようなVLMに焦点をあて、AutoGPTQとBitsAndBytesという2つの量子化フレーム […]...
MiniGPT4をAutoGPTQ/BitsAndBytesで量子化してAWS上でのスループットを検証する
483{icon} {views} LLMをデプロイする際に、LLM部分の量子化が必要になることが多いです。MiniGPT4のようなVision & Language（マルチモーダル）なLLMに焦点をあて、Aut […]...