MiniGPT-4をAutoGPTQ/BitsAndBytesで量子化時の生成文章の定量評価 2023-10-22 398{icon} {views} LLMをデプロイする際に、LLM部分の量子化が必要になることが多いです。MiniGPT4のようなVLMに焦点をあて、AutoGPTQとBitsAndBytesという2つの量子化フレーム […]...