MiniGPT4をAutoGPTQ/BitsAndBytesで量子化してAWS上でのスループットを検証する 2023-09-23 704{icon} {views} LLMをデプロイする際に、LLM部分の量子化が必要になることが多いです。MiniGPT4のようなVision & Language(マルチモーダル)なLLMに焦点をあて、Aut […]...