LLaMA.cpp+(cu)BLASのCPU/GPUのスループット検証(AWS編) 2023-09-03 777{icon} {views} AWSのEC2環境でのLLaMA.cppのスループットをCPU,GPUインスタンスで比較してみました。結論としてはGPUのほうが良さそうということですが、インスタンスあたりのコストを考 […]...