243{icon} {views} タイトル：Generating Images with Multimodal Language Models 著者：Jing Yu Koh, Daniel Fried, Ruslan […]...

838{icon} {views} LLMをデプロイする際に、LLM部分の量子化が必要になることが多いです。MiniGPT4のようなVision & Language（マルチモーダル）なLLMに焦点をあて、Aut […]...

371{icon} {views} タイトル：Visual Programming: Compositional visual reasoning without training 著者：Tanmay Gupta, An […]...

293{icon} {views} タイトル：Investigating Emergent Goal-Like Behaviour in Large Language Models Using Experimental […]...

974{icon} {views} AWSのEC2環境でのLLaMA.cppのスループットをCPU,GPUインスタンスで比較してみました。結論としてはGPUのほうが良さそうということですが、インスタンスあたりのコストを考 […]...

2.1k{icon} {views} LLaMA.cppのスループットをローカルで検証してみました。OpenLLaMA 7B/13Bをベースに、CPU/GPUのそれぞれの生成速度（token per second）と量子 […]...

454{icon} {views} タイトル：Evaluating and Inducing Personality in Pre-trained Language Models 著者：Guangyuan Jiang, […]...

841{icon} {views} Mini-GPT4というマルチモーダルLLMをDockerを使ってバッチ処理をしてみました。係数を部分的にDockerイメージに組み込んだり、使用するLLMを切り替えられるようにちょっ […]...

435{icon} {views} タイトル：UniVTG: Towards Unified Video-Language Temporal Grounding 著者：Kevin Qinghong Lin, Pengch […]...

623{icon} {views} API Gatewayなどに対してLambdaで認証をかける場合に、SHAベースのHMAC（メッセージ認証）のスループットを調べてみました。Lambdaのスペックを変えながら、ペイロー […]...