タグ: LLM

1.7k{icon} {views} 英語を日本語に翻訳するというタスクから、Amazon TranslateやDeepLのような翻訳APIと、GPTやClaudeのようなLLMを比較します。BLEUによる翻訳性能と、コ […]...

795{icon} {views} 論文URL：Video-LLaVA: Learning United Visual Representation by Alignment Before Projection 著者：B […]...

416{icon} {views} LLMをデプロイする際に、LLM部分の量子化が必要になることが多いです。MiniGPT4のようなVLMに焦点をあて、AutoGPTQとBitsAndBytesという2つの量子化フレーム […]...

732{icon} {views} LLMをデプロイする際に、LLM部分の量子化が必要になることが多いです。MiniGPT4のようなVision & Language（マルチモーダル）なLLMに焦点をあて、Aut […]...

246{icon} {views} タイトル：Investigating Emergent Goal-Like Behaviour in Large Language Models Using Experimental […]...

839{icon} {views} AWSのEC2環境でのLLaMA.cppのスループットをCPU,GPUインスタンスで比較してみました。結論としてはGPUのほうが良さそうということですが、インスタンスあたりのコストを考 […]...

1.9k{icon} {views} LLaMA.cppのスループットをローカルで検証してみました。OpenLLaMA 7B/13Bをベースに、CPU/GPUのそれぞれの生成速度（token per second）と量子 […]...

409{icon} {views} タイトル：Evaluating and Inducing Personality in Pre-trained Language Models 著者：Guangyuan Jiang, […]...

750{icon} {views} Mini-GPT4というマルチモーダルLLMをDockerを使ってバッチ処理をしてみました。係数を部分的にDockerイメージに組み込んだり、使用するLLMを切り替えられるようにちょっ […]...

2k{icon} {views} 大量のデータをChatGPTで推論したいときに、並列化したらどの程度速くなったのかを実験してみました。振れ幅はかなり大きいですが、かなり並列化の効果はありました。 はじめに ChatGP […]...