LangChainのRecursiveCharacterTextSplitterの動作がおかしいので自作する
422{icon} {views}LangChainのRecursiveCharacterTextSplitter.from_tiktoken_encoderの動作が思ってたのと違ったので、それに相当するものを自作してみ […]...
GeminiのアプリケーションとGeminiのAPIは全然出力が違うので気をつけましょうという話
533{icon} {views} Gemini AdvancedやGeminiのようなアプリケーションとしてのGeminiと、Google Cloud上のモデル/LLMとしてのGeminiは全く異なる出力をします。最初 […]...
Vertex AIからGeminiのAPIを呼び出す
123{icon} {views} Google Cloudのサービスアカウントがある場合に、Vertex AIからGeminiのAPIをサクッと動かす方法のメモ。とりあえず試したいときに。 前提 サービスアカウントのJ […]...
LLMに検索エンジンの検索ワードを生成させる(AI王データセット)
201{icon} {views} 検索エンジンの結果を利用してRAGをするために、LLMを使って検索ワードを自動生成させたい。AI王データセットの中から、GPTの知識だけでは解けない問題を選択し、定量評価することで、プ […]...
OpenAIの新しいEmbeddingAPIをlivedoorニュースコーパスで試す
305{icon} {views} OpenAIの新しいEmbedding APIを試してみました。Embedding APIをテキスト分類のバックボーンとして使用し、ロジスティック回帰を行います。Livedoorニュー […]...
GPT-3.5/4にabc/EQIDENの問題を解かせてみた(AI王データセット)
118{icon} {views} RAGのための評価データセットの構築として「GPTの素の知識で解けない問題のデータセット」というのが必要性を増している。RAGの性能評価(特にBingチャットのような検索エンジンのRA […]...
日本語翻訳で比較するLLMと翻訳API
709{icon} {views} 英語を日本語に翻訳するというタスクから、Amazon TranslateやDeepLのような翻訳APIと、GPTやClaudeのようなLLMを比較します。BLEUによる翻訳性能と、コス […]...
OpenAI DevDayの発表まとめ(2023年11月)
335{icon} {views}2023/11/6(日本時間2022/11/7の3時から)に発表されたOpenAI DevDayの内容をまとめました 1次ソース OpenAI DevDay動画 https://www. […]...
MiniGPT-4をAutoGPTQ/BitsAndBytesで量子化時の生成文章の定量評価
253{icon} {views} LLMをデプロイする際に、LLM部分の量子化が必要になることが多いです。MiniGPT4のようなVLMに焦点をあて、AutoGPTQとBitsAndBytesという2つの量子化フレーム […]...
MiniGPT4をAutoGPTQ/BitsAndBytesで量子化してAWS上でのスループットを検証する
437{icon} {views} LLMをデプロイする際に、LLM部分の量子化が必要になることが多いです。MiniGPT4のようなVision & Language(マルチモーダル)なLLMに焦点をあて、Aut […]...