カテゴリー: LLM

3.4k{icon} {views} 複数のLLM（GPT/Claude3）とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソー […]...

913{icon} {views}LangChainのRecursiveCharacterTextSplitter.from_tiktoken_encoderの動作が思ってたのと違ったので、それに相当するものを自作してみ […]...

1.1k{icon} {views} Gemini AdvancedやGeminiのようなアプリケーションとしてのGeminiと、Google Cloud上のモデル/LLMとしてのGeminiは全く異なる出力をします。最 […]...

248{icon} {views} Google Cloudのサービスアカウントがある場合に、Vertex AIからGeminiのAPIをサクッと動かす方法のメモ。とりあえず試したいときに。 前提 サービスアカウントのJ […]...

351{icon} {views} 検索エンジンの結果を利用してRAGをするために、LLMを使って検索ワードを自動生成させたい。AI王データセットの中から、GPTの知識だけでは解けない問題を選択し、定量評価することで、プ […]...

496{icon} {views} OpenAIの新しいEmbedding APIを試してみました。Embedding APIをテキスト分類のバックボーンとして使用し、ロジスティック回帰を行います。Livedoorニュー […]...

141{icon} {views} RAGのための評価データセットの構築として「GPTの素の知識で解けない問題のデータセット」というのが必要性を増している。RAGの性能評価（特にBingチャットのような検索エンジンのRA […]...

1.1k{icon} {views} 英語を日本語に翻訳するというタスクから、Amazon TranslateやDeepLのような翻訳APIと、GPTやClaudeのようなLLMを比較します。BLEUによる翻訳性能と、コ […]...

355{icon} {views}2023/11/6（日本時間2022/11/7の3時から）に発表されたOpenAI DevDayの内容をまとめました 1次ソース OpenAI DevDay動画 https://www. […]...

329{icon} {views} LLMをデプロイする際に、LLM部分の量子化が必要になることが多いです。MiniGPT4のようなVLMに焦点をあて、AutoGPTQとBitsAndBytesという2つの量子化フレーム […]...