Arxiv RAGから見る最近のLLM(2024/8)
854{icon} {views} Arxivの検索APIを使い自動的にサーベイを行うArxiv RAGを最近のLLMで調べてみました。Gemini 1.5が非常に健闘し、またClaude 3.5 Sonnetも面白い健 […]...
論文要約性能で見る最近のLLM(2024/7)
597{icon} {views} 目的 最近いろいろなLLMが出ているが、論文要約というタスクで見たときにそれぞれがどの程度の性能/コストなのかを見ていく。コスト的と性能両方見て、どれが使いやすいのかを考えたい。 概要 […]...
Arxiv RAGによる論文サーベイの自動生成
4.3k{icon} {views} 複数のLLM(GPT/Claude3)とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソー […]...
LangChainのRecursiveCharacterTextSplitterの動作がおかしいので自作する
1.3k{icon} {views}LangChainのRecursiveCharacterTextSplitter.from_tiktoken_encoderの動作が思ってたのと違ったので、それに相当するものを自作して […]...
GeminiのアプリケーションとGeminiのAPIは全然出力が違うので気をつけましょうという話
1.5k{icon} {views} Gemini AdvancedやGeminiのようなアプリケーションとしてのGeminiと、Google Cloud上のモデル/LLMとしてのGeminiは全く異なる出力をします。最 […]...
Vertex AIからGeminiのAPIを呼び出す
358{icon} {views} Google Cloudのサービスアカウントがある場合に、Vertex AIからGeminiのAPIをサクッと動かす方法のメモ。とりあえず試したいときに。 前提 サービスアカウントのJ […]...
LLMに検索エンジンの検索ワードを生成させる(AI王データセット)
514{icon} {views} 検索エンジンの結果を利用してRAGをするために、LLMを使って検索ワードを自動生成させたい。AI王データセットの中から、GPTの知識だけでは解けない問題を選択し、定量評価することで、プ […]...
OpenAIの新しいEmbeddingAPIをlivedoorニュースコーパスで試す
666{icon} {views} OpenAIの新しいEmbedding APIを試してみました。Embedding APIをテキスト分類のバックボーンとして使用し、ロジスティック回帰を行います。Livedoorニュー […]...
GPT-3.5/4にabc/EQIDENの問題を解かせてみた(AI王データセット)
196{icon} {views} RAGのための評価データセットの構築として「GPTの素の知識で解けない問題のデータセット」というのが必要性を増している。RAGの性能評価(特にBingチャットのような検索エンジンのRA […]...
日本語翻訳で比較するLLMと翻訳API
1.5k{icon} {views} 英語を日本語に翻訳するというタスクから、Amazon TranslateやDeepLのような翻訳APIと、GPTやClaudeのようなLLMを比較します。BLEUによる翻訳性能と、コ […]...