カテゴリー: LLM

46{icon} {views} LLM推論にかかるGPUインスタンス料金やトークン生成速度、サービス提供単価などを数式で統合し、黒字化の条件を理論的に示した。実験結果では、GPU以外のボトルネックの影響は小さく、高い稼 […]...

115{icon} {views} OpenAIがGPT-4.5をリリースし、画像入出力やSVG生成などのマルチモーダル機能が大幅に強化された。その一方でモデルの大規模化に伴い高額な利用料金がネックになっている。 解禁さ […]...

156{icon} {views} LLM推論時にGPU以外が占める遅延要因（SQSのバッチ処理やログ書き込み等）を実験的に検証し、オーバーヘッドは入力トークン数に対してほぼ線形に近似できることを示した。トークナイザーの […]...

220{icon} {views} 画像とテキストの組み合わせで「ボケて」を学習させるため、GPT-4oをファインチューニングしてみた。じわじわくる系の面白さは学習できたものの、OpenAIのコンプライアンスが厳しく、多 […]...

1.1k{icon} {views} Arxivの検索APIを使い自動的にサーベイを行うArxiv RAGを最近のLLMで調べてみました。Gemini 1.5が非常に健闘し、またClaude 3.5 Sonnetも面白い […]...

819{icon} {views} 目的 最近いろいろなLLMが出ているが、論文要約というタスクで見たときにそれぞれがどの程度の性能/コストなのかを見ていく。コスト的と性能両方見て、どれが使いやすいのかを考えたい。 概要 […]...

4.9k{icon} {views} 複数のLLM（GPT/Claude3）とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソー […]...

1.6k{icon} {views}LangChainのRecursiveCharacterTextSplitter.from_tiktoken_encoderの動作が思ってたのと違ったので、それに相当するものを自作して […]...

2.1k{icon} {views} Gemini AdvancedやGeminiのようなアプリケーションとしてのGeminiと、Google Cloud上のモデル/LLMとしてのGeminiは全く異なる出力をします。最 […]...

465{icon} {views} Google Cloudのサービスアカウントがある場合に、Vertex AIからGeminiのAPIをサクッと動かす方法のメモ。とりあえず試したいときに。 前提 サービスアカウントのJ […]...