LLMに検索エンジンの検索ワードを生成させる(AI王データセット)
545{icon} {views} 検索エンジンの結果を利用してRAGをするために、LLMを使って検索ワードを自動生成させたい。AI王データセットの中から、GPTの知識だけでは解けない問題を選択し、定量評価することで、プ […]...
論文まとめ:WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models
349{icon} {views} タイトル:WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models 著者:Hongliang […]...
OpenAIの新しいEmbeddingAPIをlivedoorニュースコーパスで試す
701{icon} {views} OpenAIの新しいEmbedding APIを試してみました。Embedding APIをテキスト分類のバックボーンとして使用し、ロジスティック回帰を行います。Livedoorニュー […]...
GPT-3.5/4にabc/EQIDENの問題を解かせてみた(AI王データセット)
203{icon} {views} RAGのための評価データセットの構築として「GPTの素の知識で解けない問題のデータセット」というのが必要性を増している。RAGの性能評価(特にBingチャットのような検索エンジンのRA […]...
論文まとめ:Gemini: A Family of Highly Capable Multimodal Models
393{icon} {views} タイトル:Gemini: A Family of Highly Capable Multimodal Models 著者:Gemini Team((842 additional aut […]...
S3 Express One Zoneを使ったときのメモ
192{icon} {views} re:Invent2023で発表された、AWSのS3の新機能である「S3 Express One Zone」を使って、定期削除をしようとしたら結構ハマったのでメモを書いておきます。 内 […]...
GradioとStreamlitのアプリをnginxでサブディレクトリにルーティングさせる
1k{icon} {views} 1つのドメイン直下にサブディレクトリを作り、複数のGradio、Streamlitのアプリを配置するパターンをコンテナベースで実装してみます。nginxによるリバースプロキシを使います。 […]...
論文まとめ:Weak to Strong Generalization: Eliciting Strong Capabilities with Weak SUPERVISION
328{icon} {views} タイトル:Weak to Strong Generalization: Eliciting Strong Capabilities with Weak SUPERVISION 著者:O […]...
PDFMinerを並列化して読み込みを高速化する
531{icon} {views} PDFMinerというMITライセンスで利用できる、PythonベースのPDFパーサーを並列化する方法を紹介します。このライブラリ、パースが遅いというデメリットがあるのですが、並列化が […]...
論文まとめ:Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets
540{icon} {views} タイトル:Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets 著者:Stab […]...