LLMに検索エンジンの検索ワードを生成させる(AI王データセット)
432{icon} {views} 検索エンジンの結果を利用してRAGをするために、LLMを使って検索ワードを自動生成させたい。AI王データセットの中から、GPTの知識だけでは解けない問題を選択し、定量評価することで、プ […]...
OpenAIのChatGPT APIの並列化を試す(LangChain)
1.8k{icon} {views} 大量のデータをChatGPTで推論したいときに、並列化したらどの程度速くなったのかを実験してみました。振れ幅はかなり大きいですが、かなり並列化の効果はありました。 はじめに Chat […]...
Jupyter Lab上からChatGPTを使える「Jupyter AI」をDockerから利用する
1.2k{icon} {views} Jupyter Lab上から簡単にChatGPTを使える「Jupyter AI」をカスタムDockerで動かしてみました。使用するライブラリに応じてオリジナルな開発環境を自在に構築す […]...
GPT-4と画像生成を組み合わせたらヤバすぎた
22.7k{icon} {views} GPT-4/ChatGPTと画像生成(Stable Diffusion)の組み合わせを試したら、とんでもないクォリティのイラストができたので記事にしました。GPT-4に情景描写をさ […]...
LangChainでConversationMemoryBufferのトークン数対策をする
5.2k{icon} {views} LangChainでChatGPTを使っていると、特に長時間や長い文章・指示を入れて会話するときにトークン数が問題になります。プロンプトに入れる会話履歴を選別するプロセスが必要になる […]...
LangChainのChatAgentのデフォルトのプロンプトをのぞく
5.2k{icon} {views} LangChainのAgentをカスタムできると自由度が上がりますが、LangChainのAgentがいまいちブラックボックスだった感があったので、デフォルトのプロンプトを解剖してみ […]...