LangChainのRecursiveCharacterTextSplitterの動作がおかしいので自作する
1.3k{icon} {views}LangChainのRecursiveCharacterTextSplitter.from_tiktoken_encoderの動作が思ってたのと違ったので、それに相当するものを自作して […]...
asyncioを使ったLangChain+Streamlitでの非同期処理:複数のストリーミングチャットを同時に動かす
4k{icon} {views} asyncioを使い、StreamlitのUIを非同期化することを目指します。非同期化することで、複数のストリーミングチャットを同時に動かすことが可能になります。LangChainとの統 […]...
OpenAIのChatGPT APIの並列化を試す(LangChain)
1.9k{icon} {views} 大量のデータをChatGPTで推論したいときに、並列化したらどの程度速くなったのかを実験してみました。振れ幅はかなり大きいですが、かなり並列化の効果はありました。 はじめに Chat […]...
LangChainでConversationMemoryBufferのトークン数対策をする
5.3k{icon} {views} LangChainでChatGPTを使っていると、特に長時間や長い文章・指示を入れて会話するときにトークン数が問題になります。プロンプトに入れる会話履歴を選別するプロセスが必要になる […]...
LangChainのChatAgentのデフォルトのプロンプトをのぞく
5.3k{icon} {views} LangChainのAgentをカスタムできると自由度が上がりますが、LangChainのAgentがいまいちブラックボックスだった感があったので、デフォルトのプロンプトを解剖してみ […]...