タグ: LangChain

OpenAIのChatGPT APIの並列化を試す(LangChain)

1.6k{icon} {views} 大量のデータをChatGPTで推論したいときに、並列化したらどの程度速くなったのかを実験してみました。振れ幅はかなり大きいですが、かなり並列化の効果はありました。 はじめに Chat […]...

LangChainでConversationMemoryBufferのトークン数対策をする

4.8k{icon} {views} LangChainでChatGPTを使っていると、特に長時間や長い文章・指示を入れて会話するときにトークン数が問題になります。プロンプトに入れる会話履歴を選別するプロセスが必要になる […]...