整数計画法で不均衡データを均衡サンプリング(PuLP併用)
29{icon} {views} 整数計画法(PuLP)を使えば小規模データでTrue/Falseの偏りをほぼ1:1にでき、最適解が得られます。一方、大規模データでは厳密解よりスピードを重視するグリーディ法が有効です。 […]...
GitHub ActionsでPythonプログラムの実行
93{icon} {views} GitHub Actionsを使い、requirements.txtで依存パッケージをインストールしてからPythonスクリプトを実行するワークフロー設定例。 無料枠があるため手軽に試す […]...
論文まとめ:Expanding Performance Boundaries of Open-Source Multimodal Models with Model, Data, and Test-Time Scaling
156{icon} {views} タイトル:Expanding Performance Boundaries of Open-Source Multimodal Models with Model, Data, and […]...
OpenSearchとOpenSearch Dashboardsによるダッシュボード作成(ローカルDocker)
672{icon} {views} 本記事では、OpenSearchとOpenSearch Dashboardsを使用して、商品別の売上データを可視化する方法を紹介します。ダミーデータの作成から環境構築、データの登録、ダ […]...
GradioとStreamlitのアプリをnginxでサブディレクトリにルーティングさせる
1.3k{icon} {views} 1つのドメイン直下にサブディレクトリを作り、複数のGradio、Streamlitのアプリを配置するパターンをコンテナベースで実装してみます。nginxによるリバースプロキシを使いま […]...
PDFMinerを並列化して読み込みを高速化する
652{icon} {views} PDFMinerというMITライセンスで利用できる、PythonベースのPDFパーサーを並列化する方法を紹介します。このライブラリ、パースが遅いというデメリットがあるのですが、並列化が […]...
MoviePyで一定間隔でフレームを抽出する
1.2k{icon} {views} MoviePyを使い、動画から一定間隔でフレームを抽出する方法を見ていきます。iter_framesを使うとできます。動画編集と組み合わせたいときにこの方法は便利です。 はじめに 動 […]...
Streamlitで動的に作ったコンテンツをダウンロードする方法
5k{icon} {views} Streamlitでメソッドなどで作った動的なデータについて、ボタンをクリックするとダウンロードするような処理を実装します。これは2023年10月現在のStreamlitでは不可能ですが […]...
asyncioを使ったLangChain+Streamlitでの非同期処理:複数のストリーミングチャットを同時に動かす
5.2k{icon} {views} asyncioを使い、StreamlitのUIを非同期化することを目指します。非同期化することで、複数のストリーミングチャットを同時に動かすことが可能になります。LangChainと […]...
Streamlit+LangChainでストリーミング対応しつつPDFに複数の質問をさせる
2.3k{icon} {views} Streamlit+LangChainでChatGPTのストリーミング表示を実装してみます。PDFの検索ベースで、かつテンプレートの質問を連続的に行うという実践的な例を紹介します。L […]...