S3 Express One Zoneを使ったときのメモ

67{icon} {views} re:Invent2023で発表された、AWSのS3の新機能である「S3 Express One Zone」を使って、定期削除をしようとしたら結構ハマったのでメモを書いておきます。 内容 […]...

PDFMinerを並列化して読み込みを高速化する

201{icon} {views} PDFMinerというMITライセンスで利用できる、PythonベースのPDFパーサーを並列化する方法を紹介します。このライブラリ、パースが遅いというデメリットがあるのですが、並列化が […]...

日本語翻訳で比較するLLMと翻訳API

743{icon} {views} 英語を日本語に翻訳するというタスクから、Amazon TranslateやDeepLのような翻訳APIと、GPTやClaudeのようなLLMを比較します。BLEUによる翻訳性能と、コス […]...

MoviePyで一定間隔でフレームを抽出する

510{icon} {views} MoviePyを使い、動画から一定間隔でフレームを抽出する方法を見ていきます。iter_framesを使うとできます。動画編集と組み合わせたいときにこの方法は便利です。 はじめに 動画 […]...