LLaMA.cpp+(cu)BLASのCPU/GPUのスループット検証(AWS編)
171{icon} {views} AWSのEC2環境でのLLaMA.cppのスループットをCPU,GPUインスタンスで比較してみました。結論としてはGPUのほうが良さそうということですが、インスタンスあたりのコストを考 […]...
HMAC(メッセージ認証)をAWS Lambdaで動かしたときのスループットを確かめる
98{icon} {views} API Gatewayなどに対してLambdaで認証をかける場合に、SHAベースのHMAC(メッセージ認証)のスループットを調べてみました。Lambdaのスペックを変えながら、ペイロード […]...
docker-composeを使ってLambda用のAWSプロファイルを切り替える
314{icon} {views} Dockerを使ってLambdaをデプロイします。ローカルではAWSの名前付きプロファイルを使って、コードに変更を加えずに、AWSにデプロイする場合は工夫が必要になります。docker […]...
FastAPI+MessagePackで画像とメタデータを一緒にPOSTする
1k{icon} {views} FastAPIで画像とメタデータ(テキストやリストなど)を一緒に、1つのオブジェクトとしてPOSTする方法を解説します。MessagePackで全部丸々固めてしまうやり方で、サクッと作り […]...
argparseのハイフン置き換え仕様でハマった
2.2k{icon} {views} argparseではハイフンのコマンドライン引数をアンダーバーに置き換える仕様があります。これはPythonの言語仕様の都合によるものですが、思わぬハマり方をしたので自分のメモ用に書 […]...