AWS LambdaからS3の大容量ファイルを大量並列でダウンロードする検証
34{icon} {views} LambdaでS3から1GBファイルを同時にダウンロードしても、同時実行数を500まで増やしても通信帯域はほとんどボトルネックにならず、高いスループットを維持できることが確認された。ML […]...
DockerベースLambdaとSnapStartで比較するコールドスタート最適化
40{icon} {views} DockerベースのLambdaとソースベースのLambdaでのコールドスタートを比較し、SnapStartを使った短縮効果を詳しく検証してみました。モデルのサイズやCPU命令セットの制 […]...
PyTorchモデルをONNXやOpenVINOなどで最適化する実験
292{icon} {views} Lambda上でのモデル推論で発生するコールドスタートを短縮するために、PyTorchモデルのさまざまな保存・最適化手法をEC2で比較した。結果、モデル変換が有力で、ONNXかOpen […]...
X-RayでLambdaに注釈やカスタムメタデータを付与する
21{icon} {views} Lambda関数にX-Rayを導入し、注釈やカスタムメタデータを付与して環境変数や実行時間を記録する方法をまとめています。boto3を使ったトレースログの取得コード例も含め、実際のJSO […]...
CodeBuildで作る、LambdaにEFSをマウントしてPyTorchをロード
32{icon} {views} Lambda上でPyTorchなどの大容量ライブラリを扱うため、EFSを活用して依存関係を配置する方法を解説します。CodeBuildを使ったライブラリのインストール自動化やTerraf […]...
LambdaのX-Rayを試す
47{icon} {views} LambdaでOpenAI APIを呼び出しつつ、AWS X-RayによるトレーシングをTerraformで設定する方法を解説しています。レイヤーとしてOpenAIとX-Ray SDKを […]...
CloudWatch Logsのサブスクリプションフィルターを試す
90{icon} {views} CloudWatch Logsで特定のログ出力時にLambda関数を自動起動する方法をTerraformで実装してみた。サブスクリプションフィルターの設定ポイントや実際のテスト手順を具体 […]...
API Gatewayのカナリアリリースを試す
64{icon} {views} Terraformを使用してAPI Gatewayのカナリアリリースを実装し、ステージ変数を活用してトラフィックを動的に異なるLambda関数へルーティングする方法を解説します。これによ […]...
DockerでAWS LambdaのレイヤーのZipファイルを一括生成する
67{icon} {views} 複数のrequirements.txtファイルから、AWS Lambda用のレイヤーZipファイルを自動生成します。Dockerを使用して一括で生成することで、レイヤーファイルの手作業作 […]...
yum for Lambda(yumda)でAWS LambdaのレイヤーにPopplerを入れる
241{icon} {views} yum for Lambda(yumda)を使って、yum installで入れられるライブラリをLambdaのレイヤーとして導入してみました。これを使うと、LambdaのDocker […]...