DockerベースLambdaとSnapStartで比較するコールドスタート最適化
70{icon} {views} DockerベースのLambdaとソースベースのLambdaでのコールドスタートを比較し、SnapStartを使った短縮効果を詳しく検証してみました。モデルのサイズやCPU命令セットの制 […]...
PyTorchモデルをONNXやOpenVINOなどで最適化する実験
606{icon} {views} Lambda上でのモデル推論で発生するコールドスタートを短縮するために、PyTorchモデルのさまざまな保存・最適化手法をEC2で比較した。結果、モデル変換が有力で、ONNXかOpen […]...