タグ: ONNX

PyTorchモデルをONNXやOpenVINOなどで最適化する実験

2k{icon} {views} Lambda上でのモデル推論で発生するコールドスタートを短縮するために、PyTorchモデルのさまざまな保存・最適化手法をEC2で比較した。結果、モデル変換が有力で、ONNXかOpenV […]...

DockerでGPU版ONNXを使ってみる

3.4k{icon} {views} DockerでGPU版をONNXを動かしてみました。比較的に簡単に動かせたので、いろいろ便利だと思います。YOLOXを例に検証します。 概要 ONNXRuntimeのGPU版をDoc […]...