SwinTransformerで転移学習（EfficientNet/ResNet50との比較）
8.7k{icon} {views} Swin Transformerを転移学習してみます。1から学習させる場合と異なり、そこまで強いData Augmentationをかけなくても訓練は安定します。訓練済み係数も含め、 […]...
SwinTransformerでCIFAR-10を一から訓練する
5.3k{icon} {views} 画像のTransformer系で有望なモデルである「Swin Transformer」でCIFAR-10を1から訓練してみました。1からの訓練はCNNほど楽ではありませんが、流行りの […]...
Cosine DecayとWarmupを同時にこなすスケジューラー（timm使用）
17.2k{icon} {views} 学習初期は徐々に学習率を上げていく「Warmup」と、学習率をなめらかに下げていく「Cosine Annealing」を1つのオプティマイザーとして楽に実装する方法を、timmライ […]...