論文まとめ:Extreme Compression for Pre-trained Transformers Made Simple and Efficient
620{icon} {views} タイトル:Extreme Compression for Pre-trained Transformers Made Simple and Efficient 著者:Xiaoxia W […]...
SwinTransformerで転移学習(EfficientNet/ResNet50との比較)
8.4k{icon} {views} Swin Transformerを転移学習してみます。1から学習させる場合と異なり、そこまで強いData Augmentationをかけなくても訓練は安定します。訓練済み係数も含め、 […]...
SwinTransformerでCIFAR-10を一から訓練する
5.2k{icon} {views} 画像のTransformer系で有望なモデルである「Swin Transformer」でCIFAR-10を1から訓練してみました。1からの訓練はCNNほど楽ではありませんが、流行りの […]...
「Patches Are All You Need?」のからくりを読み解く
2.8k{icon} {views} ICLR2022のレビューとして投稿された「Patches Are All You Need?」という論文が気になったので読んでみて、少し試してみました。画像の高周波の成分の活用や、 […]...