CLIPに対していろいろ条件を変えてLoRAを訓練してみた(PyTorch Lightning)
1k{icon} {views} CLIPに対してLoRAを適用して、いろいろ条件を変えて画像分類モデルを訓練した。Few-shotやパラメーター数に対しては従来のファインチューニングと同じだが、rとαとバランスを考慮す […]...
SwinTransformerでCIFAR-10を一から訓練する
5.3k{icon} {views} 画像のTransformer系で有望なモデルである「Swin Transformer」でCIFAR-10を1から訓練してみました。1からの訓練はCNNほど楽ではありませんが、流行りの […]...