Cosine DecayとWarmupを同時にこなすスケジューラー(timm使用)
16.1k{icon} {views} 学習初期は徐々に学習率を上げていく「Warmup」と、学習率をなめらかに下げていく「Cosine Annealing」を1つのオプティマイザーとして楽に実装する方法を、timmライ […]...
KerasのLearningRateSchedulerとPyTorchのLambdaLRの微妙な違い
4.6k{icon} {views} 学習率の調整は大事です。エポック後に学習率を減衰させる際、現在のエポックを引数として更新後の学習率を返す関数を与えると便利なことが多いです。この操作はKeras,PyTorchどちら […]...
KerasのLearningRateSchedulerを使って学習率を途中で変化させる
47.4k{icon} {views} ディープラーニングで学習が進んだあとに学習率を下げたいときがときどきあります。Kerasでは学習率を減衰(Learning rate decay)させるだけではなく、epoch数に […]...