딥러닝관련/Techniques2 Learning rate Warmup 요즘 코드들을 보고 있으면 Learning rate warm-up scheduler가 종종 보인다. 이는 논문 Bag of Tricks for Image Classification with Convolutional Neural Networks (2018) 에 나온 학습 방법 중 하나라고 하며 https://arxiv.org/abs/1812.01187 Bag of Tricks for Image Classification with Convolutional Neural Networks Much of the recent progress made in image classification research can be credited to training procedure refinements, such as ch.. 2021. 12. 27. CosineAnnealingLR Set the learning rate of each parameter group using a cosine annealing schedule. Cosine 그래프를 그리면서 learning rate가 진동하는 방식. T_max : 반주기의 단계 크기값eta_min : 최소값 T_max가 100이면 반주기로 eta_min을 찍었다가 한 주기가 다 끝나면 다시 T_max로 올라갈 것임 참조 https://pytorch.org/docs/stable/generated/torch.optim.lr_scheduler.CosineAnnealingLR.html CosineAnnealingLR — PyTorch 1.9.1 documentation Shortcuts pytorch.org https://gaussian37... 2021. 10. 20. 이전 1 다음
