CosineAnnealingLR

Set the learning rate of each parameter group using a cosine annealing schedule.

 

Cosine 그래프를 그리면서 learning rate가 진동하는 방식.

 

T_max : 반주기의 단계 크기값eta_min : 최소값

 

이미지 출처 : https://gaussian37.github.io/assets/img/dl/pytorch/lr_scheduler/7.png

T_max가 100이면 반주기로 eta_min을 찍었다가 한 주기가 다 끝나면 다시 T_max로 올라갈 것임

 

참조

https://pytorch.org/docs/stable/generated/torch.optim.lr_scheduler.CosineAnnealingLR.html

CosineAnnealingLR — PyTorch 1.9.1 documentation

https://gaussian37.github.io/dl-pytorch-lr_scheduler/

Pytorch Learning Rate Scheduler (러닝 레이트 스케쥴러) 정리