주요 옵티마이저 종류1 Optimizer 딥러닝에서 옵티마이저 (Optimizer)는 모델의 학습 과정에서 손실 함수(Loss Function) 값을 최소화하기 위해가중치(weights)를 업데이트 하는 알고리즘을 의미합니다.효과적인 옵티마이저의 선택은 모델의 수렴 속도와 최종 성능에 큰 영향을 미칩니다. 주요 옵티마이저 종류SGD (Stocastic Gradient Descent)전체 데이터셋이 아닌 무작위로 선택된 일부 데이터(미니배치)를 사용하여 가중치를 업데이트 합니다.계산 효율성이 높지만 학습 과정에서 진동이 발생할 수 있습니다. Momentum이전 기울기 정보에 관성을 부여하여 현재 기울기에 더해줌으로써수렴속도를 높이고, Local Minimum에 빠지는 것을 방지합니다. NAG (Nesterov Accelerated Gradient.. 2024. 11. 26. 이전 1 다음