하이퍼 파라미터 튜닝

하이퍼 파라미터란? 

모델 학습 과정에서 사용자가 설정해야 하는 값으로, 모델의 성능에 큰 영향을 미친다. 

종류

 

학습률 (Learning Rate)

• 모델의 가중치를 업데이트하는 속도를 결정한다.
• 너무 크면 학습이 불안정해지고, 너무 작으면 학습이 느려진다.
• 일반적으로 0.1, 0.01, 0.001 등의 값을 시도해 볼 수 있다.

배치 크기 (Batch Size)

• 한 번의 업데이트에 사용되는 데이터 샘플의 수를 결정한다. 
• 큰 배치크기는 학습 속도를 높이지만 메모리 사용량이 증가한다.
• 일반적으로 32, 64, 128 등의 값을 시도해 볼 수 있다. 

에포크 수 (Number of Epochs)

• 전체 데이터 셋을 몇 번 반복하여 학습할지를 결정한다. 
• 너무 적으면 과소적합이 발생하고, 너무 많으면 과적합이 발생할 수 있다. 
• 조기종료 기법을 사용하여 적절한 에포크 수를 결정할 수 있다.

모멘텀 (Momentum)

• 이전 기울기를 현재 기울기에 반영하여 학습 속도를 높이고 진동을 줄인다.
• 일반적으로 0.9, 0.99 등의 값을 시도해 볼 수 있다. 

가중치 초기화 (Weight Initialization)

• 모델의 가중치를 초기화하는 방법을 결정한다. 
• 일반적으로 Xavier 초기화(sigmoid, Tanh함수를 쓰는 경우 사용), He 초기화(ReLU함수를 쓰는 경우 사용) 등을 사용한다.

 

하이퍼 파라미터 자동 튜닝 기법

 

Grid Search 

하이퍼파라미터의 모든 조합을 시도하여 최적의 값을 찾는다. 계산 비용이 많이 들지만, 모든 조합을 탐색할 수 있다.

 

Random Search

무작위로 값을 선택하여 최적의 값을 찾는다. Grid Search 보다 계산 비용이 적고, 더 넓은 하이퍼파라미터 공간을 탐색할 수 있다.

 

Bayesian Optimization

이전 평과 결과를 바탕으로 다음 평가할 하이퍼파라미터를 선택한다. 계산 비용이 적고, 효율적으로 최적의 값을 찾을 수 있다.