하이퍼파라미터 (기계 학습)
하이퍼파라미터(Hyperparameter (machine learning))는 기계 학습에서 학습 속도나 옵티마이저 선택과 같은 매개변수로, 학습 프로세스의 세부 사항을 지정하므로 하이퍼파라미터라는 이름이 붙었다. 이는 모델 자체를 결정하는 매개변수와 대조된다.
하이퍼파라미터는 모델 하이퍼파라미터로 분류될 수 있으며, 목적 함수는 일반적으로 이에 대해 미분할 수 없기 때문에 기계를 훈련 세트에 맞추는 동안 추론할 수 없다. 결과적으로 그래디언트 기반 최적화 방법을 직접 적용할 수 없다. 모델 하이퍼파라미터의 예로는 신경망의 토폴로지와 크기가 있다. 알고리즘 하이퍼파라미터의 예로는 학습률, 배치 크기, 미니 배치 크기 등이 있다. 배치 크기는 미니 배치 크기가 더 작은 샘플 세트인 전체 데이터 샘플을 참조할 수 있다.
다양한 모델 훈련 알고리즘에는 다양한 하이퍼파라미터가 필요하며, 일부 간단한 알고리즘(예: 일반 최소 제곱 회귀)에는 아무 것도 필요하지 않다. 이러한 하이퍼파라미터가 주어지면 훈련 알고리즘은 데이터에서 매개변수를 학습한다. 예를 들어 LASSO는 일반 최소제곱회귀에 정규화 하이퍼파라미터를 추가하는 알고리즘으로, 훈련 알고리즘을 통해 매개변수를 추정하기 전에 먼저 설정해야 하는 알고리즘이다.