Transformers documentation
하이퍼파라미터 탐색
하이퍼파라미터 탐색
학습률, 배치 크기, 에포크 수와 같은 하이퍼파라미터는 학습 결과에 큰 영향을 미칩니다. Trainer.hyperparameter_search()는 서로 다른 값의 조합으로 여러 번의 시도를 수행하여 최적의 조합을 찾아 반환합니다.
각 trial은 model_init로 새로운 모델을 초기화하고, 새로운 하이퍼파라미터를 샘플링하며, 전체 학습 루프를 실행한 후 검색 백엔드에 목적 함수 값을 보고합니다. 백엔드는 각 목적 함수 값을 기반으로 다음 trial을 결정합니다. 모든 trial이 완료되면 최적의 하이퍼파라미터가 ~trainer.utils.BestRun으로 반환됩니다.
모델 초기화
이전 실행의 상태를 피하기 위해 각 trial을 새로운 모델로 시작합니다. model_init은 각 trial 시작 시 호출되어 새로운 모델 인스턴스를 반환하므로, 모든 trial이 동일한 초기 가중치에서 시작됩니다.
from transformers import AutoModelForCausalLM
def model_init(trial):
return AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-0.6B")
trainer = Trainer(
model_init=model_init,
args=args,
train_dataset=train_dataset,
eval_dataset=eval_dataset,
)model=와 model_init=를 함께 전달하지 마세요. 그렇지 않으면 Trainer가 오류를 발생시킵니다.
검색 공간 정의
검색 공간을 정의하는 함수를 생성합니다. 형식은 백엔드에 따라 다릅니다. hp_space 함수를 정의하지 않으면 기본 검색은 learning_rate, num_train_epochs, per_device_train_batch_size를 대상으로 합니다.
# install one of these hyperparam search backends
pip install optuna
pip install wandb
pip install ray[tune]Optuna는 하이퍼파라미터 최적화를 위한 경량 프레임워크입니다.
def hp_space(trial):
return {
"learning_rate": trial.suggest_float("learning_rate", 1e-6, 1e-4, log=True),
"per_device_train_batch_size": trial.suggest_categorical("per_device_train_batch_size", [16, 32, 64, 128]),
}Ray Tune는 여러 머신에 걸쳐 트라이얼을 분산할 수도 있는 확장 가능한 하이퍼파라미터 튜닝 라이브러리입니다.
from ray import tune
def hp_space(trial):
return {
"learning_rate": tune.loguniform(1e-6, 1e-4),
"per_device_train_batch_size": tune.choice([16, 32, 64, 128]),
}Weights & Biases는 내장된 하이퍼파라미터 탐색 기능을 갖춘 실험 추적 플랫폼입니다. 베이지안, 랜덤, 그리드 탐색 전략을 지원합니다.
def hp_space(trial):
return {
"method": "random",
"metric": {"name": "objective", "goal": "minimize"},
"parameters": {
"learning_rate": {"distribution": "uniform", "min": 1e-6, "max": 1e-4},
"per_device_train_batch_size": {"values": [16, 32, 64, 128]},
},
}검색 실행
최적화 목표를 정의하기 위해 선택적으로 compute_objective 함수를 제공할 수 있습니다. eval_loss가 존재하면 기본적으로 이를 사용하며, 그렇지 않으면 모든 메트릭 값의 합을 사용합니다. 이러한 폴백에 의존하지 않으려면 명시적인 함수를 전달하세요. 탐색 backend는 주어진 direction으로 n_trials번 실행에 걸쳐 목표를 최적화합니다.
def compute_objective(metrics):
return metrics["eval_loss"]
best_run = trainer.hyperparameter_search(
hp_space=hp_space,
compute_objective=compute_objective,
n_trials=30, # how many trials to run
direction="minimize", # or "maximize" for metrics like accuracy/F1
backend="optuna", # "optuna", "ray", or "wandb"
)hyperparameter_search()는 목적 함수 값과 최적의 하이퍼파라미터 조합을 포함하는 ~trainer.utils.BestRun을 반환합니다.
best_run = trainer.hyperparameter_search(...)
best_run.objective # 0.38 (best eval loss)
best_run.hyperparameters # {"learning_rate": 5e-5, "num_train_epochs": 4, ...}가장 좋은 하이퍼파라미터를 TrainingArguments에 적용하고 전체 데이터셋으로 다시 학습합니다.
Update on GitHub