Transformers documentation

하이퍼파라미터 탐색

You are viewing v5.23.0 version. A newer version v5.24.0 is available.
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

하이퍼파라미터 탐색

학습률, 배치 크기, 에포크 수와 같은 하이퍼파라미터는 학습 결과에 큰 영향을 미칩니다. Trainer.hyperparameter_search()는 서로 다른 값의 조합으로 여러 번의 시도를 수행하여 최적의 조합을 찾아 반환합니다.

각 trial은 model_init로 새로운 모델을 초기화하고, 새로운 하이퍼파라미터를 샘플링하며, 전체 학습 루프를 실행한 후 검색 백엔드에 목적 함수 값을 보고합니다. 백엔드는 각 목적 함수 값을 기반으로 다음 trial을 결정합니다. 모든 trial이 완료되면 최적의 하이퍼파라미터가 ~trainer.utils.BestRun으로 반환됩니다.

모델 초기화

이전 실행의 상태를 피하기 위해 각 trial을 새로운 모델로 시작합니다. model_init은 각 trial 시작 시 호출되어 새로운 모델 인스턴스를 반환하므로, 모든 trial이 동일한 초기 가중치에서 시작됩니다.

from transformers import AutoModelForCausalLM

def model_init(trial):
    return AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-0.6B")

trainer = Trainer(
    model_init=model_init,
    args=args,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
)

model=와 model_init=를 함께 전달하지 마세요. 그렇지 않으면 Trainer가 오류를 발생시킵니다.

검색 공간 정의

검색 공간을 정의하는 함수를 생성합니다. 형식은 백엔드에 따라 다릅니다. hp_space 함수를 정의하지 않으면 기본 검색은 learning_rate, num_train_epochs, per_device_train_batch_size를 대상으로 합니다.

# install one of these hyperparam search backends
pip install optuna
pip install wandb
pip install ray[tune]
Optuna
Ray Tune
Weights & Biases

Optuna는 하이퍼파라미터 최적화를 위한 경량 프레임워크입니다.

def hp_space(trial):
    return {
        "learning_rate": trial.suggest_float("learning_rate", 1e-6, 1e-4, log=True),
        "per_device_train_batch_size": trial.suggest_categorical("per_device_train_batch_size", [16, 32, 64, 128]),
    }

검색 실행

최적화 목표를 정의하기 위해 선택적으로 compute_objective 함수를 제공할 수 있습니다. eval_loss가 존재하면 기본적으로 이를 사용하며, 그렇지 않으면 모든 메트릭 값의 합을 사용합니다. 이러한 폴백에 의존하지 않으려면 명시적인 함수를 전달하세요. 탐색 backend는 주어진 direction으로 n_trials번 실행에 걸쳐 목표를 최적화합니다.

def compute_objective(metrics):
    return metrics["eval_loss"]

best_run = trainer.hyperparameter_search(
    hp_space=hp_space,
    compute_objective=compute_objective,
    n_trials=30,               # how many trials to run
    direction="minimize",      # or "maximize" for metrics like accuracy/F1
    backend="optuna",          # "optuna", "ray", or "wandb"
)

hyperparameter_search()는 목적 함수 값과 최적의 하이퍼파라미터 조합을 포함하는 ~trainer.utils.BestRun을 반환합니다.

best_run = trainer.hyperparameter_search(...)

best_run.objective        # 0.38  (best eval loss)
best_run.hyperparameters  # {"learning_rate": 5e-5, "num_train_epochs": 4, ...}

가장 좋은 하이퍼파라미터를 TrainingArguments에 적용하고 전체 데이터셋으로 다시 학습합니다.

Update on GitHub