Transformers documentation
ConvNeXt V2
이 모델은 2023-01-02에 HF papers에 게시되었으며, 2023-03-14에 Hugging Face Transformers에 기여되었습니다.
ConvNeXt V2
개요
ConvNeXt V2 모델은 Sanghyun Woo, Shoubhik Debnath, Ronghang Hu, Xinlei Chen, Zhuang Liu, In So Kweon, Saining Xie가 ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders에서 제안했습니다. ConvNeXt V2는 Vision Transformers의 설계에서 영감을 받은 순수한 합성곱 모델(ConvNet)이며, ConvNeXT의 후속 모델입니다.
해당 논문의 초록은 다음과 같습니다:
개선된 아키텍처와 더 나은 표현 학습 프레임워크에 힘입어, 시각 인식 분야는 2020년대 초반에 빠른 현대화와 성능 향상을 이루었습니다. 예를 들어, ConvNeXt를 대표로 하는 현대적인 ConvNet은 다양한 시나리오에서 강력한 성능을 입증했습니다. 이러한 모델은 원래 ImageNet 라벨을 사용한 지도 학습을 위해 설계되었지만, masked autoencoders(MAE)와 같은 자기지도 학습 기법에서도 잠재적으로 이점을 얻을 수 있습니다. 그러나 두 접근법을 단순히 결합하면 성능이 저하된다는 것을 발견했습니다. 본 논문에서는 완전 합성곱 masked autoencoder 프레임워크와 채널 간 특징 경쟁을 강화하기 위해 ConvNeXt 아키텍처에 추가할 수 있는 새로운 Global Response Normalization(GRN) 레이어를 제안합니다. 자기지도 학습 기법과 아키텍처 개선의 이러한 공동 설계는 ConvNeXt V2라는 새로운 모델 패밀리로 이어지며, ImageNet 분류, COCO 감지, ADE20K 분할을 포함한 다양한 인식 벤치마크에서 순수 ConvNet의 성능을 크게 향상시킵니다. 또한, ImageNet에서 76.7%의 top-1 정확도를 달성하는 효율적인 3.7M 파라미터 Atto 모델부터 공개 학습 데이터만 사용하여 최첨단 88.9%의 정확도를 달성하는 650M Huge 모델까지, 다양한 크기의 사전 학습된 ConvNeXt V2 모델을 제공합니다.
ConvNeXt V2 architecture. Taken from the original paper. 이 모델은 adirik님이 기여했습니다. 원본 코드는 여기에서 확인할 수 있습니다.
리소스
ConvNeXt V2를 시작하는 데 도움이 되는 공식 Hugging Face 및 커뮤니티(🌎로 표시) 리소스 목록입니다.
- 이 노트북은 ConvNextV2ForImageClassification을 지원합니다.
여기에 포함할 리소스를 제출하고 싶으시면 Pull Request를 열어 주시면 검토하겠습니다! 기존 리소스와 중복되지 않고 새로운 것을 보여주는 것이 이상적입니다.
ConvNextV2Config
클래스 transformers.ConvNextV2Config
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonenum_channels: int = 3patch_size: int | list[int] | tuple[int, int] = 4num_stages: int = 4hidden_sizes: list[int] | tuple[int, ...] | None = (96, 192, 384, 768)depths: list[int] | tuple[int, ...] | None = (3, 3, 9, 3)hidden_act: str = 'gelu'initializer_range: float = 0.02layer_norm_eps: float = 1e-12drop_path_rate: float | int = 0.0image_size: int | list[int] | tuple[int, int] = 224_out_features: list[str] | None = None_out_indices: list[int] | None = None )
매개변수
- num_channels (
int, 선택 사항, 기본값3) — 입력 채널의 수입니다. - patch_size (
Union[int, list[int], tuple[int, int]], 선택 사항, 기본값4) — 각 패치의 크기(해상도)입니다. - num_stages (
int, 선택 사항, 기본값 4) — 모델의 스테이지 수입니다. - hidden_sizes (
Union[list[int], tuple[int, ...]], 선택 사항, 기본값(96, 192, 384, 768)) — 모델의 각 단계에서의 차원(숨김 크기). - depths (
Union[list[int], tuple[int, ...]], 선택 사항, 기본값(3, 3, 9, 3)) — Transformer의 각 레이어 깊이. - hidden_act (
str, 선택 사항, 기본값gelu) — 디코더에서 사용되는 비선형 활성화 함수(함수 또는 문자열)입니다. 예를 들어,"gelu","relu","silu"등이 있습니다. - initializer_range (
float, 선택 사항, 기본값0.02) — 모든 가중치 행렬을 초기화하는 truncated_normal_initializer의 표준 편차입니다. - layer_norm_eps (
float, 선택 사항, 기본값1e-12) — 레이어 정규화 레이어에서 사용되는 epsilon 값입니다. - drop_path_rate (
Union[float, int], 선택 사항, 기본값0.0) — 패치 융합에 사용할 드롭 패스 비율입니다. - image_size (
Union[int, list[int], tuple[int, int]], 선택 사항, 기본값224) — 각 이미지의 크기(해상도).
이것은 ConvNextV2Model의 설정을 저장하기 위한 설정 클래스입니다. 지정된 인자에 따라 Convnextv2 모델을 인스턴스화하고 모델 아키텍처를 정의하는 데 사용됩니다. 기본값으로 설정을 인스턴스화하면 facebook/convnextv2-tiny-1k-224와 유사한 설정이 생성됩니다.
Configuration 객체는 PreTrainedConfig를 상속하며 모델 출력을 제어하는 데 사용할 수 있습니다. 자세한 내용은 PreTrainedConfig의 문서를 참고하세요.
예:
>>> from transformers import ConvNeXTV2Config, ConvNextV2Model
>>> # Initializing a ConvNeXTV2 convnextv2-tiny-1k-224 style configuration
>>> configuration = ConvNeXTV2Config()
>>> # Initializing a model (with random weights) from the convnextv2-tiny-1k-224 style configuration
>>> model = ConvNextV2Model(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configConvNextV2Model
class transformers.ConvNextV2Model
< source >( config: ConvNextV2Config )
매개변수
- config (ConvNextV2Config) — 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 from_pretrained() 메서드를 확인하세요.
특정 헤드가 위에 없는 상태에서 원시 hidden-states를 출력하는 기본 Convnextv2 Model입니다.
이 모델은 PreTrainedModel에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대한 세부 사항은 상위 클래스 문서를 확인하세요.
이 모델은 또한 PyTorch torch.nn.Module의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법 및 동작과 관련된 모든 사항은 PyTorch 문서를 참조하세요.
forward
< source >( pixel_values: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPoolingAndNoAttention or tuple(torch.Tensor)
매개변수
- pixel_values (
torch.Tensor, shape(batch_size, num_channels, image_size, image_size), 선택 사항) — 입력 이미지에 해당하는 텐서입니다. 픽셀 값은 ConvNextImageProcessor를 사용하여 얻을 수 있습니다. 자세한 내용은 ConvNextImageProcessor.call()를 참조하세요 (processor_class는 이미지 처리에 ConvNextImageProcessor를 사용합니다).
반환값
BaseModelOutputWithPoolingAndNoAttention 또는 tuple(torch.Tensor)
BaseModelOutputWithPoolingAndNoAttention 또는 torch.Tensor의 튜플(return_dict=False가 전달되었거나 config.return_dict=False인 경우)로, 구성(ConvNextV2Config)과 입력에 따라 다양한 요소를 포함합니다.
ConvNextV2Model의 forward 메서드는 __call__ 특수 메서드를 오버라이드합니다.
이 함수 내에서 forward pass의 레시피를 정의해야 하지만, 이후에는 이 함수 대신
Module인스턴스를 호출해야 합니다. 전자는 전처리 및 후처리 단계를 실행하는 것을 처리하는 반면, 후자는 이를 조용히 무시하기 때문입니다.
last_hidden_state (
torch.Tensor, shape(batch_size, num_channels, height, width)) — 모델의 마지막 레이어 출력에서 생성된 hidden-state 시퀀스입니다.pooler_output (
torch.Tensor, shape(batch_size, hidden_size)) — 공간 차원에 대해 풀링 연산을 수행한 후의 마지막 레이어 hidden-state입니다.hidden_states (
tuple(torch.Tensor), 선택 사항,output_hidden_states=True가 전달되거나config.output_hidden_states=True인 경우 반환됨) —torch.Tensor의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩의 출력에 대한 것 1개 + 각 레이어의 출력에 대한 것 1개)로, 모양은(batch_size, num_channels, height, width)입니다.각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다.
ConvNextV2ForImageClassification
class transformers.ConvNextV2ForImageClassification
< source >( config: ConvNextV2Config )
매개변수
- config (ConvNextV2Config) — 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 from_pretrained() 메서드를 확인하세요.
ConvNextV2 모델은 풀링된 특징 위에 선형 레이어를 배치한 이미지 분류 헤드를 포함하며, 예를 들어 ImageNet에 사용됩니다.
이 모델은 PreTrainedModel에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대한 세부 사항은 상위 클래스 문서를 확인하세요.
이 모델은 또한 PyTorch torch.nn.Module의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법 및 동작과 관련된 모든 사항은 PyTorch 문서를 참조하세요.
forward
< source >( pixel_values: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = None**kwargs ) → ImageClassifierOutputWithNoAttention or tuple(torch.Tensor)
매개변수
- pixel_values (
torch.Tensor, shape(batch_size, num_channels, image_size, image_size), 선택 사항) — 입력 이미지에 해당하는 텐서입니다. 픽셀 값은 ConvNextImageProcessor를 사용하여 얻을 수 있습니다. 자세한 내용은 ConvNextImageProcessor.call()를 참조하세요 (processor_class는 이미지 처리에 ConvNextImageProcessor를 사용합니다). - labels (
torch.LongTensor, shape(batch_size,), 선택 사항) — 이미지 분류/회귀 손실을 계산하는 데 사용되는 라벨입니다. 인덱스는[0, ..., config.num_labels - 1]범위에 있어야 합니다.config.num_labels == 1인 경우 회귀 손실(평균 제곱 오차)이 계산되고,config.num_labels > 1인 경우 분류 손실(교차 엔트로피)이 계산됩니다.
반환값
ImageClassifierOutputWithNoAttention 또는 tuple(torch.Tensor)
torch.Tensor의 튜플 또는 ImageClassifierOutputWithNoAttention (return_dict=False가 전달되었거나 config.return_dict=False인 경우)로, 구성(ConvNextV2Config)과 입력에 따라 다양한 요소를 포함합니다.
ConvNextV2ForImageClassification의 forward 메서드는 __call__ 특수 메서드를 오버라이드합니다.
이 함수 내에서 forward pass의 레시피를 정의해야 하지만, 이후에는 이 함수 대신
Module인스턴스를 호출해야 합니다. 전자는 전처리 및 후처리 단계를 실행하는 것을 처리하는 반면, 후자는 이를 조용히 무시하기 때문입니다.
- loss (
torch.Tensor, shape(1,), 선택 사항,labels이 제공될 때 반환됨) — 분류 (또는 config.num_labels==1인 경우 회귀) 손실. - logits (
torch.Tensor, shape(batch_size, config.num_labels)) — SoftMax 적용 전 분류(또는 config.num_labels==1인 경우 회귀) 점수. - hidden_states (
tuple(torch.Tensor), 선택 사항,output_hidden_states=True가 전달되었거나config.output_hidden_states=True인 경우 반환됨) —torch.Tensor의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩의 출력에 대한 것 1개 + 각 단계의 출력에 대한 것 1개)로, 모양은(batch_size, num_channels, height, width)입니다. 각 단계의 출력에서 모델의 히든 스테이트(피처 맵이라고도 함).
예:
>>> from transformers import AutoImageProcessor, ConvNextV2ForImageClassification
>>> import torch
>>> from datasets import load_dataset
>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/convnextv2-tiny-1k-224")
>>> model = ConvNextV2ForImageClassification.from_pretrained("facebook/convnextv2-tiny-1k-224")
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...