이 모델은 2021-06-25에 HF papers에 게시되었으며, 2024-03-13에 Hugging Face Transformers에 기여되었습니다.

Pyramid Vision Transformer V2 (PVTv2)

개요

PVTv2 모델은 Wenhai Wang, Enze Xie, Xiang Li, Deng-Ping Fan, Kaitao Song, Ding Liang, Tong Lu, Ping Luo, Ling Shao가 발표한 PVT v2: Improved Baselines with Pyramid Vision Transformer 논문에서 제안되었습니다. PVT의 개선된 변형인 이 모델은 위치 임베딩을 사용하지 않고, 제로 패딩과 겹치는 패치 임베딩을 통해 인코딩된 위치 정보에 의존합니다. 위치 임베딩에 대한 의존도가 없으므로 아키텍처가 단순해지며, 보간 없이任意의 해상도로 추론을 실행할 수 있습니다.

PVTv2 인코더 구조는 의미 분할을 위한 Segformer, 단안 심도를 위한 GLPN, 팬옵틱 분할을 위한 Panoptic Segformer에서 최첨단 점수를 달성하도록 성공적으로 배포되었습니다.

PVTv2은 계층적 트랜스포머 모델 계열에 속하며, 다중 스케일 특징 맵을 생성하기 위해 트랜스포머 레이어에 적응을 가합니다. Vision Transformer(ViT)의 열 구조는 세밀한 세부 정보를 잃어버리는 반면, 다중 스케일 특징 맵은 이러한 세부 정보를 보존하고 밀집 예측 작업의 성능을 높이는 데 도움이 되는 것으로 알려져 있습니다. PVTv2의 경우, 각 인코더 레이어에서 겹치는 커널을 사용한 2D 합성곱을 통해 이미지 패치 토큰을 생성함으로써 이를 구현합니다.

계층적 transformer의 다중 스케일 특징 덕분에, ResNet과 같은 전통적인 컴퓨터 비전 백본 모델을 더 큰 아키텍처에서 쉽게 대체할 수 있습니다. Segformer와 Panoptic Segformer 모두 백본으로 PVTv2를 사용한 구성이 유사한 크기의 ResNet 백본을 사용한 구성보다 일관되게 우수한 성능을 보였음을 입증했습니다.

PVTv2의 또 다른 강력한 기능은 Spatial Reduction Attention(SRA)라고 불리는 셀프 어텐션 레이어의 복잡도 감소입니다. SRA는 2D 컨볼루션 레이어를 사용하여 히든 상태를 더 작은 해상도로 투영한 후 쿼리로 어텐션을 수행하여 $O(n^2)$ 셀프 어텐션의 복잡도를 $O(n^2/R)$로 줄여주며, 여기서 $R$ 는 공간 감소 비율(sr_ratio, 2D 컨볼루션의 커널 크기와 스트라이드와 동일)입니다.

SRA는 PVT에서 도입되었으며, PVTv2에서 기본적으로 사용되는 attention 복잡도 감소 방법입니다. 그러나 PVTv2에서는 이미지 크기에 선형적으로 비례하는 self-attention 메커니즘을 사용할 수 있는 옵션도 도입했는데, 이를 “Linear SRA”라고 부릅니다. 이 방법은 average pooling을 사용하여 hidden states를 원래 해상도에 무관한 고정된 크기로 축소합니다(단, 이는 일반적인 SRA보다 본질적으로 더 많은 정보를 손실합니다). 이 옵션은 PVTv2Config에서 linear_attention을 True로 설정하여 활성화할 수 있습니다.

논문에서 발췌한 초록

Transformer는 최근 컴퓨터 비전 분야에서 고무적인 진전을 보여주고 있습니다. 본 연구에서는 선형 복잡도 어텐션 레이어, 겹치는 패치 임베딩, 합성곱 피드포워드 네트워크라는 세 가지 설계를 추가하여 원래의 Pyramid Vision Transformer(PVT v1)을 개선함으로써 새로운 베이스라인을 제시합니다. 이러한 수정을 통해 PVT v2는 PVT v1의 계산 복잡도를 선형으로 줄이고, 분류, 감지, 분할과 같은 기본 비전 작업에서 상당한 성능 향상을 달성합니다. 특히, 제안된 PVT v2는 Swin Transformer와 같은 최근 연구들과 동등하거나 더 나은 성능을 보입니다. 본 연구가 컴퓨터 비전 분야의 최첨단 Transformer 연구에 도움이 되기를 바랍니다. 코드는 https://github.com/whai362/PVT에서 사용할 수 있습니다.

이 모델은 FoamoftheSea가 기여했습니다. 원본 코드는 여기에서 찾을 수 있습니다.

사용 팁

• PVTv2는 계층형 transformer 모델로, 이미지 분류를 비롯한 다양한 작업에서 뛰어난 성능을 입증했으며, Segformer의 의미론적 분할, GLPN의 단안 깊이 추정, Panoptic Segformer의 팬옵틱 분할의 백본으로 사용되어 유사한 ResNet 구성보다 일관되게 높은 성능을 보여줍니다.

• PVTv2와 같은 계층적 transformer는 convolutional neural network(CNN)의 설계 요소를 인코더에 통합하여, 순수한 transformer 아키텍처에 비해 이미지 데이터에서 우수한 데이터 및 파라미터 효율성을 달성합니다. 이를 통해 번역 등가성(translation equivariance)과 국소성(locality)과 같은 CNN의 유용한 유도 편향(inductive bias)을 네트워크에 주입하면서도, transformers의 self-attention 메커니즘이 제공하는 동적 데이터 응답 및 전역 관계 모델링의 이점을 함께 누리는 양쪽의 장점을 결합한 아키텍처를 구성합니다.

• PVTv2는 겹치는 패치 임베딩을 사용하여 다중 스케일 특징 맵을 생성하며, 제로 패딩과 깊이별 합성곱을 통해 위치 정보를 주입합니다.

• attention layer의 복잡도를 줄이기 위해, PVTv2는 strided 2D convolution(SRA) 또는 고정 크기 average pooling(Linear SRA)을 사용하여 hidden states에 spatial reduction을 수행합니다. 본질적으로 더 많은 정보가 손실되지만, Linear SRA는 이미지 크기에 대해 선형 복잡도를 가지며 인상적인 성능을 제공합니다. self-attention layer에서 Linear SRA를 사용하려면 PvtV2Config에서 linear_attention=True를 설정하세요.

• PvtV2Model은 계층적 transformer 인코더입니다(문헌에서는 Mix Transformer 또는 MiT라고도 자주 불림). PvtV2ForImageClassification은 Image Classification을 수행하기 위해 그 위에 간단한 분류기 헤드를 추가합니다. PvtV2Backbone는 Deformable DETR과 같은 더 큰 아키텍처에서 AutoBackbone 시스템과 함께 사용할 수 있습니다.

• 모든 모델 크기에 대한 ImageNet 사전 학습 가중치는 hub에서 찾을 수 있습니다.

  PVTv2를 시작하는 가장 좋은 방법은 AutoModelForImageClassification를 사용하여 원하는 크기의 사전 학습된 체크포인트를 로드하는 것입니다:

import requests
import torch
from PIL import Image

from transformers import AutoImageProcessor, AutoModelForImageClassification


model = AutoModelForImageClassification.from_pretrained("OpenGVLab/pvt_v2_b0", device_map="auto")
image_processor = AutoImageProcessor.from_pretrained("OpenGVLab/pvt_v2_b0")
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
processed = image_processor(image)
outputs = model(torch.tensor(processed["pixel_values"]))

DeformableDETR와 같은 더 복잡한 아키텍처의 백본으로 PVTv2를 사용하려면 AutoBackbone을 사용할 수 있습니다(이 모델은 사전 학습된 모델의 백본을 교체하는 것이므로 미세 조정(fine-tuning)이 필요하며, 무작위 가중치로 초기화됩니다):

import requests
import torch
from PIL import Image

from transformers import AutoConfig, AutoImageProcessor, AutoModelForObjectDetection


model = AutoModelForObjectDetection.from_config(
    config=AutoConfig.from_pretrained(
        "SenseTime/deformable-detr",
        backbone_config=AutoConfig.from_pretrained("OpenGVLab/pvt_v2_b5"),
    ),
)

image_processor = AutoImageProcessor.from_pretrained("SenseTime/deformable-detr")
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
processed = image_processor(image)
outputs = model(torch.tensor(processed["pixel_values"]))

모델 크기(B0-B5)별 ImageNet-1K에서 PVTv2 성능:

PvtV2Config

>>> from transformers import PvtV2Model, PvtV2Config

>>> # Initializing a pvt_v2_b0 style configuration
>>> configuration = PvtV2Config()

>>> # Initializing a model from the OpenGVLab/pvt_v2_b0 style configuration
>>> model = PvtV2Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

PvtForImageClassification

>>> from transformers import AutoImageProcessor, PvtV2ForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("OpenGVLab/pvt_v2_b0")
>>> model = PvtV2ForImageClassification.from_pretrained("OpenGVLab/pvt_v2_b0")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...

PvtModel