Transformers documentation

이미지 특징 추출

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

이미지 특징 추출

이미지 특징 추출은 주어진 이미지에서 의미론적으로 의미 있는 특징을 추출하는 작업입니다. 이는 이미지 유사도 및 이미지 검색과 같은 다양한 용도로 활용됩니다. 또한, 대부분의 컴퓨터 비전 모델은 이미지 특징 추출에 사용할 수 있으며, 작업별 헤드(이미지 분류, 객체 감지 등)를 제거하면 특징을 얻을 수 있습니다. 이러한 특징은 엣지 감지, 코너 감지 등 더 높은 수준의 작업에서 매우 유용합니다. 모델의 깊이에 따라 실제 세계에 대한 정보(예: 고양이의 외형)를 포함할 수도 있습니다. 따라서 이러한 출력은 특정 데이터셋에서 새로운 분류기를 학습하는 데 사용할 수 있습니다.

이 가이드에서는 다음을 수행합니다:

  • image-feature-extraction 파이프라인을 기반으로 간단한 이미지 유사도 시스템을 구축하는 방법을 학습해 보세요.
  • …

image-feature-extraction Pipeline을 사용한 이미지 유사도

고양이가 그물 위에 앉아 있는 두 장의 이미지가 있으며, 그중 하나는 생성된 것입니다.

from PIL import Image
import requests

img_urls = ["https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/cats.png", "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/cats.jpeg"]
image_real = Image.open(requests.get(img_urls[0], stream=True).raw).convert("RGB")
image_gen = Image.open(requests.get(img_urls[1], stream=True).raw).convert("RGB")

파이프라인을 실제로 사용해 보겠습니다. 먼저 파이프라인을 초기화합니다. 모델을 전달하지 않으면 파이프라인은 google/vit-base-patch16-224로 자동 초기화됩니다. 유사도를 계산하려면 pool을 True로 설정하세요.

import torch
from transformers import pipeline
from accelerate import Accelerator
# automatically detects the underlying device type (CUDA, CPU, XPU, MPS, etc.)
device = Accelerator().device
pipe = pipeline(task="image-feature-extraction", model="google/vit-base-patch16-384", device=device, pool=True)

pipe로 추론하려면 두 이미지를 모두 전달하세요.

outputs = pipe([image_real, image_gen])

출력에는 해당 두 이미지의 풀링 임베딩이 포함되어 있습니다.

# get the length of a single output
print(len(outputs[0][0]))
# show outputs
print(outputs)

# 768
# [[[-0.03909236937761307, 0.43381670117378235, -0.06913255900144577,

유사도 점수를 얻으려면 유사도 함수에 이를 전달해야 합니다.

from torch.nn.functional import cosine_similarity

similarity_score = cosine_similarity(torch.Tensor(outputs[0]),
                                     torch.Tensor(outputs[1]), dim=1)

print(similarity_score)

# tensor([0.6043])

풀링 이전의 마지막 hidden states를 얻으려면 pool 파라미터에 값을 전달하지 마세요. 기본적으로 False로 설정되어 있습니다. 이러한 hidden states는 모델의 특징을 기반으로 새로운 분류기나 모델을 학습하는 데 유용합니다.

pipe = pipeline(task="image-feature-extraction", model="google/vit-base-patch16-224", device=device)
outputs = pipe(image_real)

outputs가 풀링되지 않으므로, 첫 번째 차원이 배치 크기이고 마지막 두 차원이 임베딩 형태인 마지막 히든 상태를 얻습니다.

import numpy as np
print(np.array(outputs).shape)
# (1, 197, 768)

AutoModel을 사용하여 기능 및 유사도 가져오기

transformers의 AutoModel 클래스를 사용하여 특징을 추출할 수도 있습니다. AutoModel은 작업별 헤드가 없는 transformers 모델을 로드하며, 이를 통해 특징을 추출할 수 있습니다.

from transformers import AutoImageProcessor, AutoModel

processor = AutoImageProcessor.from_pretrained("google/vit-base-patch16-224")
model = AutoModel.from_pretrained("google/vit-base-patch16-224").to(device)

추론을 위한 간단한 함수를 작성해 보겠습니다. 먼저 입력을 processor에 전달하고, 그 출력을 model에 전달합니다.

def infer(image):
  inputs = processor(image, return_tensors="pt").to(device)
  outputs = model(**inputs)
  return outputs.pooler_output

이 함수에 이미지를 직접 전달하여 임베딩을 얻을 수 있습니다.

embed_real = infer(image_real)
embed_gen = infer(image_gen)

임베딩에 대해 유사도를 다시 계산할 수 있습니다.

from torch.nn.functional import cosine_similarity

similarity_score = cosine_similarity(embed_real, embed_gen, dim=1)
print(similarity_score)

# tensor([0.6061], device='cuda:0', grad_fn=<SumBackward1>)
Update on GitHub