Transformers documentation
이미지 특징 추출
이미지 특징 추출
이미지 특징 추출은 주어진 이미지에서 의미론적으로 의미 있는 특징을 추출하는 작업입니다. 이는 이미지 유사도 및 이미지 검색과 같은 다양한 용도로 활용됩니다. 또한, 대부분의 컴퓨터 비전 모델은 이미지 특징 추출에 사용할 수 있으며, 작업별 헤드(이미지 분류, 객체 감지 등)를 제거하면 특징을 얻을 수 있습니다. 이러한 특징은 엣지 감지, 코너 감지 등 더 높은 수준의 작업에서 매우 유용합니다. 모델의 깊이에 따라 실제 세계에 대한 정보(예: 고양이의 외형)를 포함할 수도 있습니다. 따라서 이러한 출력은 특정 데이터셋에서 새로운 분류기를 학습하는 데 사용할 수 있습니다.
이 가이드에서는 다음을 수행합니다:
image-feature-extraction파이프라인을 기반으로 간단한 이미지 유사도 시스템을 구축하는 방법을 학습해 보세요.- …
image-feature-extraction Pipeline을 사용한 이미지 유사도
고양이가 그물 위에 앉아 있는 두 장의 이미지가 있으며, 그중 하나는 생성된 것입니다.
from PIL import Image
import requests
img_urls = ["https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/cats.png", "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/cats.jpeg"]
image_real = Image.open(requests.get(img_urls[0], stream=True).raw).convert("RGB")
image_gen = Image.open(requests.get(img_urls[1], stream=True).raw).convert("RGB")파이프라인을 실제로 사용해 보겠습니다. 먼저 파이프라인을 초기화합니다. 모델을 전달하지 않으면 파이프라인은 google/vit-base-patch16-224로 자동 초기화됩니다. 유사도를 계산하려면 pool을 True로 설정하세요.
import torch
from transformers import pipeline
from accelerate import Accelerator
# automatically detects the underlying device type (CUDA, CPU, XPU, MPS, etc.)
device = Accelerator().device
pipe = pipeline(task="image-feature-extraction", model="google/vit-base-patch16-384", device=device, pool=True)pipe로 추론하려면 두 이미지를 모두 전달하세요.
outputs = pipe([image_real, image_gen])
출력에는 해당 두 이미지의 풀링 임베딩이 포함되어 있습니다.
# get the length of a single output
print(len(outputs[0][0]))
# show outputs
print(outputs)
# 768
# [[[-0.03909236937761307, 0.43381670117378235, -0.06913255900144577,유사도 점수를 얻으려면 유사도 함수에 이를 전달해야 합니다.
from torch.nn.functional import cosine_similarity
similarity_score = cosine_similarity(torch.Tensor(outputs[0]),
torch.Tensor(outputs[1]), dim=1)
print(similarity_score)
# tensor([0.6043])풀링 이전의 마지막 hidden states를 얻으려면 pool 파라미터에 값을 전달하지 마세요. 기본적으로 False로 설정되어 있습니다. 이러한 hidden states는 모델의 특징을 기반으로 새로운 분류기나 모델을 학습하는 데 유용합니다.
pipe = pipeline(task="image-feature-extraction", model="google/vit-base-patch16-224", device=device)
outputs = pipe(image_real)outputs가 풀링되지 않으므로, 첫 번째 차원이 배치 크기이고 마지막 두 차원이 임베딩 형태인 마지막 히든 상태를 얻습니다.
import numpy as np
print(np.array(outputs).shape)
# (1, 197, 768)AutoModel을 사용하여 기능 및 유사도 가져오기
transformers의 AutoModel 클래스를 사용하여 특징을 추출할 수도 있습니다. AutoModel은 작업별 헤드가 없는 transformers 모델을 로드하며, 이를 통해 특징을 추출할 수 있습니다.
from transformers import AutoImageProcessor, AutoModel
processor = AutoImageProcessor.from_pretrained("google/vit-base-patch16-224")
model = AutoModel.from_pretrained("google/vit-base-patch16-224").to(device)추론을 위한 간단한 함수를 작성해 보겠습니다. 먼저 입력을 processor에 전달하고, 그 출력을 model에 전달합니다.
def infer(image):
inputs = processor(image, return_tensors="pt").to(device)
outputs = model(**inputs)
return outputs.pooler_output이 함수에 이미지를 직접 전달하여 임베딩을 얻을 수 있습니다.
embed_real = infer(image_real) embed_gen = infer(image_gen)
임베딩에 대해 유사도를 다시 계산할 수 있습니다.
from torch.nn.functional import cosine_similarity
similarity_score = cosine_similarity(embed_real, embed_gen, dim=1)
print(similarity_score)
# tensor([0.6061], device='cuda:0', grad_fn=<SumBackward1>)