Transformers documentation

Qwen2-VL

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Ce modèle a été publié dans HF papers le 2024-09-18 et contribué à Hugging Face Transformers le 2024-08-26.

Qwen2-VL

Aperçu

Le modèle Qwen2-VL (article de blog) constitue une mise à jour majeure de Qwen-VL par l'équipe Qwen d'Alibaba Research.

L’abstrait du blog est le suivant :

Ce blog présente Qwen2-VL, une version avancée du modèle Qwen-VL qui a fait l'objet d'améliorations significatives au cours de la dernière année. Les principales améliorations incluent une meilleure compréhension des images, une compréhension avancée des vidéos, des fonctionnalités d'agent visuel intégrées et un support multilingue élargi. L'architecture du modèle a été optimisée pour traiter des résolutions d'image arbitraires grâce au support de la Naive Dynamic Resolution et utilise le Multimodal Rotary Position Embedding (M-ROPE) pour traiter efficacement à la fois les données textuelles 1D et les données visuelles multidimensionnelles. Ce modèle mis à jour démontre des performances compétitives face à des systèmes d'IA de pointe tels que GPT-4o et Claude 3.5 Sonnet dans les tâches liées à la vision et se classe parmi les meilleurs modèles open source en termes de capacités textuelles. Ces avancées font de Qwen2-VL un outil polyvalent pour diverses applications nécessitant des capacités robustes de traitement et de raisonnement multimodaux.

Qwen2-VL architecture. Taken from the blog post.

Ce modèle a été contribué par simonJJJ.

Exemple d'utilisation

Inférence sur un seul média

Le modèle peut accepter à la fois des images et des vidéos en entrée. Voici un exemple de code pour l'inférence.

from transformers import AutoProcessor, Qwen2VLForConditionalGeneration


# Load the model in half-precision on the available device(s)
model = Qwen2VLForConditionalGeneration.from_pretrained("Qwen/Qwen2-VL-7B-Instruct", device_map="auto")
processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-7B-Instruct")


conversation = [
    {
        "role":"user",
        "content":[
            {
                "type":"image",
                "url": "https://huggingface.co/datasets/hf-internal-testing/transformers-synthetic-assets/resolve/main/images/qwen_vl_demo.jpeg"
            },
            {
                "type":"text",
                "text":"Describe this image."
            }
        ]
    }
]

inputs = processor.apply_chat_template(
    conversation,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)

# Inference: Generation of the output
output_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(inputs.input_ids, output_ids)]
output_text = processor.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)
print(output_text)



# Video
conversation = [
    {
        "role": "user",
        "content": [
            {"type": "video", "path": "/path/to/video.mp4"},
            {"type": "text", "text": "What happened in the video?"},
        ],
    }
]

inputs = processor.apply_chat_template(
    conversation,
    fps=1,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)


# Inference: Generation of the output
output_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(inputs.input_ids, output_ids)]
output_text = processor.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)
print(output_text)

Inférence par lots sur des médias mixtes

Le modèle peut traiter par lots des entrées composées d'échantillons de types variés, tels que des images, des vidéos et du texte. Voici un exemple.


# Conversation for the first image
conversation1 = [
    {
        "role": "user",
        "content": [
            {"type": "image", "path": "/path/to/image1.jpg"},
            {"type": "text", "text": "Describe this image."}
        ]
    }
]

# Conversation with two images
conversation2 = [
    {
        "role": "user",
        "content": [
            {"type": "image", "path": "/path/to/image2.jpg"},
            {"type": "image", "path": "/path/to/image3.jpg"},
            {"type": "text", "text": "What is written in the pictures?"}
        ]
    }
]

# Conversation with pure text
conversation3 = [
    {
        "role": "user",
        "content": "who are you?"
    }
]


# Conversation with mixed media
conversation4 = [
    {
        "role": "user",
        "content": [
            {"type": "image", "path": "/path/to/image3.jpg"},
            {"type": "image", "path": "/path/to/image4.jpg"},
            {"type": "video", "path": "/path/to/video.jpg"},
            {"type": "text", "text": "What are the common elements in these media?"},
        ],
    }
]

conversations = [conversation1, conversation2, conversation3, conversation4]
# Preparation for batch inference
inputs = processor.apply_chat_template(
    conversations,
    fps=1,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)


# Batch Inference
output_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(inputs.input_ids, output_ids)]
output_text = processor.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)
print(output_text)

Conseils d'utilisation

Compromis sur la résolution d'image

Le modèle prend en charge une large gamme de résolutions d'entrée. Par défaut, il utilise la résolution native pour l'entrée, mais des résolutions plus élevées peuvent améliorer les performances au prix d'un calcul plus important. Les utilisateurs peuvent définir le nombre minimal et maximal de pixels pour obtenir une configuration optimale adaptée à leurs besoins.

min_pixels = 224*224
max_pixels = 2048*2048
processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-7B-Instruct", min_pixels=min_pixels, max_pixels=max_pixels)

En cas de mémoire GPU limitée, on peut réduire la résolution comme suit :

min_pixels = 256*28*28
max_pixels = 1024*28*28
processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-7B-Instruct", min_pixels=min_pixels, max_pixels=max_pixels)

Cela garantit que chaque image est encodée à l'aide d'un nombre de tokens compris entre 256 et 1024. Le nombre 28 provient du fait que le modèle utilise une taille de patch de 14 et une taille de patch temporel de 2 (14 x 2 = 28).

Plusieurs entrées d'images

Par défaut, les images et les contenus vidéo sont directement inclus dans la conversation. Lors du traitement de plusieurs images, il est utile d’ajouter des étiquettes aux images et aux vidéos pour une référence plus claire. Les utilisateurs peuvent contrôler ce comportement à l’aide des paramètres suivants :

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": "Hello, how are you?"}
        ]
    },
    {
        "role": "assistant",
        "content": "I'm doing well, thank you for asking. How can I assist you today?"
    },
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "Can you describe these images and video?"},
            {"type": "image"},
            {"type": "image"},
            {"type": "video"},
            {"type": "text", "text": "These are from my vacation."}
        ]
    },
    {
        "role": "assistant",
        "content": "I'd be happy to describe the images and video for you. Could you please provide more context about your vacation?"
    },
    {
        "role": "user",
        "content": "It was a trip to the mountains. Can you see the details in the images and video?"
    }
]

# default:
prompt_without_id = processor.apply_chat_template(conversation, add_generation_prompt=True)
# Excepted output: '<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\n<|vision_start|><|image_pad|><|vision_end|>Hello, how are you?<|im_end|>\n<|im_start|>assistant\nI'm doing well, thank you for asking. How can I assist you today?<|im_end|>\n<|im_start|>user\nCan you describe these images and video?<|vision_start|><|image_pad|><|vision_end|><|vision_start|><|image_pad|><|vision_end|><|vision_start|><|video_pad|><|vision_end|>These are from my vacation.<|im_end|>\n<|im_start|>assistant\nI'd be happy to describe the images and video for you. Could you please provide more context about your vacation?<|im_end|>\n<|im_start|>user\nIt was a trip to the mountains. Can you see the details in the images and video?<|im_end|>\n<|im_start|>assistant\n'


# add ids
prompt_with_id = processor.apply_chat_template(conversation, add_generation_prompt=True, add_vision_id=True)
# Excepted output: '<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\nPicture 1: <|vision_start|><|image_pad|><|vision_end|>Hello, how are you?<|im_end|>\n<|im_start|>assistant\nI'm doing well, thank you for asking. How can I assist you today?<|im_end|>\n<|im_start|>user\nCan you describe these images and video?Picture 2: <|vision_start|><|image_pad|><|vision_end|>Picture 3: <|vision_start|><|image_pad|><|vision_end|>Video 1: <|vision_start|><|video_pad|><|vision_end|>These are from my vacation.<|im_end|>\n<|im_start|>assistant\nI'd be happy to describe the images and video for you. Could you please provide more context about your vacation?<|im_end|>\n<|im_start|>user\nIt was a trip to the mountains. Can you see the details in the images and video?<|im_end|>\n<|im_start|>assistant\n'

Flash-Attention 2 pour accélérer la génération

Premièrement, assurez-vous d'installer la dernière version de Flash Attention 2 :

pip install -U flash-attn --no-build-isolation

De plus, vous devez disposer d'un matériel compatible avec Flash-Attention 2. Pour en savoir plus, consultez la documentation officielle du dépôt flash attention. FlashAttention-2 ne peut être utilisé que lorsqu'un modèle est chargé en torch.float16 ou torch.bfloat16.

Pour charger et exécuter un modèle en utilisant Flash Attention-2, il suffit d’ajouter attn_implementation="flash_attention_2" lors du chargement du modèle, comme suit :

from transformers import Qwen2VLForConditionalGeneration

model = Qwen2VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2-VL-7B-Instruct", 
    attn_implementation="flash_attention_2",
 device_map="auto")

Transformers

Qwen2-VL

Aperçu

Exemple d'utilisation

Inférence sur un seul média

Inférence par lots sur des médias mixtes

Conseils d'utilisation

Compromis sur la résolution d'image

Plusieurs entrées d'images

Flash-Attention 2 pour accélérer la génération

Qwen2VLConfig

classe transformers.Qwen2VLConfig

Qwen2VLVisionConfig

classe transformers.Qwen2VLVisionConfig

Qwen2VLTextConfig

classe transformers.Qwen2VLTextConfig

Qwen2VLImageProcessor

classe transformers.Qwen2VLImageProcessor

prétraiter

Qwen2VLVideoProcessor

classe transformers.Qwen2VLVideoProcessor

prétraiter

Qwen2VLImageProcessorPil

classe transformers.Qwen2VLImageProcessorPil

prétraiter

Qwen2VLProcessor

classe transformers.Qwen2VLProcessor

__call__

Qwen2VLTextModel

classe transformers.Qwen2VLTextModel

forward

Qwen2VLModel

classe transformers.Qwen2VLModel

forward

get_video_features

get_image_features

Qwen2VLForConditionalGeneration

classe transformers.Qwen2VLForConditionalGeneration

forward

get_video_features

get_image_features

call