# Mask2Former

## Обзор

Модель Mask2Former была предложена в работе [Masked-attention Mask Transformer for Universal Image Segmentation](https://huggingface.co/papers/2112.01527) авторами Bowen Cheng, Ishan Misra, Alexander G. Schwing, Alexander Kirillov, Rohit Girdhar. Mask2Former представляет собой единый фреймворк для паноптической, инстантной и семантической сегментации и демонстрирует значительное повышение производительности и эффективности по сравнению с [MaskFormer](maskformer).

Аннотация из статьи следующая:

*Сегментация изображений группирует пиксели с разной семантикой, например, по принадлежности к категории или экземпляру. Каждый выбор семантики определяет задачу. Хотя различаются только семантики задач, современные исследования сосредоточены на проектировании специализированных архитектур для каждой из них. Мы представляем Masked-attention Mask Transformer (Mask2Former) — новую архитектуру, способную решать любую задачу сегментации изображений (паноптическую, экземплярную или семантическую). Ключевые компоненты включают masked attention, который извлекает локализованные признаки, ограничивая cross-attention внутри предсказанных областей масок. Помимо сокращения исследовательских затрат как минимум в три раза, эта архитектура значительно превосходит лучшие специализированные архитектуры на четырёх популярных наборах данных. В частности, Mask2Former устанавливает новый state-of-the-art для паноптической сегментации (57.8 PQ на COCO), экземплярной сегментации (50.1 AP на COCO) и семантической сегментации (57.7 mIoU на ADE20K).*

 Архитектура Mask2Former. Взята из оригинальной статьи.

Эта модель была предоставлена [Shivalika Singh](https://huggingface.co/shivi) и [Alara Dirik](https://huggingface.co/adirik). Исходный код можно найти [здесь](https://github.com/facebookresearch/Mask2Former).

## Советы по использованию

- Mask2Former использует те же этапы предобработки и постобработки, что и [MaskFormer](maskformer). Используйте [Mask2FormerImageProcessor](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.Mask2FormerImageProcessor) или [AutoImageProcessor](/docs/transformers/v5.23.0/ru/model_doc/auto#transformers.AutoImageProcessor) для подготовки изображений и необязательных целевых данных для модели.
- Чтобы получить итоговую сегментацию, в зависимости от задачи можно вызвать [post_process_semantic_segmentation()](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.Mask2FormerImageProcessor.post_process_semantic_segmentation) или [post_process_instance_segmentation()](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.Mask2FormerImageProcessor.post_process_instance_segmentation) или [post_process_panoptic_segmentation()](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.Mask2FormerImageProcessor.post_process_panoptic_segmentation). Все три задачи можно решить с помощью вывода [Mask2FormerForUniversalSegmentation](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.Mask2FormerForUniversalSegmentation); для паноптической сегментации предусмотрен необязательный аргумент `label_ids_to_fuse`, позволяющий объединять экземпляры целевого объекта/объектов (например, неба).

## Ресурсы

Список официальных ресурсов Hugging Face и сообщества (отмечены значком 🌎), которые помогут вам начать работу с Mask2Former.

- Демо-ноутбуки по инференсу и дообучению Mask2Former на собственных данных можно найти [здесь](https://github.com/NielsRogge/Transformers-Tutorials/tree/master/Mask2Former).

Если вы хотите предложить ресурс для включения в этот раздел, пожалуйста, создайте Pull Request, и мы его рассмотрим. В идеале ресурс должен демонстрировать что-то новое, а не дублировать существующие материалы.

## Mask2FormerConfig[[transformers.Mask2FormerConfig]]

#### transformers.Mask2FormerConfig[[transformers.Mask2FormerConfig]]

```python
transformers.Mask2FormerConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, backbone_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, feature_size: int = 256, mask_feature_size: int = 256, hidden_dim: int = 256, encoder_feedforward_dim: int = 1024, activation_function: str = 'relu', encoder_layers: int = 6, decoder_layers: int = 10, num_attention_heads: int = 8, dropout: float | int = 0.0, dim_feedforward: int = 2048, pre_norm: bool = False, enforce_input_projection: bool = False, common_stride: int = 4, ignore_value: int = 255, num_queries: int = 100, no_object_weight: float = 0.1, class_weight: float = 2.0, mask_weight: float = 5.0, dice_weight: float = 5.0, train_num_points: int = 12544, oversample_ratio: float = 3.0, importance_sample_ratio: float = 0.75, init_std: float = 0.02, init_xavier_std: float = 1.0, use_auxiliary_loss: bool = True, feature_strides: list[int] | tuple[int, ...] = (4, 8, 16, 32), output_auxiliary_logits: bool | None = None)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/configuration_mask2former.py#L28)

**Параметры:**

backbone_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *необязательный*) : Конфигурация базовой модели.

feature_size (`int`, *optional*, по умолчанию 256) : Количество признаков (каналов) в получаемых картах признаков.

mask_feature_size (`int`, *optional*, по умолчанию 256) : Размер признаков масок; это значение также используется для указания размера признаков Feature Pyramid Network.

hidden_dim (`int`, *optional*, по умолчанию `256`) : Размерность скрытых представлений.

encoder_feedforward_dim (`int`, *optional*, по умолчанию 1024) : Размерность сети прямого распространения для кодировщика deformable detr, используемого в качестве части пиксельного декодера.

activation_function (`str`, *необязательный*, по умолчанию `relu`) : Нелинейная функция активации (функция или строка) в декодере. Например, `"gelu"`, `"relu"`, `"silu"` и т. д.

encoder_layers (`int`, *необязательный*, по умолчанию `6`) : Количество скрытых слоев в кодере Transformer. Если не задано, будет использовано то же значение, что и у `num_layers`.

decoder_layers (`int`, *необязательный*, по умолчанию `10`) : Количество скрытых слоев в декодере Transformer. Если не задано, будет использовано то же значение, что и у `num_layers`.

num_attention_heads (`int`, *необязательный*, по умолчанию `8`) : Количество головок внимания для каждого слоя внимания в декодере Transformer.

dropout (`Union[float, int]`, *необязательный*, по умолчанию `0.0`) : Коэффициент для всех слоёв dropout.

dim_feedforward (`int`, *optional*, по умолчанию 2048) : Размерность признаков в полносвязной сети для декодера трансформера.

pre_norm (`bool`, *необязательный*, по умолчанию `False`) : Использовать ли pre-LayerNorm в декодере трансформера.

enforce_input_projection (`bool`, *необязательный*, по умолчанию `False`) : Нужно ли добавлять входную проекцию 1x1 свёртка, даже если количество входных каналов и скрытое измерение идентичны в декодере Transformer.

common_stride (`int`, *optional*, по умолчанию 4) : Параметр, определяющий количество уровней FPN, используемых в составе пиксельного декодера.

ignore_value (`int`, *optional*, по умолчанию 255) : Идентификатор категории, который игнорируется во время обучения.

num_queries (`int`, *необязательный*, по умолчанию 100) : Количество запросов для декодера.

no_object_weight (`float`, *необязательный*, по умолчанию `0.1`) : Относительный вес класса «нет объекта» в функции потерь обнаружения объектов.

class_weight (`float`, *необязательный*, по умолчанию `2.0`) : Относительный вес ошибки классификации в стоимости венгерского сопоставления.

mask_weight (`float`, *необязательный*, по умолчанию `5.0`) : Относительный вес фокальной функции потерь в функции потерь паноптической сегментации.

dice_weight (`float`, *необязательный*, по умолчанию `5.0`) : Относительный вес функции потерь dice в функции потерь паноптической сегментации.

train_num_points (`str` или `function`, *необязательный*, по умолчанию 12544) : Количество точек, используемых для выборки при вычислении функции потерь.

oversample_ratio (`float`, *optional*, по умолчанию 3.0) : Параметр оверсэмплинга, используемый для расчёта количества выбранных точек

importance_sample_ratio (`float`, *необязательный*, по умолчанию 0.75) : Доля точек, выборка которых выполняется с помощью importance sampling.

init_std (`float`, *необязательный*, по умолчанию `0.02`) : Стандартное отклонение truncated_normal_initializer для инициализации всех матриц весов.

init_xavier_std (`float`, *необязательный*, по умолчанию `1.0`) : Коэффициент масштабирования, используемый для инициализации кросс-внимания по методу Ксавье.

use_auxiliary_loss (`bool`, *необязательный*, по умолчанию `True`) : Нужно ли вычислять потерю с использованием промежуточных предсказаний декодера трансформера.

feature_strides (`list[int]`, *необязательный*, по умолчанию `[4, 8, 16, 32]`) : Шаги признаков, соответствующие признакам, сгенерированным из базовой сети.

output_auxiliary_logits (`bool`, *необязательный*) : Выводить ли модели `auxiliary_logits` или нет.

Это класс конфигурации для хранения настроек модели Mask2FormerModel. Он используется для создания модели Mask2Former в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации модели [facebook/mask2former-swin-small-coco-instance](https://huggingface.co/facebook/mask2former-swin-small-coco-instance)

Объекты конфигурации наследуются от [PreTrainedConfig](/docs/transformers/v5.23.0/ru/main_classes/configuration#transformers.PreTrainedConfig) и могут использоваться для управления выводами модели. Подробнее см. в документации [PreTrainedConfig](/docs/transformers/v5.23.0/ru/main_classes/configuration#transformers.PreTrainedConfig).

Примеры:

```python
>>> from transformers import Mask2FormerConfig, Mask2FormerModel

>>> # Initializing a Mask2Former facebook/mask2former-swin-small-coco-instance configuration
>>> configuration = Mask2FormerConfig()

>>> # Initializing a model (with random weights) from the facebook/mask2former-swin-small-coco-instance style configuration
>>> model = Mask2FormerModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## Специфические для MaskFormer выходные данные[[transformers.models.mask2former.modeling_mask2former.Mask2FormerModelOutput]]

#### transformers.models.mask2former.modeling_mask2former.Mask2FormerModelOutput[[transformers.models.mask2former.modeling_mask2former.Mask2FormerModelOutput]]

```python
transformers.models.mask2former.modeling_mask2former.Mask2FormerModelOutput(encoder_last_hidden_state: typing.Optional[torch.Tensor] = None, pixel_decoder_last_hidden_state: typing.Optional[torch.Tensor] = None, transformer_decoder_last_hidden_state: typing.Optional[torch.Tensor] = None, encoder_hidden_states: tuple[torch.Tensor] | None = None, pixel_decoder_hidden_states: tuple[torch.Tensor] | None = None, transformer_decoder_hidden_states: tuple[torch.Tensor] | None = None, transformer_decoder_intermediate_states: tuple[torch.Tensor] | None = None, masks_queries_logits: tuple[torch.Tensor] | None = None, attentions: tuple[torch.Tensor] | None = None)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/modeling_mask2former.py#L143)

**Параметры:**

encoder_last_hidden_state (`torch.Tensor` формы `(batch_size, num_channels, height, width)`, *необязательный*) : Последние скрытые состояния (финальная карта признаков) последней стадии модели-энкодера (backbone). Возвращается при передаче `output_hidden_states=True`.

pixel_decoder_last_hidden_state (`torch.Tensor` формы `(batch_size, num_channels, height, width)`, *необязательный*) : Последние скрытые состояния (конечная карта признаков) последней стадии модели пиксельного декодера.

transformer_decoder_last_hidden_state (`tuple(torch.Tensor)`) : Итоговый вывод декодера трансформера `(batch_size, sequence_length, hidden_size)`.

encoder_hidden_states (`tuple(torch.Tensor)`, *optional*) : Кортеж из `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого этапа) с формой `(batch_size, num_channels, height, width)`. Скрытые состояния (также называемые картами признаков) модели-энкодера на выходе каждого этапа. Возвращается при передаче `output_hidden_states=True`.

pixel_decoder_hidden_states (`tuple(torch.Tensor)`, , *optional*, возвращается, если передано `output_hidden_states=True` или если `config.output_hidden_states=True`) : Кортеж из `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого этапа) с формой `(batch_size, num_channels, height, width)`. Скрытые состояния (также называемые картами признаков) модели пиксельного декодера на выходе каждого этапа. Возвращается, если передано `output_hidden_states=True`.

transformer_decoder_hidden_states (`tuple(torch.Tensor)`, *optional*) : Кортеж из `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого этапа) с формой `(batch_size, sequence_length, hidden_size)`. Скрытые состояния (также называемые картами признаков) декодера трансформера на выходе каждого этапа. Возвращается при передаче `output_hidden_states=True`.

transformer_decoder_intermediate_states (`tuple(torch.Tensor)` с формой `(num_queries, 1, hidden_size)`) : Промежуточные активации декодера, то есть выход каждого слоя декодера, каждый из которых прошёл через layernorm.

masks_queries_logits (`tuple(torch.Tensor)` с формой `(batch_size, num_queries, height, width)`) : Прогнозы масок из каждого слоя декодера трансформера.

attentions (`tuple(tuple(torch.Tensor))`, *optional*, возвращается при передаче `output_attentions=True`) : Кортеж `tuple(torch.Tensor)` (по одному для каждого слоя) формы `(batch_size, num_heads, sequence_length, sequence_length)`. Веса само-внимания из декодера трансформера.

attentions (`tuple[torch.Tensor]`, *необязательный*, возвращается при передаче `output_attentions=True` или когда `config.output_attentions=True`) : Кортеж `torch.Tensor` (по одному для каждого слоя) формы `(batch_size, num_heads, sequence_length, sequence_length)`. Веса внимания после softmax-функции внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Класс для выходов [Mask2FormerModel](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.Mask2FormerModel). Этот класс возвращает все необходимые скрытые состояния для вычисления логитов.

#### transformers.models.mask2former.modeling_mask2former.Mask2FormerForUniversalSegmentationOutput[[transformers.models.mask2former.modeling_mask2former.Mask2FormerForUniversalSegmentationOutput]]

```python
transformers.models.mask2former.modeling_mask2former.Mask2FormerForUniversalSegmentationOutput(loss: typing.Optional[torch.Tensor] = None, class_queries_logits: typing.Optional[torch.Tensor] = None, masks_queries_logits: typing.Optional[torch.Tensor] = None, auxiliary_logits: list[dict[str, torch.Tensor]] | None = None, encoder_last_hidden_state: typing.Optional[torch.Tensor] = None, pixel_decoder_last_hidden_state: typing.Optional[torch.Tensor] = None, transformer_decoder_last_hidden_state: typing.Optional[torch.Tensor] = None, encoder_hidden_states: tuple[torch.Tensor] | None = None, pixel_decoder_hidden_states: tuple[torch.Tensor] | None = None, transformer_decoder_hidden_states: typing.Optional[torch.Tensor] = None, attentions: tuple[torch.Tensor] | None = None)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/modeling_mask2former.py#L196)

**Параметры:**

loss (`torch.Tensor`, *необязательный*) : Вычисленная функция потерь, возвращается при наличии меток.

class_queries_logits (`torch.Tensor`, *необязательный*) : тензор формы `(batch_size, num_queries, num_labels + 1)`, представляющий предложенные классы для каждого запроса. Обратите внимание, что `+ 1` необходимо, так как мы учитываем нулевой класс.

masks_queries_logits (`torch.Tensor`, *необязательный*) : тензор формы `(batch_size, num_queries, height, width)`, представляющий предложенные маски для каждого запроса.

auxiliary_logits (`list[Dict(str, torch.Tensor)]`, *необязательный*) : Список предсказаний классов и масок от каждого слоя декодера трансформера.

encoder_last_hidden_state (`torch.Tensor` формы `(batch_size, num_channels, height, width)`) : Последние скрытые состояния (финальная карта признаков) последней стадии модели-энкодера (backbone).

pixel_decoder_last_hidden_state (`torch.Tensor` формы `(batch_size, num_channels, height, width)`) : Последние скрытые состояния (финальная карта признаков) последней стадии модели пиксельного декодера.

transformer_decoder_last_hidden_state (`tuple(torch.Tensor)`) : Итоговый вывод декодера трансформера `(batch_size, sequence_length, hidden_size)`.

encoder_hidden_states (`tuple(torch.Tensor)`, *необязательный*, возвращается, если передано `output_hidden_states=True` или если `config.output_hidden_states=True`) : Кортеж из `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого этапа) формы `(batch_size, num_channels, height, width)`. Скрытые состояния (также называемые картами признаков) модели-энкодера на выходе каждого этапа.

pixel_decoder_hidden_states (`tuple(torch.Tensor)`, *необязательный*, возвращается, если передано `output_hidden_states=True` или если `config.output_hidden_states=True`) : Кортеж из `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого этапа) формы `(batch_size, num_channels, height, width)`. Скрытые состояния (также называемые картами признаков) модели пиксельного декодера на выходе каждого этапа.

transformer_decoder_hidden_states (`tuple(torch.Tensor)`, *необязательный*, возвращается, если передано `output_hidden_states=True` или если `config.output_hidden_states=True`) : Кортеж из `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого этапа) формы `(batch_size, sequence_length, hidden_size)`. Скрытые состояния (также называемые картами признаков) декодера трансформера на выходе каждого этапа.

attentions (`tuple(tuple(torch.Tensor))`, *необязательный*, возвращается, если передано `output_attentions=True` или если `config.output_attentions=True`) : Кортеж `tuple(torch.Tensor)` (по одному для каждого слоя) формы `(batch_size, num_heads, sequence_length, sequence_length)`. Веса Self и Cross Attention из декодера трансформера.

Класс для выходов `Mask2FormerForUniversalSegmentationOutput`.

Этот вывод можно непосредственно передать в [post_process_semantic_segmentation()](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.Mask2FormerImageProcessor.post_process_semantic_segmentation) или [post_process_instance_segmentation()](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.Mask2FormerImageProcessor.post_process_instance_segmentation) или [post_process_panoptic_segmentation()](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.Mask2FormerImageProcessor.post_process_panoptic_segmentation) для вычисления итоговых карт сегментации. Подробности об использовании см. в [`~Mask2FormerImageProcessor].

## Mask2FormerModel[[transformers.Mask2FormerModel]]

#### transformers.Mask2FormerModel[[transformers.Mask2FormerModel]]

```python
transformers.Mask2FormerModel(config: Mask2FormerConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/modeling_mask2former.py#L2224)

**Параметры:**

config ([Mask2FormerConfig](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.Mask2FormerConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Модель Mask2Former без дополнительных компонентов, выводящая необработанные скрытые состояния без какого-либо специализированного слоя наверху.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.Mask2FormerModel.forward]]

```python
forward(pixel_values: Tensor, pixel_mask: typing.Optional[torch.Tensor] = None, output_hidden_states: bool | None = None, output_attentions: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/modeling_mask2former.py#L2234)

**Параметры:**

pixel_values (`torch.Tensor` формы `(batch_size, num_channels, image_size, image_size)`) : Тензоры, соответствующие входным изображениям. Значения пикселей можно получить с помощью [Mask2FormerImageProcessor](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.Mask2FormerImageProcessor). Подробности см. в [Mask2FormerImageProcessor.__call__()](/docs/transformers/v5.23.0/ru/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) (`processor_class` использует [Mask2FormerImageProcessor](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.Mask2FormerImageProcessor) для обработки изображений).

pixel_mask (`torch.Tensor` формы `(batch_size, height, width)`, *необязательный*) : Маска для исключения пикселей отступов из внимания. Значения маски выбираются из `[0, 1]`:  - 1 для реальных пикселей (т. е. **не замаскированных**), - 0 для пикселей отступов (т. е. **замаскированных**).  [Что такое маски внимания?](../glossary#attention-mask)

output_hidden_states (`bool`, *необязательный*) : Нужно ли возвращать скрытые состояния всех слоёв. Подробнее о `hidden_states` в разделе возвращаемых тензоров.

output_attentions (`bool`, *необязательный*) : Нужно ли возвращать тензоры внимания всех слоев внимания. Подробнее см. `attentions` в разделе возвращаемых тензоров.

return_dict (`bool`, *необязательный*) : Нужно ли возвращать [ModelOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.utils.ModelOutput) вместо обычного кортежа.

**Возвращает:** [Mask2FormerModelOutput](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.models.mask2former.modeling_mask2former.Mask2FormerModelOutput) или `tuple(torch.Tensor)`

Объект [Mask2FormerModelOutput](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.models.mask2former.modeling_mask2former.Mask2FormerModelOutput) или кортеж из `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([Mask2FormerConfig](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.Mask2FormerConfig)) и входных данных.

Метод forward модели [Mask2FormerModel](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.Mask2FormerModel) переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **encoder_last_hidden_state** (`torch.Tensor` формы `(batch_size, num_channels, height, width)`, *необязательный*) -- Состояния последнего скрытого слоя (конечная карта признаков) последней стадии модели-энкодера (backbone). Возвращается при передаче `output_hidden_states=True`.
- **pixel_decoder_last_hidden_state** (`torch.Tensor` формы `(batch_size, num_channels, height, width)`, *необязательный*) -- Последние скрытые состояния (финальная карта признаков) последней стадии модели pixel decoder.
- **transformer_decoder_last_hidden_state** (`tuple(torch.Tensor)`) -- Итоговый вывод декодера трансформера `(batch_size, sequence_length, hidden_size)`.
- **encoder_hidden_states** (`tuple(torch.Tensor)`, *optional*) — Кортеж `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого этапа) формы `(batch_size, num_channels, height, width)`. Скрытые состояния (также называемые картами признаков) модели-энкодера на выходе каждого этапа. Возвращается, если передан параметр `output_hidden_states=True`.
- **pixel_decoder_hidden_states** (`tuple(torch.Tensor)`, , *необязательный*, возвращается при передаче `output_hidden_states=True` или когда `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого этапа) формы `(batch_size, num_channels, height, width)`. Скрытые состояния (также называемые картами признаков) модели пиксельного декодера на выходе каждого этапа. Возвращается при передаче `output_hidden_states=True`.
- **transformer_decoder_hidden_states** (`tuple(torch.Tensor)`, *optional*) — Кортеж `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого этапа) формы `(batch_size, sequence_length, hidden_size)`. Скрытые состояния (также называемые картами признаков) декодера трансформера на выходе каждого этапа. Возвращается при передаче `output_hidden_states=True`.
- **transformer_decoder_intermediate_states** (`tuple(torch.Tensor)` формы `(num_queries, 1, hidden_size)`) -- Промежуточные активации декодера, то есть выход каждого слоя декодера, каждый из которых прошёл через layernorm.
- **masks_queries_logits** (`tuple(torch.Tensor)` формы `(batch_size, num_queries, height, width)`) Прогнозы масок из каждого слоя декодера трансформера. attentions (`tuple(tuple(torch.Tensor))`, *необязательный*, возвращается при передаче `output_attentions=True`) -- Кортеж `tuple(torch.Tensor)` (по одному для каждого слоя) формы `(batch_size, num_heads, sequence_length, sequence_length)`. Веса само-внимания из декодера трансформера.
- **attentions** (`tuple[torch.Tensor]`, *необязательный*, возвращается при передаче `output_attentions=True` или когда `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

## Mask2FormerForUniversalSegmentation[[transformers.Mask2FormerForUniversalSegmentation]]

#### transformers.Mask2FormerForUniversalSegmentation[[transformers.Mask2FormerForUniversalSegmentation]]

```python
transformers.Mask2FormerForUniversalSegmentation(config: Mask2FormerConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/modeling_mask2former.py#L2300)

**Параметры:**

config ([Mask2FormerConfig](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.Mask2FormerConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Модель Mask2Former с головками для сегментации по экземплярам, семантической и паноптической сегментации.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.Mask2FormerForUniversalSegmentation.forward]]

```python
forward(pixel_values: Tensor, mask_labels: list[torch.Tensor] | None = None, class_labels: list[torch.Tensor] | None = None, pixel_mask: typing.Optional[torch.Tensor] = None, output_hidden_states: bool | None = None, output_auxiliary_logits: bool | None = None, output_attentions: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/modeling_mask2former.py#L2353)

**Параметры:**

pixel_values (`torch.Tensor` формы `(batch_size, num_channels, image_size, image_size)`) : Тензоры, соответствующие входным изображениям. Значения пикселей можно получить с помощью [Mask2FormerImageProcessor](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.Mask2FormerImageProcessor). Подробности см. в [Mask2FormerImageProcessor.__call__()](/docs/transformers/v5.23.0/ru/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) (`processor_class` использует [Mask2FormerImageProcessor](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.Mask2FormerImageProcessor) для обработки изображений).

mask_labels (`list[torch.Tensor]`, *необязательный*) : Список меток маски формы `(num_labels, height, width)` для передачи в модель

class_labels (`list[torch.LongTensor]`, *необязательный*) : список целевых классов меток формы `(num_labels, height, width)`, передаваемых в модель. Они идентифицируют метки `mask_labels`, например, метку `mask_labels[i][j]`, если `class_labels[i][j]`.

pixel_mask (`torch.Tensor` формы `(batch_size, height, width)`, *необязательный*) : Маска для исключения пикселей отступов из внимания. Значения маски выбираются из `[0, 1]`:  - 1 для реальных пикселей (т. е. **не замаскированных**), - 0 для пикселей отступов (т. е. **замаскированных**).  [Что такое маски внимания?](../glossary#attention-mask)

output_hidden_states (`bool`, *необязательный*) : Нужно ли возвращать скрытые состояния всех слоёв. Подробнее о `hidden_states` в разделе возвращаемых тензоров.

output_auxiliary_logits (`bool`, *необязательный*) : Включает ли вывод вспомогательных логитов.

output_attentions (`bool`, *необязательный*) : Нужно ли возвращать тензоры внимания всех слоев внимания. Подробнее см. `attentions` в разделе возвращаемых тензоров.

return_dict (`bool`, *необязательный*) : Нужно ли возвращать [ModelOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.utils.ModelOutput) вместо обычного кортежа.

**Возвращает:** [Mask2FormerForUniversalSegmentationOutput](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.models.mask2former.modeling_mask2former.Mask2FormerForUniversalSegmentationOutput) или `tuple(torch.Tensor)`

Объект [Mask2FormerForUniversalSegmentationOutput](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.models.mask2former.modeling_mask2former.Mask2FormerForUniversalSegmentationOutput) или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([Mask2FormerConfig](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.Mask2FormerConfig)) и входных данных.

Метод forward класса [Mask2FormerForUniversalSegmentation](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.Mask2FormerForUniversalSegmentation) переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **loss** (`torch.Tensor`, *optional*) -- Вычисленная величина потерь, возвращается при наличии меток.
- **class_queries_logits** (`torch.Tensor`, *optional*) — тензор формы `(batch_size, num_queries, num_labels + 1)`, представляющий предложенные классы для каждого запроса. Обратите внимание, что `+ 1` необходимо, так как мы учитываем нулевой класс.
- **masks_queries_logits** (`torch.Tensor`, *необязательный*) -- тензор формы `(batch_size, num_queries, height, width)`, представляющий предложенные маски для каждого запроса.
- **auxiliary_logits** (`list[Dict(str, torch.Tensor)]`, *необязательный*) -- Список предсказаний классов и масок от каждого слоя декодера трансформера.
- **encoder_last_hidden_state** (`torch.Tensor` формы `(batch_size, num_channels, height, width)`) -- Состояния последнего скрытого слоя (финальная карта признаков) последней стадии модели-энкодера (backbone).
- **pixel_decoder_last_hidden_state** (`torch.Tensor` формы `(batch_size, num_channels, height, width)`) -- Последние скрытые состояния (финальная карта признаков) последней стадии модели пиксельного декодера.
- **transformer_decoder_last_hidden_state** (`tuple(torch.Tensor)`) -- Итоговый вывод декодера трансформера `(batch_size, sequence_length, hidden_size)`.
- **encoder_hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или при `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого этапа) формы `(batch_size, num_channels, height, width)`. Скрытые состояния (также называемые картами признаков) модели-энкодера на выходе каждого этапа.
- **pixel_decoder_hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или при `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого этапа) формы `(batch_size, num_channels, height, width)`. Скрытые состояния (также называемые картами признаков) модели пиксельного декодера на выходе каждого этапа.
- **transformer_decoder_hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или при `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого этапа) формы `(batch_size, sequence_length, hidden_size)`. Скрытые состояния (также называемые картами признаков) декодера трансформера на выходе каждого этапа.
- **attentions** (`tuple(tuple(torch.Tensor))`, *optional*, возвращается, если передано `output_attentions=True` или если `config.output_attentions=True`) -- Кортеж `tuple(torch.Tensor)` (по одному для каждого слоя) формы `(batch_size, num_heads, sequence_length, sequence_length)`. Веса Self и Cross Attention из декодера трансформера.

Примеры:

Пример сегментации экземпляров:

```python
>>> from transformers import AutoImageProcessor, Mask2FormerForUniversalSegmentation
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> import torch

>>> # Load Mask2Former trained on COCO instance segmentation dataset
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/mask2former-swin-small-coco-instance")
>>> model = Mask2FormerForUniversalSegmentation.from_pretrained(
...     "facebook/mask2former-swin-small-coco-instance"
... )

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))
>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> # Model predicts class_queries_logits of shape `(batch_size, num_queries)`
>>> # and masks_queries_logits of shape `(batch_size, num_queries, height, width)`
>>> class_queries_logits = outputs.class_queries_logits
>>> masks_queries_logits = outputs.masks_queries_logits

>>> # Perform post-processing to get instance segmentation map
>>> pred_instance_map = image_processor.post_process_instance_segmentation(
...     outputs, target_sizes=[(image.height, image.width)]
... )[0]
>>> print(pred_instance_map.shape)
torch.Size([480, 640])
```

Пример семантической сегментации:
```python
>>> from transformers import AutoImageProcessor, Mask2FormerForUniversalSegmentation
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> import torch

>>> # Load Mask2Former trained on ADE20k semantic segmentation dataset
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/mask2former-swin-small-ade-semantic")
>>> model = Mask2FormerForUniversalSegmentation.from_pretrained("facebook/mask2former-swin-small-ade-semantic")

>>> url = (
...     "https://huggingface.co/datasets/hf-internal-testing/fixtures_ade20k/resolve/main/ADE_val_00000001.jpg"
... )
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))
>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> # Model predicts class_queries_logits of shape `(batch_size, num_queries)`
>>> # and masks_queries_logits of shape `(batch_size, num_queries, height, width)`
>>> class_queries_logits = outputs.class_queries_logits
>>> masks_queries_logits = outputs.masks_queries_logits

>>> # Perform post-processing to get semantic segmentation map
>>> pred_semantic_map = image_processor.post_process_semantic_segmentation(
...     outputs, target_sizes=[(image.height, image.width)]
... )[0]
>>> print(pred_semantic_map.shape)
torch.Size([512, 683])
```

Пример паноптической сегментации:

```python
>>> from transformers import AutoImageProcessor, Mask2FormerForUniversalSegmentation
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> import torch

>>> # Load Mask2Former trained on CityScapes panoptic segmentation dataset
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/mask2former-swin-small-cityscapes-panoptic")
>>> model = Mask2FormerForUniversalSegmentation.from_pretrained(
...     "facebook/mask2former-swin-small-cityscapes-panoptic"
... )

>>> url = "https://cdn-media.huggingface.co/Inference-API/Sample-results-on-the-Cityscapes-dataset-The-above-images-show-how-our-method-can-handle.png"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))
>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> # Model predicts class_queries_logits of shape `(batch_size, num_queries)`
>>> # and masks_queries_logits of shape `(batch_size, num_queries, height, width)`
>>> class_queries_logits = outputs.class_queries_logits
>>> masks_queries_logits = outputs.masks_queries_logits

>>> # Perform post-processing to get panoptic segmentation map
>>> pred_panoptic_map = image_processor.post_process_panoptic_segmentation(
...     outputs, target_sizes=[(image.height, image.width)]
... )[0]["segmentation"]
>>> print(pred_panoptic_map.shape)
torch.Size([338, 676])
```

## Mask2FormerImageProcessor[[transformers.Mask2FormerImageProcessor]]

#### transformers.Mask2FormerImageProcessor[[transformers.Mask2FormerImageProcessor]]

```python
transformers.Mask2FormerImageProcessor(**kwargs: *<class 'transformers.models.mask2former.image_processing_mask2former.Mask2FormerImageProcessorKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/image_processing_mask2former.py#L263)

**Параметры:**

do_convert_rgb (`bool`, *kwargs*, *необязательный*) : Преобразовать ли изображение в RGB.

do_resize (`bool`, *kwargs*, *optional*, по умолчанию `True`) : Нужно ли изменять размер изображения.

size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*, по умолчанию `{'shortest_edge' : 800, 'longest_edge': 1333}`): Описывает максимальные размеры входных данных для модели.

default_to_square (`bool`, *kwargs*, *optional*, по умолчанию `False`) : Использовать ли квадратное изображение по умолчанию при изменении размера, если size является int.

crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Размер выходного изображения после применения `center_crop`.

resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*, по умолчанию `2`) : Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисления `PILImageResampling`. Действует только если `do_resize` установлено в `True`.

do_rescale (`bool`, *kwargs*, *optional*, по умолчанию `True`) : Нужно ли масштабировать изображение.

rescale_factor (`float`, *kwargs*, *optional*, по умолчанию `0.00392156862745098`) : Коэффициент масштабирования для изменения масштаба изображения, если `do_rescale` установлен в `True`.

do_normalize (`bool`, *kwargs*, *optional*, по умолчанию `True`) : Нужно ли нормализовать изображение.

image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*, по умолчанию `[0.485, 0.456, 0.406]`) : Средние значения изображения, используемые для нормализации. Влияет только в том случае, если `do_normalize` установлено в `True`.

image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*, по умолчанию `[0.229, 0.224, 0.225]`) : Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, если `do_normalize` установлено в `True`.

do_pad (`bool`, *kwargs*, *необязательный*) : Указывает, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Конкретная стратегия выравнивания зависит от модели.

pad_size (`SizeDict`, *kwargs*, *optional*) : Размер, до которого следует дополнить изображения. Должен быть больше любого размера изображения, переданного для предобработки. Если `pad_size` не указан, изображения будут дополнены до наибольшей высоты и ширины в батче.

do_center_crop (`bool`, *kwargs*, *optional*) : Центрировать ли изображение при обрезке.

data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *необязательный*) : Поддерживается только `ChannelDimension.FIRST`. Добавлено для совместимости с медленными процессорами.

input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *optional*) : Формат размерности каналов для входного изображения. Если не задано, формат размерности каналов определяется по входному изображению. Может быть одним из: - `"channels_first"` или `ChannelDimension.FIRST`: изображение в формате (num_channels, height, width). - `"channels_last"` или `ChannelDimension.LAST`: изображение в формате (height, width, num_channels). - `"none"` или `ChannelDimension.NONE`: изображение в формате (height, width).

device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : Устройство для обработки видео. Если не задано, устройство определяется на основе входных видео.

return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : Возвращает стопку тензоров, если установлено значение `'pt'`, иначе возвращает список тензоров.

disable_grouping (`bool`, *kwargs*, *optional*) : Указывает, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, подробно описанных здесь: https://github.com/huggingface/transformers/pull/38157

image_seq_length (`int`, *kwargs*, *необязательный*) : Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора.

ignore_index (`int`, *kwargs*, *optional*) : Метка, назначаемая фоновым пикселям в сегментационных картах. Если указано, пиксели сегментационной карты, обозначенные как 0 (фон), будут заменены на `ignore_index`.

do_reduce_labels (`bool`, *kwargs*, *optional*, по умолчанию `False`) : Указывает, следует ли уменьшать все значения меток в сегментационных картах на 1. Обычно используется для наборов данных, где 0 обозначает фон, а сам фон не входит в состав всех классов набора данных (например, ADE20k). Метка фона будет заменена на `ignore_index`.

num_labels (`int`, *kwargs*, *optional*) : Количество меток в карте сегментации.

size_divisor (`int`, *kwargs*, *optional*, по умолчанию `32`) : некоторым базовым моделям требуются изображения, размеры которых делятся на определённое число. Если значение не передано, используется значение по умолчанию из Swin Transformer.

Создаёт процессор изображений Mask2FormerImageProcessor.

#### preprocess[[transformers.Mask2FormerImageProcessor.preprocess]]

```python
preprocess(images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']], segmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None, instance_id_to_semantic_id: list[dict[int, int]] | dict[int, int] | None = None, **kwargs: *<class 'transformers.models.mask2former.image_processing_mask2former.Mask2FormerImageProcessorKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/image_processing_mask2former.py#L386)

**Параметры:**

images (`Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]`) : Изображение для предобработки. Ожидается одно изображение или пакет изображений со значениями пикселей в диапазоне от 0 до 255. Если передаются изображения со значениями пикселей в диапазоне от 0 до 1, установите `do_rescale=False`.

segmentation_maps (`ImageInput`, *необязательный*) : Карты сегментации.

instance_id_to_semantic_id (`Union[list[dict[int, int]], dict[int, int]]`, *необязательный*) : Соответствие между идентификаторами экземпляров и семантическими идентификаторами.

do_convert_rgb (`bool`, *kwargs*, *необязательный*) : Преобразовать ли изображение в RGB.

do_resize (`bool`, *kwargs*, *необязательный*) : Указывает, нужно ли изменить размер изображения.

size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Описывает максимальные размеры входных данных для модели.

default_to_square (`bool`, *kwargs*, *необязательный*) : Указывает, следует ли по умолчанию использовать квадратное изображение при изменении размера, если size задан как int.

crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Размер выходного изображения после применения `center_crop`.

resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*) : Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисления `PILImageResampling`. Действует только при установке `do_resize` в `True`.

do_rescale (`bool`, *kwargs*, *необязательный*) : Нужно ли масштабировать изображение.

rescale_factor (`float`, *kwargs*, *optional*) : Коэффициент масштабирования для изменения размера изображения, если `do_rescale` установлен в `True`.

do_normalize (`bool`, *kwargs*, *необязательный*) : Нужно ли нормализовать изображение.

image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*) : Среднее значение изображения, используемое для нормализации. Влияет только в том случае, если `do_normalize` установлено в `True`.

image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*) : Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, если `do_normalize` установлено в `True`.

do_pad (`bool`, *kwargs*, *необязательный*) : Указывает, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Конкретная стратегия выравнивания зависит от модели.

pad_size (`SizeDict`, *kwargs*, *optional*) : Размер, до которого следует дополнить изображения. Должен быть больше любого размера изображения, переданного для предобработки. Если `pad_size` не указан, изображения будут дополнены до наибольшей высоты и ширины в батче.

do_center_crop (`bool`, *kwargs*, *optional*) : Центрировать ли изображение при обрезке.

data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *необязательный*) : Поддерживается только `ChannelDimension.FIRST`. Добавлено для совместимости с медленными процессорами.

input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *optional*) : Формат размерности каналов для входного изображения. Если не задано, формат размерности каналов определяется по входному изображению. Может быть одним из: - `"channels_first"` или `ChannelDimension.FIRST`: изображение в формате (num_channels, height, width). - `"channels_last"` или `ChannelDimension.LAST`: изображение в формате (height, width, num_channels). - `"none"` или `ChannelDimension.NONE`: изображение в формате (height, width).

device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : Устройство для обработки видео. Если не задано, устройство определяется на основе входных видео.

return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : Возвращает стопку тензоров, если установлено значение `'pt'`, иначе возвращает список тензоров.

disable_grouping (`bool`, *kwargs*, *optional*) : Указывает, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, подробно описанных здесь: https://github.com/huggingface/transformers/pull/38157

image_seq_length (`int`, *kwargs*, *необязательный*) : Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора.

ignore_index (`int`, *kwargs*, *optional*) : Метка, назначаемая фоновым пикселям в сегментационных картах. Если указано, пиксели сегментационной карты, обозначенные как 0 (фон), будут заменены на `ignore_index`.

do_reduce_labels (`bool`, *kwargs*, *optional*, по умолчанию `False`) : Указывает, следует ли уменьшать все значения меток в сегментационных картах на 1. Обычно используется для наборов данных, где 0 обозначает фон, а сам фон не входит в состав всех классов набора данных (например, ADE20k). Метка фона будет заменена на `ignore_index`.

num_labels (`int`, *kwargs*, *optional*) : Количество меток в карте сегментации.

size_divisor (`int`, *kwargs*, *optional*, по умолчанию `32`) : некоторым базовым моделям требуются изображения, размеры которых делятся на определённое число. Если значение не передано, используется значение по умолчанию из Swin Transformer.

**Возвращает:** `~image_processing_base.BatchFeature`

- **data** (`dict`) — Словарь списков/массивов/тензоров, возвращаемый методом __call__ ('pixel_values' и т. д.).
- **tensor_type** (`Union[None, str, TensorType]`, *необязательный*) -- Здесь можно указать tensor_type, чтобы при инициализации преобразовать списки целых чисел в тензоры PyTorch/Numpy.

#### post_process_semantic_segmentation[[transformers.Mask2FormerImageProcessor.post_process_semantic_segmentation]]

```python
post_process_semantic_segmentation(outputs, target_sizes: list[tuple[int, int]] | None = None, return_segmentation_scores: bool = False)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/image_processing_mask2former.py#L550)

**Параметры:**

outputs ([Mask2FormerForUniversalSegmentation](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.Mask2FormerForUniversalSegmentation)) : Сырые выходные модели.

target_sizes (`list[tuple[int, int]]`, *необязательный*) : Список длины (batch_size), где каждый элемент списка (`tuple[int, int]]`) соответствует запрашиваемому конечному размеру (высота, ширина) каждого предсказания. Если оставить значение None, предсказания не будут изменены в размере.

return_segmentation_scores (`bool`, *необязательный*, по умолчанию `False`) : Нужно ли возвращать оценки сегментации вместе с картой сегментации. Если `True`, каждый элемент возвращаемого списка представляет собой `SemanticSegmentationPostProcessorOutput` с полями `segmentation` (идентификаторы классов, форма `(height, width)`) и `segmentation_scores` (форма `(num_classes, height, width)`).

**Возвращает:** `list[torch.Tensor]` или `list[SemanticSegmentationPostProcessorOutput]`

Если `return_segmentation_scores=False` (по умолчанию), возвращается список длины `batch_size`, где каждый элемент — карта сегментации формы `(height, width)` с идентификаторами классов. Если `return_segmentation_scores=True`, возвращается список объектов `SemanticSegmentationPostProcessorOutput` с полями `segmentation` (идентификаторы классов, форма `(height, width)`) и `segmentation_scores` (форма `(num_classes, height, width)`). В обоих случаях `(height, width)` соответствует целевому размеру (если указан `target_sizes`).

Преобразует выход [Mask2FormerForUniversalSegmentation](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.Mask2FormerForUniversalSegmentation) в карты семантической сегментации. Поддерживается только PyTorch.

#### post_process_instance_segmentation[[transformers.Mask2FormerImageProcessor.post_process_instance_segmentation]]

```python
post_process_instance_segmentation(outputs, threshold: float = 0.5, mask_threshold: float = 0.5, overlap_mask_area_threshold: float = 0.8, target_sizes: list[tuple[int, int]] | None = None, return_coco_annotation: bool | None = False, return_binary_maps: bool | None = False)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/image_processing_mask2former.py#L627)

**Параметры:**

outputs ([Mask2FormerForUniversalSegmentation](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.Mask2FormerForUniversalSegmentation)) : Сырые выходные модели.

threshold (`float`, *optional*, по умолчанию 0.5) : Порог вероятности для сохранения предсказанных масок экземпляров.

mask_threshold (`float`, *optional*, по умолчанию 0.5) : Порог, используемый при преобразовании предсказанных масок в бинарные значения.

overlap_mask_area_threshold (`float`, *optional*, по умолчанию 0.8) : Порог площади маски перекрытия для слияния или удаления мелких отсоединённых частей внутри каждой бинарной маски экземпляра.

target_sizes (`List[Tuple]`, *optional*) : Список длины (batch_size), где каждый элемент списка (`Tuple[int, int]]`) соответствует запрашиваемому конечному размеру (высота, ширина) каждого предсказания. Если оставить значение None, предсказания не будут изменены в размере.

return_coco_annotation (`bool`, *необязательный*, по умолчанию `False`) : Если установлено в `True`, карты сегментации возвращаются в формате COCO run-length encoding (RLE).

return_binary_maps (`bool`, *необязательный*, по умолчанию `False`) : Если установлено в `True`, карты сегментации возвращаются в виде конкатенированного тензора бинарных карт сегментации (по одной на каждый обнаруженный экземпляр).

**Возвращает:** `List[Dict]`

Список словарей, по одному на изображение, где каждый словарь содержит два ключа:
- **segmentation** -- тензор формы `(height, width)`, где каждый пиксель представляет `segment_id`, либо `List[List]` — кодирование сжатием повторяющихся последовательностей (RLE) карты сегментации, если return_coco_annotation установлено в `True`, либо тензор формы `(num_instances, height, width)`, если return_binary_maps установлено в `True`. Устанавливается в `None`, если маска не найдена выше `threshold`.
- **segments_info** -- словарь, содержащий дополнительную информацию о каждом сегменте.
  - **id** — целое число, представляющее `segment_id`.
  - **label_id** — целое число, представляющее идентификатор метки / семантического класса, соответствующий `segment_id`.
  - **score** -- Оценка предсказания для сегмента с `segment_id`.

Преобразует вывод `Mask2FormerForUniversalSegmentationOutput` в предсказания сегментации объектов. Поддерживается только PyTorch. Если объекты могут пересекаться, установите return_coco_annotation или return_binary_maps в `True`, чтобы получить корректный результат сегментации.

#### post_process_panoptic_segmentation[[transformers.Mask2FormerImageProcessor.post_process_panoptic_segmentation]]

```python
post_process_panoptic_segmentation(outputs, threshold: float = 0.5, mask_threshold: float = 0.5, overlap_mask_area_threshold: float = 0.8, label_ids_to_fuse: set[int] | None = None, target_sizes: list[tuple[int, int]] | None = None)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/image_processing_mask2former.py#L748)

**Параметры:**

outputs (`Mask2FormerForUniversalSegmentationOutput`) : Выходные данные [Mask2FormerForUniversalSegmentation](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.Mask2FormerForUniversalSegmentation).

threshold (`float`, *optional*, по умолчанию 0.5) : Порог вероятности для сохранения предсказанных масок экземпляров.

mask_threshold (`float`, *optional*, по умолчанию 0.5) : Порог, используемый при преобразовании предсказанных масок в бинарные значения.

overlap_mask_area_threshold (`float`, *optional*, по умолчанию 0.8) : Порог площади маски перекрытия для слияния или удаления мелких отсоединённых частей внутри каждой бинарной маски экземпляра.

label_ids_to_fuse (`Set[int]`, *необязательный*) : Все экземпляры меток в этом состоянии будут объединены. Например, можно утверждать, что на изображении может быть только одно небо, но несколько человек, поэтому идентификатор метки «небо» будет включён в этот набор, а идентификатор метки «человек» — нет.

target_sizes (`List[Tuple]`, *optional*) : Список длины (batch_size), где каждый элемент списка (`Tuple[int, int]]`) соответствует запрашиваемому конечному размеру (высота, ширина) каждого предсказания в батче. Если оставить None, предсказания не будут изменены в размере.

**Возвращает:** `List[Dict]`

Список словарей, по одному на изображение, где каждый словарь содержит два ключа:
- **segmentation** — тензор формы `(height, width)`, где каждый пиксель представляет `segment_id`, установлен в `None`, если маска не найдена выше `threshold`. Если указано `target_sizes`, сегментация масштабируется до соответствующего элемента `target_sizes`.
- **segments_info** -- словарь, содержащий дополнительную информацию о каждом сегменте.
  - **id** — целое число, представляющее `segment_id`.
  - **label_id** — целое число, представляющее идентификатор метки / семантического класса, соответствующий `segment_id`.
  - **was_fused** -- булево значение, `True`, если `label_id` содержалось в `label_ids_to_fuse`, иначе `False`. Несколько экземпляров одного и того же класса / метки были объединены и получили единый `segment_id`.
  - **score** -- Оценка предсказания для сегмента с `segment_id`.

Преобразует вывод `Mask2FormerForUniversalSegmentationOutput` в предсказания паноптической сегментации изображений. Поддерживается только PyTorch.

## Mask2FormerImageProcessorPil[[transformers.Mask2FormerImageProcessorPil]]

#### transformers.Mask2FormerImageProcessorPil[[transformers.Mask2FormerImageProcessorPil]]

```python
transformers.Mask2FormerImageProcessorPil(**kwargs: *<class 'transformers.models.mask2former.image_processing_pil_mask2former.Mask2FormerImageProcessorKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/image_processing_pil_mask2former.py#L274)

#### preprocess[[transformers.Mask2FormerImageProcessorPil.preprocess]]

```python
preprocess(images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']], segmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None, instance_id_to_semantic_id: list[dict[int, int]] | dict[int, int] | None = None, **kwargs: *<class 'transformers.models.mask2former.image_processing_pil_mask2former.Mask2FormerImageProcessorKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/image_processing_pil_mask2former.py#L442)

**Параметры:**

images (`Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]`) : Изображение для предобработки. Ожидается одно изображение или пакет изображений со значениями пикселей в диапазоне от 0 до 255. Если передаются изображения со значениями пикселей в диапазоне от 0 до 1, установите `do_rescale=False`.

segmentation_maps (`ImageInput`, *необязательный*) : Карты сегментации.

instance_id_to_semantic_id (`Union[list[dict[int, int]], dict[int, int]]`, *необязательный*) : Соответствие между идентификаторами экземпляров и семантическими идентификаторами.

do_convert_rgb (`bool`, *kwargs*, *необязательный*) : Преобразовать ли изображение в RGB.

do_resize (`bool`, *kwargs*, *необязательный*) : Указывает, нужно ли изменить размер изображения.

size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Описывает максимальные размеры входных данных для модели.

default_to_square (`bool`, *kwargs*, *необязательный*) : Указывает, следует ли по умолчанию использовать квадратное изображение при изменении размера, если size задан как int.

crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Размер выходного изображения после применения `center_crop`.

resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*) : Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисления `PILImageResampling`. Действует только при установке `do_resize` в `True`.

do_rescale (`bool`, *kwargs*, *необязательный*) : Нужно ли масштабировать изображение.

rescale_factor (`float`, *kwargs*, *optional*) : Коэффициент масштабирования для изменения размера изображения, если `do_rescale` установлен в `True`.

do_normalize (`bool`, *kwargs*, *необязательный*) : Нужно ли нормализовать изображение.

image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*) : Среднее значение изображения, используемое для нормализации. Влияет только в том случае, если `do_normalize` установлено в `True`.

image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*) : Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, если `do_normalize` установлено в `True`.

do_pad (`bool`, *kwargs*, *необязательный*) : Указывает, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Конкретная стратегия выравнивания зависит от модели.

pad_size (`SizeDict`, *kwargs*, *optional*) : Размер, до которого следует дополнить изображения. Должен быть больше любого размера изображения, переданного для предобработки. Если `pad_size` не указан, изображения будут дополнены до наибольшей высоты и ширины в батче.

do_center_crop (`bool`, *kwargs*, *optional*) : Центрировать ли изображение при обрезке.

data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *необязательный*) : Поддерживается только `ChannelDimension.FIRST`. Добавлено для совместимости с медленными процессорами.

input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *optional*) : Формат размерности каналов для входного изображения. Если не задано, формат размерности каналов определяется по входному изображению. Может быть одним из: - `"channels_first"` или `ChannelDimension.FIRST`: изображение в формате (num_channels, height, width). - `"channels_last"` или `ChannelDimension.LAST`: изображение в формате (height, width, num_channels). - `"none"` или `ChannelDimension.NONE`: изображение в формате (height, width).

device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : Устройство для обработки видео. Если не задано, устройство определяется на основе входных видео.

return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : Возвращает стопку тензоров, если установлено значение `'pt'`, иначе возвращает список тензоров.

disable_grouping (`bool`, *kwargs*, *optional*) : Указывает, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, подробно описанных здесь: https://github.com/huggingface/transformers/pull/38157

image_seq_length (`int`, *kwargs*, *необязательный*) : Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора.

ignore_index (`int`, *kwargs*, *optional*) : Метка, назначаемая фоновым пикселям в сегментационных картах. Если указано, пиксели сегментационной карты, обозначенные как 0 (фон), будут заменены на `ignore_index`.

do_reduce_labels (`bool`, *kwargs*, *optional*, по умолчанию `False`) : Указывает, следует ли уменьшать все значения меток в сегментационных картах на 1. Обычно используется для наборов данных, где 0 обозначает фон, а сам фон не входит в состав всех классов набора данных (например, ADE20k). Метка фона будет заменена на `ignore_index`.

num_labels (`int`, *kwargs*, *optional*) : Количество меток в карте сегментации.

size_divisor (`int`, *kwargs*, *optional*, по умолчанию `32`) : некоторым базовым моделям требуются изображения, размеры которых делятся на определённое число. Если значение не передано, используется значение по умолчанию из Swin Transformer.

**Возвращает:** `~image_processing_base.BatchFeature`

- **data** (`dict`) — Словарь списков/массивов/тензоров, возвращаемый методом __call__ ('pixel_values' и т. д.).
- **tensor_type** (`Union[None, str, TensorType]`, *необязательный*) -- Здесь можно указать tensor_type, чтобы при инициализации преобразовать списки целых чисел в тензоры PyTorch/Numpy.

#### post_process_semantic_segmentation[[transformers.Mask2FormerImageProcessorPil.post_process_semantic_segmentation]]

```python
post_process_semantic_segmentation(outputs, target_sizes: list[tuple[int, int]] | None = None, return_segmentation_scores: bool = False)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/image_processing_pil_mask2former.py#L587)

**Параметры:**

outputs ([Mask2FormerForUniversalSegmentation](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.Mask2FormerForUniversalSegmentation)) : Сырые выходные модели.

target_sizes (`list[tuple[int, int]]`, *необязательный*) : Список длины (batch_size), где каждый элемент списка (`tuple[int, int]]`) соответствует запрашиваемому конечному размеру (высота, ширина) каждого предсказания. Если оставить значение None, предсказания не будут изменены в размере.

return_segmentation_scores (`bool`, *необязательный*, по умолчанию `False`) : Нужно ли возвращать оценки сегментации вместе с картой сегментации. Если `True`, каждый элемент возвращаемого списка представляет собой `SemanticSegmentationPostProcessorOutput` с полями `segmentation` (идентификаторы классов, форма `(height, width)`) и `segmentation_scores` (форма `(num_classes, height, width)`).

**Возвращает:** `list[torch.Tensor]` или `list[SemanticSegmentationPostProcessorOutput]`

Если `return_segmentation_scores=False` (по умолчанию), возвращается список длины `batch_size`, где каждый элемент — карта сегментации формы `(height, width)` с идентификаторами классов. Если `return_segmentation_scores=True`, возвращается список объектов `SemanticSegmentationPostProcessorOutput` с полями `segmentation` (идентификаторы классов, форма `(height, width)`) и `segmentation_scores` (форма `(num_classes, height, width)`). В обоих случаях `(height, width)` соответствует целевому размеру (если указан `target_sizes`).

Преобразует выход [Mask2FormerForUniversalSegmentation](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.Mask2FormerForUniversalSegmentation) в карты семантической сегментации. Поддерживается только PyTorch.

#### post_process_instance_segmentation[[transformers.Mask2FormerImageProcessorPil.post_process_instance_segmentation]]

```python
post_process_instance_segmentation(outputs, threshold: float = 0.5, mask_threshold: float = 0.5, overlap_mask_area_threshold: float = 0.8, target_sizes: list[tuple[int, int]] | None = None, return_coco_annotation: bool | None = False, return_binary_maps: bool | None = False)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/image_processing_pil_mask2former.py#L664)

**Параметры:**

outputs ([Mask2FormerForUniversalSegmentation](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.Mask2FormerForUniversalSegmentation)) : Сырые выходные модели.

threshold (`float`, *optional*, по умолчанию 0.5) : Порог вероятности для сохранения предсказанных масок экземпляров.

mask_threshold (`float`, *optional*, по умолчанию 0.5) : Порог, используемый при преобразовании предсказанных масок в бинарные значения.

overlap_mask_area_threshold (`float`, *optional*, по умолчанию 0.8) : Порог площади маски перекрытия для слияния или удаления мелких отсоединённых частей внутри каждой бинарной маски экземпляра.

target_sizes (`List[Tuple]`, *optional*) : Список длины (batch_size), где каждый элемент списка (`Tuple[int, int]]`) соответствует запрашиваемому конечному размеру (высота, ширина) каждого предсказания. Если оставить значение None, предсказания не будут изменены в размере.

return_coco_annotation (`bool`, *необязательный*, по умолчанию `False`) : Если установлено в `True`, карты сегментации возвращаются в формате COCO run-length encoding (RLE).

return_binary_maps (`bool`, *необязательный*, по умолчанию `False`) : Если установлено в `True`, карты сегментации возвращаются в виде конкатенированного тензора бинарных карт сегментации (по одной на каждый обнаруженный экземпляр).

**Возвращает:** `List[Dict]`

Список словарей, по одному на изображение, где каждый словарь содержит два ключа:
- **segmentation** -- тензор формы `(height, width)`, где каждый пиксель представляет `segment_id`, либо `List[List]` — кодирование сжатием повторяющихся последовательностей (RLE) карты сегментации, если return_coco_annotation установлено в `True`, либо тензор формы `(num_instances, height, width)`, если return_binary_maps установлено в `True`. Устанавливается в `None`, если маска не найдена выше `threshold`.
- **segments_info** -- словарь, содержащий дополнительную информацию о каждом сегменте.
  - **id** — целое число, представляющее `segment_id`.
  - **label_id** — целое число, представляющее идентификатор метки / семантического класса, соответствующий `segment_id`.
  - **score** -- Оценка предсказания для сегмента с `segment_id`.

Преобразует вывод `Mask2FormerForUniversalSegmentationOutput` в предсказания сегментации объектов. Поддерживается только PyTorch. Если объекты могут пересекаться, установите return_coco_annotation или return_binary_maps в `True`, чтобы получить корректный результат сегментации.

#### post_process_panoptic_segmentation[[transformers.Mask2FormerImageProcessorPil.post_process_panoptic_segmentation]]

```python
post_process_panoptic_segmentation(outputs, threshold: float = 0.5, mask_threshold: float = 0.5, overlap_mask_area_threshold: float = 0.8, label_ids_to_fuse: set[int] | None = None, target_sizes: list[tuple[int, int]] | None = None)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/image_processing_pil_mask2former.py#L786)

**Параметры:**

outputs (`Mask2FormerForUniversalSegmentationOutput`) : Выходные данные [Mask2FormerForUniversalSegmentation](/docs/transformers/v5.23.0/ru/model_doc/mask2former#transformers.Mask2FormerForUniversalSegmentation).

threshold (`float`, *optional*, по умолчанию 0.5) : Порог вероятности для сохранения предсказанных масок экземпляров.

mask_threshold (`float`, *optional*, по умолчанию 0.5) : Порог, используемый при преобразовании предсказанных масок в бинарные значения.

overlap_mask_area_threshold (`float`, *optional*, по умолчанию 0.8) : Порог площади маски перекрытия для слияния или удаления мелких отсоединённых частей внутри каждой бинарной маски экземпляра.

label_ids_to_fuse (`Set[int]`, *необязательный*) : Все экземпляры меток в этом состоянии будут объединены. Например, можно утверждать, что на изображении может быть только одно небо, но несколько человек, поэтому идентификатор метки «небо» будет включён в этот набор, а идентификатор метки «человек» — нет.

target_sizes (`List[Tuple]`, *optional*) : Список длины (batch_size), где каждый элемент списка (`Tuple[int, int]]`) соответствует запрашиваемому конечному размеру (высота, ширина) каждого предсказания в батче. Если оставить None, предсказания не будут изменены в размере.

**Возвращает:** `List[Dict]`

Список словарей, по одному на изображение, где каждый словарь содержит два ключа:
- **segmentation** — тензор формы `(height, width)`, где каждый пиксель представляет `segment_id`, установлен в `None`, если маска не найдена выше `threshold`. Если указано `target_sizes`, сегментация масштабируется до соответствующего элемента `target_sizes`.
- **segments_info** -- словарь, содержащий дополнительную информацию о каждом сегменте.
  - **id** — целое число, представляющее `segment_id`.
  - **label_id** — целое число, представляющее идентификатор метки / семантического класса, соответствующий `segment_id`.
  - **was_fused** -- булево значение, `True`, если `label_id` содержалось в `label_ids_to_fuse`, иначе `False`. Несколько экземпляров одного и того же класса / метки были объединены и получили единый `segment_id`.
  - **score** -- Оценка предсказания для сегмента с `segment_id`.

Преобразует вывод `Mask2FormerForUniversalSegmentationOutput` в предсказания паноптической сегментации изображений. Поддерживается только PyTorch.

