# UnivNet

## Обзор

The UnivNet model was proposed in [UnivNet: A Neural Vocoder with Multi-Resolution Spectrogram Discriminators for High-Fidelity Waveform Generation](https://huggingface.co/papers/2106.07889) by Won Jang, Dan Lim, Jaesam Yoon, Bongwan Kin, and Juntae Kim. The UnivNet model is a generative adversarial network (GAN) trained to synthesize high fidelity speech waveforms. The UnivNet model shared in `transformers` is the *generator*, which maps a conditioning log-mel spectrogram and optional noise sequence to a speech waveform (e.g. a vocoder). Only the generator is required for inference. The *discriminator* used to train the `generator` is not implemented.

Аннотация из статьи следующая:

*Большинство нейронных вокодеров используют ограниченные по полосе частот мел-спектрограммы для генерации волновых форм. Если в качестве входных данных используются спектральные характеристики полного диапазона частот, вокодер получает максимально возможное количество акустической информации. Однако в некоторых моделях, использующих мел-спектрограммы полного диапазона, возникает проблема чрезмерного сглаживания, в результате которой генерируются нечёткие спектрограммы. Для решения этой проблемы мы предлагаем UnivNet — нейронный вокодер, синтезирующий волновые формы высокого качества в реальном времени. Вдохновлённые работами в области обнаружения активности речи, мы добавили дискриминатор спектрограмм с многоуровневым разрешением, который использует несколько линейных спектрограмм по амплитуде, вычисленных с различными наборами параметров. Используя мел-спектрограммы полного диапазона в качестве входных данных, мы ожидаем генерировать сигналы высокого разрешения, добавляя дискриминатор, который в качестве входных данных использует спектрограммы с различными уровнями разрешения. В ходе оценки на наборе данных, содержащем информацию о сотнях говорящих, UnivNet показал лучшие объективные и субъективные результаты среди конкурирующих моделей как для известных, так и для неизвестных говорящих. Эти результаты, включая лучший субъективный показатель для синтеза речи из текста, демонстрируют потенциал быстрой адаптации к новым говорящим без необходимости обучения с нуля.*

Советы:

- Аргумент `noise_sequence` для [UnivNetModel.forward()](/docs/transformers/v5.23.0/ru/model_doc/univnet#transformers.UnivNetModel.forward) должен представлять собой стандартный гауссов шум (например, полученный с помощью `torch.randn`) с формой `([batch_size], noise_length, model.config.model_in_channels)`, где `noise_length` должен совпадать с размером измерения (измерение 1) аргумента `input_features`. Если аргумент не передан, шум будет сгенерирован случайно; для воспроизводимости прямого прохода можно передать `torch.Generator` в аргумент `generator`. (Обратите внимание, что [UnivNetFeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/univnet#transformers.UnivNetFeatureExtractor) по умолчанию возвращает сгенерированный шум, поэтому вручную генерировать `noise_sequence` не требуется.)
- Паддинг, добавленный [UnivNetFeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/univnet#transformers.UnivNetFeatureExtractor), можно удалить из вывода [UnivNetModel](/docs/transformers/v5.23.0/ru/model_doc/univnet#transformers.UnivNetModel) с помощью метода `UnivNetFeatureExtractor.batch_decode()`, как показано в примере использования ниже.
- Добавление тишины в конец каждой звуковой волны может уменьшить артефакты в конце сгенерированного аудиосэмпла. Это можно сделать, передав `pad_end = True` в [UnivNetFeatureExtractor.__call__()](/docs/transformers/v5.23.0/ru/model_doc/univnet#transformers.UnivNetFeatureExtractor.__call__). Подробнее см. в [этом issue](https://github.com/seungwonpark/melgan/issues/8).

Пример использования:

```python
import torch
from datasets import Audio, load_dataset
from scipy.io.wavfile import write

from transformers import UnivNetFeatureExtractor, UnivNetModel

model_id_or_path = "dg845/univnet-dev"
model = UnivNetModel.from_pretrained(model_id_or_path, device_map="auto")
feature_extractor = UnivNetFeatureExtractor.from_pretrained(model_id_or_path)

ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
# Resample the audio to the model and feature extractor's sampling rate.
ds = ds.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
# Pad the end of the converted waveforms to reduce artifacts at the end of the output audio samples.
inputs = feature_extractor(
    ds[0]["audio"]["array"], sampling_rate=ds[0]["audio"]["sampling_rate"], pad_end=True, return_tensors="pt"
)

with torch.no_grad():
    audio = model(**inputs)

# Remove the extra padding at the end of the output.
audio = feature_extractor.batch_decode(**audio)[0]
# Convert to wav file
write("sample_audio.wav", feature_extractor.sampling_rate, audio)
```

Эта модель была добавлена пользователем [dg845](https://huggingface.co/dg845). Насколько мне известно, официального выпуска кода нет, но неофициальная реализация доступна по адресу [maum-ai/univnet](https://github.com/maum-ai/univnet), а предобученные контрольные точки — [здесь](https://github.com/maum-ai/univnet#pre-trained-model).

## UnivNetConfig[[transformers.UnivNetConfig]]

#### transformers.UnivNetConfig[[transformers.UnivNetConfig]]

```python
transformers.UnivNetConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, model_in_channels: int = 64, model_hidden_channels: int = 32, num_mel_bins: int = 100, resblock_kernel_sizes: list[int] | tuple[int, ...] = (3, 3, 3), resblock_stride_sizes: list[int] | tuple[int, ...] = (8, 8, 4), resblock_dilation_sizes: list | tuple = ((1, 3, 9, 27), (1, 3, 9, 27), (1, 3, 9, 27)), kernel_predictor_num_blocks: int = 3, kernel_predictor_hidden_channels: int = 64, kernel_predictor_conv_size: int = 3, kernel_predictor_dropout: float | int = 0.0, initializer_range: float = 0.01, leaky_relu_slope: float = 0.2)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/univnet/configuration_univnet.py#L24)

**Параметры:**

model_in_channels (`int`, *optional*, по умолчанию 64) : Количество входных каналов для остаточной сети UnivNet. Это значение должно соответствовать `noise_sequence.shape[1]` и значению, используемому в классе [UnivNetFeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/univnet#transformers.UnivNetFeatureExtractor).

model_hidden_channels (`int`, *optional*, по умолчанию 32) : Количество скрытых каналов каждого остаточного блока в остаточной сети UnivNet.

num_mel_bins (`int`, *необязательный*, по умолчанию 100) : Количество частотных бинов в условном лог-мел-спектрограмме. Это значение должно соответствовать значению, используемому в классе [UnivNetFeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/univnet#transformers.UnivNetFeatureExtractor).

resblock_kernel_sizes (`tuple[int]` или `list[int]`, *необязательный*, по умолчанию `[3, 3, 3]`) : Кортеж целых чисел, определяющий размеры ядра для одномерных свёрточных слоев в остаточной сети UnivNet. Длина `resblock_kernel_sizes` определяет количество блоков resnet и должна совпадать с длиной `resblock_stride_sizes` и `resblock_dilation_sizes`.

resblock_stride_sizes (`tuple[int]` или `list[int]`, *необязательный*, по умолчанию `[8, 8, 4]`) : Кортеж целых чисел, определяющий размеры шага (stride) для одномерных свёрточных слоев в остаточной сети UnivNet. Длина `resblock_stride_sizes` должна совпадать с длиной `resblock_kernel_sizes` и `resblock_dilation_sizes`.

resblock_dilation_sizes (`tuple[tuple[int]]` или `list[list[int]]`, *необязательный*, по умолчанию `[[1, 3, 9, 27], [1, 3, 9, 27], [1, 3, 9, 27]]`) : Вложенный кортеж целых чисел, определяющий коэффициенты дилатации для дилатационных одномерных свёрточных слоёв в остаточной сети UnivNet. Длина `resblock_dilation_sizes` должна совпадать с длиной `resblock_kernel_sizes` и `resblock_stride_sizes`. Длина каждого вложенного списка в `resblock_dilation_sizes` определяет количество свёрточных слоёв в каждом блоке ResNet.

kernel_predictor_num_blocks (`int`, *optional*, по умолчанию 3) : Количество остаточных блоков в сети предсказания ядер, которая вычисляет ядро и смещение для каждого слоя свёртки с переменными по позициям в остаточной сети UnivNet.

kernel_predictor_hidden_channels (`int`, *optional*, по умолчанию 64) : Количество скрытых каналов для каждого остаточного блока в сети предсказателя ядра.

kernel_predictor_conv_size (`int`, *optional*, по умолчанию 3) : Размер ядра каждого одномерного свёрточного слоя в сети предсказания ядер.

kernel_predictor_dropout (`float`, *optional*, по умолчанию 0.0) : Вероятность dropout для каждого остаточного блока в сети предсказателя ядра.

initializer_range (`float`, *необязательный*, по умолчанию `0.01`) : Стандартное отклонение truncated_normal_initializer для инициализации всех матриц весов.

leaky_relu_slope (`float`, *optional*, по умолчанию 0.2) : Угол отрицательного наклона, используемого активацией leaky ReLU.

Это класс конфигурации для хранения настроек модели UnivNetModel. Он используется для создания модели Univnet в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации [dg845/univnet-dev](https://huggingface.co/dg845/univnet-dev)

Объекты конфигурации наследуются от [PreTrainedConfig](/docs/transformers/v5.23.0/ru/main_classes/configuration#transformers.PreTrainedConfig) и могут использоваться для управления выводами модели. Подробнее см. в документации [PreTrainedConfig](/docs/transformers/v5.23.0/ru/main_classes/configuration#transformers.PreTrainedConfig).

Пример:

```python
>>> from transformers import UnivNetModel, UnivNetConfig

>>> # Initializing a Tortoise TTS style configuration
>>> configuration = UnivNetConfig()

>>> # Initializing a model (with random weights) from the Tortoise TTS style configuration
>>> model = UnivNetModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## UnivNetFeatureExtractor[[transformers.UnivNetFeatureExtractor]]

#### transformers.UnivNetFeatureExtractor[[transformers.UnivNetFeatureExtractor]]

```python
transformers.UnivNetFeatureExtractor(feature_size: int = 1, sampling_rate: int = 24000, padding_value: float = 0.0, do_normalize: bool = False, num_mel_bins: int = 100, hop_length: int = 256, win_length: int = 1024, win_function: str = 'hann_window', filter_length: int | None = 1024, max_length_s: int = 10, fmin: float = 0.0, fmax: float | None = None, mel_floor: float = 1e-09, center: bool = False, compression_factor: float = 1.0, compression_clip_val: float = 1e-05, normalize_min: float = -11.512925148010254, normalize_max: float = 2.3143386840820312, model_in_channels: int = 64, pad_end_length: int = 10, return_attention_mask = True, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/univnet/feature_extraction_univnet.py#L29)

**Параметры:**

feature_size (`int`, *optional*, по умолчанию 1) : Размерность признаков извлечённых признаков.

sampling_rate (`int`, *optional*, по умолчанию 24000) : Частота дискретизации, с которой аудиофайлы должны быть оцифрованы, выраженная в герцах (Гц).

padding_value (`float`, *optional*, по умолчанию 0.0) : Значение, используемое для дополнения при применении стратегии дополнения, заданной аргументом `padding` в [UnivNetFeatureExtractor.__call__()](/docs/transformers/v5.23.0/ru/model_doc/univnet#transformers.UnivNetFeatureExtractor.__call__). Должно соответствовать тишине в аудиосигнале. Аргумент `pad_end` в `__call__` также будет использовать это значение дополнения.

do_normalize (`bool`, *необязательный*, по умолчанию `False`) : Выполнять ли нормализацию Tacotron 2 для входных данных. Нормализация может значительно улучшить производительность некоторых моделей.

num_mel_bins (`int`, *optional*, по умолчанию 100) : Количество полос мел-частот в извлечённых спектрограммных признаках. Это значение должно совпадать с `UnivNetModel.config.num_mel_bins`.

hop_length (`int`, *optional*, по умолчанию 256) : Прямое количество сэмплов между скользящими окнами. В многих статьях это также называется «shift». Обратите внимание, что это отличается от других аудио-извлекателей признаков, таких как [SpeechT5FeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/speecht5#transformers.SpeechT5FeatureExtractor), которые принимают `hop_length` в миллисекундах.

win_length (`int`, *optional*, по умолчанию 1024) : Прямое количество сэмплов для каждого скользящего окна. Обратите внимание, что это отличается от других аудио-извлекателей признаков, таких как [SpeechT5FeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/speecht5#transformers.SpeechT5FeatureExtractor), которые принимают `win_length` в миллисекундах.

win_function (`str`, *необязательный*, по умолчанию `"hann_window"`) : Имя функции окна, используемой для оконирования; должна быть доступна через `torch.{win_function}`

filter_length (`int`, *необязательный*, по умолчанию 1024) : Количество используемых компонент БПФ. Если `None`, значение определяется с помощью `transformers.audio_utils.optimal_fft_length`.

max_length_s (`int`, *optional*, по умолчанию 10) : Максимальная длина входных данных модели в секундах. Используется для дополнения аудио.

fmin (`float`, *необязательный*, по умолчанию 0.0) : Минимальная частота в меле, Гц.

fmax (`float`, *необязательный*) : Максимальная частота мел-шкалы в Гц. Если не задано, по умолчанию используется `sampling_rate / 2`.

mel_floor (`float`, *optional*, по умолчанию 1e-09) : Минимальное значение банков частот мел-шкалы. Обратите внимание, что способ использования `mel_floor` в [UnivNetFeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/univnet#transformers.UnivNetFeatureExtractor) отличается от того, что применяется в [transformers.audio_utils.spectrogram()](/docs/transformers/v5.23.0/ru/internal/audio_utils#transformers.audio_utils.spectrogram).

center (`bool`, *необязательный*, по умолчанию `False`) : Нужно ли дополнять звуковой сигнал нулями так, чтобы кадр `t` был центрирован относительно времени `t * hop_length`. Если `False`, кадр `t` начнётся в момент времени `t * hop_length`.

compression_factor (`float`, *optional*, по умолчанию 1.0) : Множитель сжатия для динамического сжатия динамического диапазона при спектральной нормализации.

compression_clip_val (`float`, *optional*, по умолчанию 1e-05) : Значение обрезки, применяемое к волновой форме перед применением сжатия динамического диапазона во время спектральной нормализации.

normalize_min (`float`, *optional*, по умолчанию -11.512925148010254) : Минимальное значение, используемое для линейной нормализации в стиле Tacotron 2. По умолчанию используется исходное значение из реализации Tacotron 2.

normalize_max (`float`, *optional*, по умолчанию 2.3143386840820312) : Максимальное значение, используемое для линейной нормализации в стиле Tacotron 2. По умолчанию используется исходное значение из реализации Tacotron 2.

model_in_channels (`int`, *необязательный*, по умолчанию 64) : Количество входных каналов для модели [UnivNetModel](/docs/transformers/v5.23.0/ru/model_doc/univnet#transformers.UnivNetModel). Это значение должно совпадать с `UnivNetModel.config.model_in_channels`.

pad_end_length (`int`, *optional*, по умолчанию 10) : При дополнении конца каждой звуковой волны количество сэмплов, эквивалентное числу кадров спектрограммы, которое добавляется. Количество добавляемых сэмплов будет равно `pad_end_length * hop_length`.

return_attention_mask (`bool`, *необязательный*, по умолчанию `True`) : следует ли [__call__()](/docs/transformers/v5.23.0/ru/model_doc/univnet#transformers.UnivNetFeatureExtractor.__call__) возвращать `attention_mask`.

Создаёт экстрактор признаков UnivNet.

Этот класс извлекает лог-мел-фильтр-банковые признаки из сырой речи с использованием короткого преобразования Фурье (STFT). Реализация STFT следует подходу, описанному в TacoTron 2 и Hifi-GAN.

Этот экстрактор признаков наследуется от [SequenceFeatureExtractor](/docs/transformers/v5.23.0/ru/main_classes/feature_extractor#transformers.SequenceFeatureExtractor), который содержит большинство основных методов. За дополнительной информацией о них следует обращаться к этому суперклассу.

#### __call__[[transformers.UnivNetFeatureExtractor.__call__]]

```python
__call__(raw_speech: numpy.ndarray | list[float] | list[numpy.ndarray] | list[list[float]], sampling_rate: int | None = None, padding: bool | str | transformers.utils.generic.PaddingStrategy = True, max_length: int | None = None, truncation: bool = True, pad_to_multiple_of: int | None = None, return_noise: bool = True, generator: numpy.random._generator.Generator | None = None, pad_end: bool = False, pad_length: int | None = None, do_normalize: str | None = None, return_attention_mask: bool | None = None, return_tensors: str | transformers.utils.generic.TensorType | None = None)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/univnet/feature_extraction_univnet.py#L286)

**Параметры:**

raw_speech (`np.ndarray`, `list[float]`, `list[np.ndarray]`, `list[list[float]]`) : Последовательность или батч последовательностей, для которых требуется выравнивание. Каждая последовательность может быть массивом numpy, списком значений float, списком массивов numpy или списком списков значений float. Аудио должно быть моноканальным, а не стерео, то есть одно значение float на временной шаг.

sampling_rate (`int`, *optional*) : Частота дискретизации, с которой вход `raw_speech` был оцифрован. Настоятельно рекомендуется передавать `sampling_rate` при вызове forward, чтобы избежать скрытых ошибок и обеспечить работу конвейера автоматического распознавания речи.

padding (`bool`, `str` или [PaddingStrategy](/docs/transformers/v5.23.0/ru/internal/file_utils#transformers.utils.PaddingStrategy), *необязательный*, по умолчанию `True`) : Выберите стратегию дополнения входных волновых форм `raw_speech` (в соответствии со стороной дополнения и индексом дополнения модели) из следующих:  - `True` или `'longest'`: Дополнить до самой длинной последовательности в батче (или не дополнять, если предоставлена только одна последовательность). - `'max_length'`: Дополнить до максимальной длины, указанной в аргументе `max_length`, или до максимально допустимой входной длины для модели, если этот аргумент не указан. - `False` или `'do_not_pad'` (по умолчанию): Без дополнения (т.е. может быть выведен батч с последовательностями разной длины).  Если `pad_end = True`, такое дополнение будет выполнено до применения стратегии `padding`.

max_length (`int`, *optional*) : Максимальная длина возвращаемого списка и, при необходимости, длина отступов (см. выше).

truncation (`bool`, *необязательный*, по умолчанию `True`) : Включает усечение, чтобы обрезать входные последовательности длиннее `max_length` до `max_length`.

pad_to_multiple_of (`int`, *optional*) : Если задано, последовательность будет дополнена до кратного указанного значения. Это особенно полезно для использования Tensor Cores на оборудовании NVIDIA с вычислительной способностью `>= 7.5` (Volta) или на TPU, где производительность повышается при длине последовательности, кратной 128.

return_noise (`bool`, *необязательный*, по умолчанию `True`) : Генерировать и возвращать шумовой сигнал для использования в [UnivNetModel.forward()](/docs/transformers/v5.23.0/ru/model_doc/univnet#transformers.UnivNetModel.forward).

generator (`numpy.random.Generator`, *необязательный*, по умолчанию `None`) : Необязательный генератор случайных чисел `numpy.random.Generator`, используемый при генерации шума.

pad_end (`bool`, *необязательный*, по умолчанию `False`) : Нужно ли дополнять конец каждой звуковой дорожки тишиной. Это может помочь уменьшить артефакты в конце сгенерированного аудиосампла; подробности см. в https://github.com/seungwonpark/melgan/issues/8. Это дополнение выполняется до применения стратегии дополнения, указанной в `padding`.

pad_length (`int`, *необязательный*, по умолчанию `None`) : Если выполняется выравнивание конца каждой звуковой волны, длина выравнивания в кадрах спектрограммы. Если не задано, по умолчанию используется `self.config.pad_end_length`.

do_normalize (`bool`, *необязательный*) : Выполнять ли нормализацию Tacotron 2 для входных данных. Нормализация может значительно улучшить производительность некоторых моделей. Если не задано, по умолчанию используется `self.config.do_normalize`.

return_attention_mask (`bool`, *необязательный*) : Указывает, следует ли возвращать маску внимания. Если значение не задано, маска внимания будет возвращена в соответствии со значением по умолчанию конкретного feature_extractor. [Что такое маски внимания?](../glossary#attention-mask)

return_tensors (`str` или [TensorType](/docs/transformers/v5.23.0/ru/internal/file_utils#transformers.TensorType), *optional*) : Если задано, возвращает тензоры вместо списка целых чисел Python. Допустимые значения:  - `'pt'`: Возвращает объекты `torch.np.array` PyTorch. - `'np'`: Возвращает объекты `np.ndarray` Numpy.

Основной метод для создания признаков и подготовки одной или нескольких последовательностей для модели.

## UnivNetModel[[transformers.UnivNetModel]]

#### transformers.UnivNetModel[[transformers.UnivNetModel]]

```python
transformers.UnivNetModel(config: UnivNetConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/univnet/modeling_univnet.py#L425)

**Параметры:**

config ([UnivNetConfig](/docs/transformers/v5.23.0/ru/model_doc/univnet#transformers.UnivNetConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Модель Univnet без дополнительных слоёв, выводящая необработанные скрытые состояния.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.UnivNetModel.forward]]

```python
forward(input_features: Tensor, noise_sequence: typing.Optional[torch.Tensor] = None, padding_mask: typing.Optional[torch.Tensor] = None, generator: typing.Optional[torch.Generator] = None, return_dict: bool | None = None, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/univnet/modeling_univnet.py#L469)

**Параметры:**

input_features (`torch.Tensor` формы `(batch_size, sequence_length, feature_dim)`) : Тензоры, соответствующие входным аудио-признакам. Аудио-признаки можно получить с помощью [UnivNetFeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/univnet#transformers.UnivNetFeatureExtractor). Подробности см. в [UnivNetFeatureExtractor.__call__()](/docs/transformers/v5.23.0/ru/model_doc/univnet#transformers.UnivNetFeatureExtractor.__call__) (`processor_class` использует [UnivNetFeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/univnet#transformers.UnivNetFeatureExtractor) для обработки аудио).

noise_sequence (`torch.Tensor`, *optional*) : тензор, содержащий последовательность шума стандартного гауссова распределения. Может быть батчеван и иметь форму `(batch_size, sequence_length, config.model_in_channels)`, либо не быть батчеванным и иметь форму (sequence_length, config.model_in_channels)`. Если не указан, будет сгенерирован случайно.

padding_mask (`torch.BoolTensor`, *необязательный*) : Маска, указывающая, какие части каждой последовательности заполнены. Значения маски выбираются из `[0, 1]`:  - 1 для токенов, которые **не замаскированы** - 0 для токенов, которые **замаскированы**  Маска может быть батчевой с формой `(batch_size, sequence_length)` или небатчевой с формой `(sequence_length,)`.

generator (`torch.Generator`, *необязательный*) : [генератор torch](https://pytorch.org/docs/stable/generated/torch.Generator.html) для обеспечения детерминированности генерации. return_dict: возвращать ли подкласс [ModelOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.utils.ModelOutput) вместо обычного кортежа.

return_dict (`bool`, *необязательный*) : Нужно ли возвращать [ModelOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.utils.ModelOutput) вместо обычного кортежа.

**Возвращает:** `UnivNetModelOutput` или `tuple(torch.Tensor)`

Объект `UnivNetModelOutput` или кортеж из `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([UnivNetConfig](/docs/transformers/v5.23.0/ru/model_doc/univnet#transformers.UnivNetConfig)) и входных данных.

Метод [UnivNetModel](/docs/transformers/v5.23.0/ru/model_doc/univnet#transformers.UnivNetModel) forward переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **волновые формы** (`torch.Tensor` формы `(batch_size, sequence_length)`) -- Пакет одномерных (моно) выходных аудиоволновых форм.
- **waveform_lengths** (`torch.Tensor` формы `(batch_size,)`) -- Длина в сэмплах каждой не дополненной формы волны в `waveforms` для всей партии.

Пример:

```python
>>> from transformers import UnivNetFeatureExtractor, UnivNetModel
>>> from datasets import load_dataset, Audio

>>> model = UnivNetModel.from_pretrained("dg845/univnet-dev")
>>> feature_extractor = UnivNetFeatureExtractor.from_pretrained("dg845/univnet-dev")

>>> ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> # Resample the audio to the feature extractor's sampling rate.
>>> ds = ds.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
>>> inputs = feature_extractor(
...     ds[0]["audio"]["array"], sampling_rate=ds[0]["audio"]["sampling_rate"], return_tensors="pt"
... )
>>> audio = model(**inputs).waveforms
>>> list(audio.shape)
[1, 140288]
```

