# FLAN-UL2

## Обзор

[Flan-UL2](https://www.yitay.net/blog/flan-ul2-20b) — это модель с архитектурой «кодировщик-декодировщик», основанная на архитектуре T5. Она использует ту же конфигурацию, что и модель [UL2](ul2), выпущенная ранее в прошлом году. Модель была дообучена с использованием набора промптов и данных «Flan». Аналогично `Flan-T5`, веса FLAN-UL2 можно использовать напрямую, без дообучения модели:

Согласно оригинальному блогу, вот основные улучшения:

- Исходная модель UL2 обучалась только с полем восприятия 512, что делало её неидеальной для N-shot prompting при большом значении N.
- Чекпоинт Flan-UL2 использует поле восприятия 2048, что делает его более пригодным для few-shot обучения в контексте.
- Исходная модель UL2 также содержала токены переключения режима, которые были практически обязательными для достижения хорошей производительности. Однако они были несколько неудобны в использовании, поскольку часто требовали изменений на этапах инференса или дообучения. В рамках этого обновления мы продолжили обучение UL2 20B на дополнительные 100k шагов (с малым размером батча), чтобы «забыть» токены режима перед применением Flan instruction tuning. Этот чекпоинт Flan-UL2 больше не требует токены режима.
Google выпустила следующие варианты:

Оригинальные контрольные точки можно найти [здесь](https://github.com/google-research/google-research/tree/master/ul2).

## Запуск на устройствах с ограниченными ресурсами

Модель довольно тяжёлая (~40 ГБ в половинной точности), поэтому, если вы просто хотите запустить модель, убедитесь, что загружаете её в 8bit и используете `device_map="auto"`, чтобы избежать проблем с нехваткой памяти (OOM)!

```python
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer, BitsAndBytesConfig

model = AutoModelForSeq2SeqLM.from_pretrained("google/flan-ul2", quantization_config=BitsAndBytesConfig(load_in_8bit=True), device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("google/flan-ul2")

inputs = tokenizer("A step by step recipe to make bolognese pasta:", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
['In a large skillet, brown the ground beef and onion over medium heat. Add the garlic']
```

См. [страницу документации T5](t5) для справочника API, советов, примеров кода и ноутбуков.

