Тест в конце главы

1. Каков порядок работы конвейера языкового моделирования?

2. Сколько измерений имеет тензор, выводимый базовой моделью Transformer, и каковы они?

3. Что из перечисленного ниже является примером токенизации по подсловам?

4. Что такое голова модели?

5. Что такое AutoModel?

6. На какие техники следует обратить внимание при объединении в батч последовательностей разной длины?

7. В чем смысл применения функции SoftMax к логитам, выводимым моделью классификации последовательностей?

8. Какой метод является основным в API токенизатора?

9. Что содержит переменная result в этом примере кода?

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
result = tokenizer.tokenize("Hello!")

10. Есть ли что-то неправильное в следующем коде?

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
model = AutoModel.from_pretrained("gpt2")

encoded = tokenizer("Hey!", return_tensors="pt")
result = model(**encoded)