# Optimum Quanto

[Quanto](https://github.com/huggingface/optimum-quanto) est un backend de quantification PyTorch pour [Optimum](https://huggingface.co/docs/optimum/index). Il propose une quantification linéaire des poids (float8, int8, int4, int2) avec une précision très proche de celle des modèles en pleine précision. Quanto est compatible avec toute modalité de modèle et tout type d'appareil, ce qui en simplifie l'utilisation quel que soit le matériel.

Quanto est également compatible avec [torch.compile](https://pytorch.org/tutorials/intermediate/torch_compile_tutorial.html) pour une génération plus rapide.

Installez Quanto à l'aide de la commande suivante.

```bash
pip install optimum-quanto accelerate transformers
```

Quantifiez un modèle en créant un [QuantoConfig](/docs/transformers/v5.23.0/fr/main_classes/quantization#transformers.QuantoConfig) et en spécifiant le paramètre `weights` pour définir la cible de quantification. Cette méthode fonctionne pour tout modèle de toute modalité, à condition qu'il contienne des couches [torch.nn.Linear](https://pytorch.org/docs/stable/generated/torch.nn.Linear.html).

> [!TIP]
> L'intégration Transformers ne prend en charge que la quantification des poids. Utilisez directement la bibliothèque Quanto si vous avez besoin de quantification des activations, de calibration ou de QAT.

```py
from transformers import AutoModelForCausalLM, AutoTokenizer, QuantoConfig

quant_config = QuantoConfig(weights="int8")
model = transformers.AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-3.1-8B", 
    dtype="auto", 
    device_map="auto", 
    quantization_config=quant_config
)
```

## torch.compile

Envelopper un modèle Quanto avec [torch.compile](https://pytorch.org/tutorials/intermediate/torch_compile_tutorial.html) pour une génération plus rapide.

```py
import torch
from transformers import AutoModelForSpeechSeq2Seq, QuantoConfig

quant_config = QuantoConfig(weights="int8")
model = AutoModelForSpeechSeq2Seq.from_pretrained(
  "openai/whisper-large-v2",
  dtype="auto",
  device_map="auto",
  quantization_config=quant_config
)

model = torch.compile(model)
```

## Ressources

Lisez le billet de blog [Quanto: a PyTorch quantization backend for Optimum](https://huggingface.co/blog/quanto-introduction) pour en savoir plus sur la conception de la bibliothèque et les benchmarks.

Pour plus d'exemples pratiques, consultez le [notebook](https://colab.research.google.com/drive/16CXfVmtdQvciSh9BopZUDYcmXCDpvgrT?usp=sharing) de Quanto.

