Authentification

Pour accéder à des jeux de données privés ou protégés, vous devez d'abord vous authentifier. L'authentification fonctionne en fournissant un jeton d'accès qui sera utilisé pour authentifier et autoriser votre accès aux jeux de données protégés et privés. La première étape consiste à créer un jeton d'accès pour votre compte. Vous pouvez le faire en visitant Hugging Face Settings - Tokens.

Il existe trois façons de fournir le jeton : définir une variable d'environnement, passer un paramètre au lecteur ou utiliser le CLI Hugging Face.

Variable d'environnement

Si vous définissez la variable d’environnement HF_TOKEN, Polars l’utilisera automatiquement lors des requêtes de jeux de données auprès de Hugging Face.

export HF_TOKEN="hf_xxxxxxxxxxxxx"

Paramètres

Vous pouvez également fournir explicitement le jeton d’accès au lecteur (par exemple read_parquet) via le paramètre storage_options. Pour un aperçu complet de tous les paramètres, consultez le guide de référence de l’API.

pl.read_parquet(
    "hf://datasets/roneneldan/TinyStories/data/train-*.parquet",
    storage_options={"token": ACCESS_TOKEN},
)

CLI

Sinon, vous pouvez utiliser le Hugging Face CLI pour vous authentifier. Après une connexion réussie avec hf auth login, un jeton d’accès est stocké dans le répertoire HF_HOME, qui par défaut est ~/.cache/huggingface. Polars utilisera ensuite ce jeton pour l’authentification.

Si plusieurs méthodes sont spécifiées, elles sont priorisées dans l’ordre suivant :

• Paramètres (storage_options)
• Variable d'environnement (HF_TOKEN)
• CLI