認証

プライベートまたはゲート付きのデータセットにアクセスするには、まず認証が必要です。認証は、アクセス トークンを提供することで行われ、このトークンを使用してゲート付きおよびプライベートなデータセットへのアクセスを認証・認可します。最初のステップは、アカウント用のアクセス トークンを作成することです。これは、Hugging Face Settings - Tokensにアクセスして行えます。

トークンを提供するには、環境変数を設定する、リーダーにパラメータを渡す、Hugging Face CLI を使用する、という3つの方法があります。

環境変数

環境変数HF_TOKENを設定すると、Hugging Faceからデータセットをリクエストする際に、Polarsが自動的にそれを使用します。

export HF_TOKEN="hf_xxxxxxxxxxxxx"

パラメータ

storage_options パラメータを介して、リーダー（例: read_parquet）にアクセストークンを明示的に指定することもできます。すべてのパラメータの詳細については、API リファレンスガイドを参照してください。

pl.read_parquet(
    "hf://datasets/roneneldan/TinyStories/data/train-*.parquet",
    storage_options={"token": ACCESS_TOKEN},
)

CLI

代わりに、Hugging Face CLIを使用して認証を行うこともできます。hf auth loginでログインに成功すると、アクセストークンがHF_HOMEディレクトリ（デフォルトは~/.cache/huggingface）に保存されます。その後、Polarsはこのトークンを使用して認証を行います。

複数のメソッドが指定されている場合、以下の優先順位で処理されます:

• パラメータ（storage_options）
• 環境変数(HF_TOKEN)
• CLI