Hub documentation
🤗 Datasets の使用
🤗 Datasets の使用
Hugging Face Hubで興味深いデータセットを見つけたら、🤗 Datasetsを使用してそのデータセットを読み込むことができます。Use this datasetボタンをクリックすると、データセットを読み込むためのコードがコピーされます。
まず、Hugging Face アカウントでログインする必要があります。例えば、以下のようにします:
hf auth loginその後、…を使用して Hugging Face Hub からデータセットを読み込むことができます
from datasets import load_dataset
dataset = load_dataset("username/my_dataset")
# or load the separate splits if the dataset has train/validation/test splits
train_dataset = load_dataset("username/my_dataset", split="train")
valid_dataset = load_dataset("username/my_dataset", split="validation")
test_dataset = load_dataset("username/my_dataset", split="test")Hugging Face Hubにデータセットをアップロードすることもできます:
my_new_dataset.push_to_hub("username/my_new_dataset")これにより、Parquet形式のDatasetを含むデータセットリポジトリusername/my_new_datasetが作成され、後で再読み込みできます。
🤗 Datasets の使用方法に関する詳細については、🤗 Datasets のドキュメントにある チュートリアル と ハウツーガイド をご覧ください。
Update on GitHub