Hub documentation
Formats de fichiers
Formats de fichiers
Polars prend en charge les formats de fichiers suivants lors de la lecture depuis Hugging Face :
Les exemples ci-dessous n’affichent que les paramètres par défaut. Utilisez les liens ci-dessus pour consulter tous les paramètres disponibles dans le guide de référence de l’API.
Parquet
Parquet est le format de fichier recommandé car il stocke le schéma avec les informations de type au sein du fichier. Cela évite toute ambiguïté lors de l’analyse et accélère la lecture. Pour lire un fichier Parquet dans Polars, utilisez la fonction read_parquet :
pl.read_parquet("hf://datasets/roneneldan/TinyStories/data/train-00000-of-00004-2d5a1467fff1081b.parquet")CSV
La fonction read_csv peut être utilisée pour lire un fichier CSV :
pl.read_csv("hf://datasets/lhoestq/demo1/data/train.csv")JSON
Polars prend en charge la lecture de JSON délimité par des nouvelles lignes — également connu sous le nom de json lines — avec la fonction read_ndjson :
pl.read_ndjson("hf://datasets/proj-persona/PersonaHub/persona.jsonl")