Hub documentation
例とチュートリアル
例とチュートリアル
モデルの学習
Transformers、TRL、Unsloth、Axolotlの起動コマンドは、Jobsでのモデルの学習に記載されています。それぞれが、各ライブラリ独自のガイドにリンクしています。
大規模にデータを処理する
DataTrove は、データ処理パイプラインをジョブのプールに分散するための実験的な JobsPipelineExecutor を提供しています。並行実行の制限、複数段階の依存関係、リトライ、および再開可能な実行をサポートしています。パイプラインを再実行すると、すでに完了したタスクはスキップされ、残りのタスクのみが実行されます。
以下の実行可能な例を参照してください:
UV Scripts
uv-scripts組織は、単一のコマンドでJobs上で実行できる自己完結型のuvスクリプトのコレクションを管理しています。スクリプトは、OCR、バッチ推論、テキスト分類、オブジェクト検出、データセット統計、埋め込みの可視化などをカバーしています。
Unslothは、Jobs上でLLMやVLMのファインチューニングを実行するための、すぐに実行できるトレーニングスクリプトも提供しています。
コーディングエージェントのスキル
Claude Code、Codex、Cursorなどのコーディングエージェントは、あなたの代わりにJobsの送信と監視を行うことができます。インストール済みのCLIから生成されるhf CLIスキルをインストールし、常に最新の状態を維持してください。
hf skills add
エージェントごとのセットアップについてはHugging Face CLI for AI agentsを、トレーニングやその他のワークフロースキルについてはAgent Skillsを参照してください。
サンドボックス
Jobsのポートの公開機能により、エージェントやLLMアプリケーションが利用する一時的な自己完結型環境であるサンドボックスの構築に最適です。
コミュニティのチュートリアルとプロジェクト
- ダウンロードせずに大規模データセットで学習 - Unsloth を使用して Jobs でデータセットを直接ストリーミングし、ローカルストレージは不要です
- TRLでビジョン言語モデルをファインチューニング - TRLとJobsを使用して、美術史タスク向けにQwen2.5-VLをファインチューニング
- FreeFlow - YOLOv11オブジェクト検出モデルの学習に、Jobs統合を内蔵したオープンソースのアノテーションプラットフォーム
- hfdask - 1つのYAMLクラスタ定義からCPUおよびGPUジョブにまたがってDaskプログラムを実行し、ノード間でmTLSを使用し、自動クリーンアップを行います
Jobsを使ったチュートリアルやプロジェクトをお持ちですか? PRを送信して、ここに追加してください。
Update on GitHub