Spaces 上の Giskard

Giskardは、LLM、テーブルデータ、NLPモデル向けのAIモデル品質テストツールキットです。AIモデルのスキャンとテストを行うオープンソースのPythonライブラリと、AIモデル品質テストアプリで構成されています。このアプリは、Hugging FaceのDocker Spacesを使用してデプロイできるようになりました。オープンソースライブラリの機能を拡張したAIモデル品質テストアプリにより、以下が可能になります。

• 問題を診断するためのデバッグテスト

• 自動モデルインサイトを活用して、ドメイン固有のテストを作成します

• モデルを比較して、プロモーションするモデルを決定します

• モデルの結果に関するビジネスフィードバックを収集する

• 結果を同僚と共有し、認識を合わせましょう

• QAオブジェクト（テスト、データスライス、評価基準など）をすべて1つの場所に保存し、より効率的に作業を行ってください

Giskardが提供する幅広いツールを使用する方法を学ぶには、Giskardのドキュメントとクイックスタートガイドをご覧ください。

次のセクションでは、独自のGiskard AI Model Quality Testingアプリをデプロイし、Hugging Face Spacesから直接それを使用する方法を学びます。このGiskardアプリは、Dockerを使用してSpaces上で完全にホストされる自己完結型アプリケーションです。

SpacesにGiskardをデプロイする

Giskardは、わずか数回のクリックでSpacesにデプロイできます:

データ永続性に関する重要な注意: Giskard Spaceは、初期の探索や実験のためにそのまま使用できます。小規模なプロジェクトでのStorage Bucketをアタッチして長期間使用する場合、24時間ごとに発生するSpaceの再起動によるデータ損失を防ぐことができます。

Owner（個人アカウントまたは組織）、Space name、Visibilityを定義する必要があります。 モデルや品質テストを公開したくない場合は、SpaceをPrivateに設定してください。

Spaceを作成すると、Buildingステータスが表示されます。Runningになると、Spaceが利用可能になります。 画面に変化が見られない場合は、ページを再読み込みしてください。

無料ライセンスをリクエストする

Giskard Spaceが起動し、動作するようになったら、アプリの使用を開始するために無料ライセンスをリクエストする必要があります。 その後、ライセンスファイルを含むメールが自動的に送信されます。

新しいGiskardプロジェクトを作成する

アプリ内に入ったら、ウェルカム画面から新しいプロジェクトを作成してください。

Hugging Face Giskard Space Token と Giskard API キーを生成します

Giskard API キーは、AI モデルが実行されている環境と Hugging Face Spaces 上の Giskard アプリの間の通信を確立するために使用されます。Space の Visibility を Private に設定している場合、Hugging Face Giskard Space Token を生成し、プライベートな Space へのアクセスのための通信を確立するために、Hugging Face ユーザーアクセストークンを提供する必要があります。そのためには、Giskard アプリの設定ページに表示されている手順に従ってください。

MLワーカーを開始します

Giskardは、モデルを直接Python環境で実行するワーカーを使用してモデルを実行します。このワーカーには、モデルに必要なすべての依存関係が含まれています。MLワーカーを実行するには:

• モデルのすべての依存関係を含むカーネル内のローカルノートブックから

• モデルのすべての依存関係を含むカーネルから、Google Colab 上で

• または、モデルのすべての依存関係を含む Python 環境内のターミナルから

モデルのすべての依存関係を含むPython環境内で、以下のコマンドを実行するだけです。

giskard worker start -d -k GISKARD-API-KEY -u https://huggingface.co/proxy/XXX.hf.space --hf-token GISKARD-SPACE-TOKEN

テストスイート、モデル、データセットをアップロード

プロジェクトの品質テストの構築を開始するには、モデルとデータセットのオブジェクトをアップロードし、Giskard Python ライブラリからテストスイートを作成またはアップロードする必要があります。

GiskardのPythonライブラリに搭載された自動モデルスキャンツールからテストスイートを作成する方法の詳細については、Giskardのクイックスタートガイドを参照してください。

これらのアクションには、Python環境とGiskard Spaceの間の接続が必要です。Giskard Clientを初期化することにより、この接続を実現します。Giskardアプリの設定ページにある「Create a Giskard Client」のスニペットをコピーし、Python環境内で実行してください。以下のようなコードになります。

from giskard import GiskardClient

url = "https://user_name-space_name.hf.space"
api_key = "gsk-xxx"
hf_token = "xxx"

# Create a giskard client to communicate with Giskard
client = GiskardClient(url, api_key, hf_token)

問題が発生した場合は、Giskardのアップロードオブジェクトのドキュメントページを参照してください。

フィードバックとサポート

ご提案や特定のサポートが必要な場合は、GiskardのDiscordコミュニティに参加するか、GiskardのGitHubリポジトリからご連絡ください。