Giskard sur Spaces

Giskard est un kit d’outils de test de la qualité des modèles d’IA pour les LLM, les modèles tabulaires et les modèles NLP. Il se compose d’une bibliothèque Python open source pour le balayage et le test des modèles d’IA, ainsi que d’une application de test de la qualité des modèles d’IA, qui peut désormais être déployée à l’aide des Docker Spaces de Hugging Face. En étendant les fonctionnalités de la bibliothèque open source, l’application de test de la qualité des modèles d’IA vous permet de :

• Déboguer les tests pour diagnostiquer vos problèmes

• Créer des tests spécifiques à un domaine grâce aux analyses automatiques des modèles

• Comparer les modèles pour décider lequel promouvoir

• Collecter les retours métier sur les résultats de votre modèle

• Partagez vos résultats avec vos collègues pour vous assurer de l'alignement

• Stockez tous vos objets QA (tests, tranches de données, critères d'évaluation, etc.) au même endroit pour travailler plus efficacement

Consultez la documentation de Giskard et les guides de démarrage rapide pour apprendre à utiliser l’ensemble des outils fournis par Giskard.

Dans les sections suivantes, vous apprendrez à déployer votre propre application de test de la qualité des modèles Giskard AI et à l’utiliser directement depuis Hugging Face Spaces. Cette application Giskard est une application autonome hébergée entièrement sur Spaces à l’aide de Docker.

Déployer Giskard sur Spaces

Vous pouvez déployer Giskard sur Spaces en quelques clics :

NOTE IMPORTANTE CONCERNANT LA PERSISTANCE DES DONNÉES : Vous pouvez utiliser l'Espace Giskard tel quel pour une exploration et des expérimentations initiales. Pour un usage plus prolongé dans des projets de petite envergure, attachez un Storage Bucket. Cela évite la perte de données lors des redémarrages de l'Espace, qui ont lieu toutes les 24 heures.

Vous devez définir le propriétaire (votre compte personnel ou une organisation), un nom d’espace et la visibilité. Si vous ne souhaitez pas partager publiquement vos modèles et tests de qualité, définissez votre espace comme privé.

Une fois que vous avez créé le Space, vous verrez le statut Building. Dès qu’il passe à Running, votre Space est prêt à l’emploi. Si vous ne constatez aucun changement à l’écran, actualisez la page.

Demander une licence gratuite

Une fois votre Space Giskard opérationnel, vous devrez demander une licence gratuite pour commencer à utiliser l’application. Vous recevrez ensuite automatiquement un e-mail contenant le fichier de licence.

Créer un nouveau projet Giskard

Une fois dans l'application, commencez par créer un nouveau projet depuis l'écran d'accueil.

Générer un jeton de Space Giskard Hugging Face et une clé API Giskard

La clé API Giskard est utilisée pour établir la communication entre l’environnement où vos modèles d’IA sont exécutés et l’application Giskard sur Hugging Face Spaces. Si vous avez défini la Visibilité de votre Space sur Privé, vous devrez fournir un jeton d’accès utilisateur Hugging Face pour générer le jeton Hugging Face Giskard Space et établir une communication permettant d’accéder à votre Space privé. Pour ce faire, suivez les instructions affichées sur la page des paramètres de l’application Giskard.

Démarrer le worker ML

Giskard exécute votre modèle à l'aide d'un worker qui exécute le modèle directement dans votre environnement Python, avec toutes les dépendances requises par votre modèle. Vous pouvez soit exécuter le worker ML :

• Depuis votre notebook local, dans le noyau qui contient toutes les dépendances de votre modèle

• Depuis Google Colab, dans le noyau qui contient toutes les dépendances de votre modèle

• Ou depuis votre terminal, dans l'environnement Python contenant toutes les dépendances de votre modèle

Exécutez simplement la commande suivante dans l'environnement Python qui contient toutes les dépendances de votre modèle :

giskard worker start -d -k GISKARD-API-KEY -u https://huggingface.co/proxy/XXX.hf.space --hf-token GISKARD-SPACE-TOKEN

Téléchargez votre suite de tests, vos modèles et vos jeux de données

Afin de commencer à créer des tests de qualité pour un projet, vous devrez télécharger des objets de modèle et de jeu de données, puis soit créer, soit télécharger une suite de tests depuis la bibliothèque Python Giskard.

Pour plus d’informations sur la création de suites de tests à partir de l’outil de scan automatisé des modèles de la bibliothèque Python de Giskard, rendez-vous sur les Guides de démarrage rapide de Giskard.

Ces actions nécessiteront toutes une connexion entre votre environnement Python et l’espace Giskard. Pour y parvenir, initialisez un client Giskard : copiez simplement l’extrait « Create a Giskard Client » de la page de paramètres de l’application Giskard et exécutez-le dans votre environnement Python. Cela ressemblera à ceci :

from giskard import GiskardClient

url = "https://user_name-space_name.hf.space"
api_key = "gsk-xxx"
hf_token = "xxx"

# Create a giskard client to communicate with Giskard
client = GiskardClient(url, api_key, hf_token)

En cas de problème, rendez-vous sur la page de documentation des objets d’upload de Giskard.

Retours et assistance

Si vous avez des suggestions ou avez besoin d’un support spécifique, veuillez rejoindre la communauté Discord de Giskard ou nous contacter via le dépôt GitHub de Giskard.