Giskard на Spaces

Giskard — это набор инструментов для тестирования качества моделей ИИ, предназначенный для LLM, табличных и NLP-моделей. Он включает в себя открытую Python-библиотеку для сканирования и тестирования моделей ИИ, а также приложение AI Model Quality Testing, которое теперь можно развернуть с помощью Docker Spaces от Hugging Face. Расширяя возможности открытой библиотеки, приложение AI Model Quality Testing позволяет:

• Отладка тестов для диагностики проблем

• Создавайте доменные тесты благодаря автоматическим инсайтам о модели

• Сравните модели, чтобы решить, какую модель продвинуть

• Сбор обратной связи от бизнеса по результатам вашей модели

• Поделитесь результатами с коллегами для согласования

• Храните все объекты QA (тесты, срезы данных, критерии оценки и т. д.) в одном месте, чтобы работать эффективнее

Ознакомьтесь с документацией Giskard и руководствами для быстрого старта, чтобы узнать, как использовать весь набор инструментов, предоставляемых Giskard.

В следующих разделах вы узнаете, как развернуть собственное приложение Giskard AI Model Quality Testing и использовать его прямо из Hugging Face Spaces. Это приложение Giskard представляет собой самодостаточное приложение, полностью размещенное на Spaces с использованием Docker.

Развертывание Giskard на Spaces

Вы можете развернуть Giskard на Spaces всего в несколько кликов:

ВАЖНОЕ ЗАМЕЧАНИЕ О СОХРАНЕНИИ ДАННЫХ: Вы можете использовать Giskard Space как есть для начального изучения и экспериментов. Для более длительного использования в проектах малого масштаба подключите Storage Bucket. Это предотвратит потерю данных при перезапусках Space, которые происходят каждые 24 часа.

Необходимо указать Owner (ваш личный аккаунт или организацию), Space name и Visibility. Если вы не хотите публично делиться своими моделями и тестами качества, установите для вашего Space значение Private.

После создания Space вы увидите статус Building. Как только он сменится на Running, ваш Space будет готов к работе. Если на экране не отображаются изменения, обновите страницу.

Запросить бесплатную лицензию

Когда ваш Giskard Space будет запущен и готов к работе, вам потребуется запросить бесплатную лицензию, чтобы начать использовать приложение. Затем вы автоматически получите письмо с файлом лицензии.

Создать новый проект Giskard

После входа в приложение начните с создания нового проекта на экране приветствия.

Сгенерируйте токен Hugging Face Giskard Space и ключ API Giskard

Ключ API Giskard используется для установления связи между средой, в которой работают ваши модели ИИ, и приложением Giskard на Hugging Face Spaces. Если вы установили Видимость вашего Space в значение Private, вам потребуется предоставить токен доступа пользователя Hugging Face, чтобы сгенерировать токен Hugging Face Giskard Space и установить связь для доступа к вашему частному Space. Для этого следуйте инструкциям, отображаемым на странице настроек приложения Giskard.

Запуск ML-воркера

Giskard выполняет вашу модель с помощью воркера, который запускает модель непосредственно в вашем окружении Python со всеми зависимостями, необходимыми для вашей модели. Вы можете запустить ML-воркер:

• Из локального ноутбука в ядре, содержащем все зависимости вашей модели

• Из Google Colab в ядре, содержащем все зависимости вашей модели

• Или из вашего терминала в среде Python, содержащей все зависимости вашей модели

Просто выполните следующую команду в среде Python, содержащей все зависимости вашей модели:

giskard worker start -d -k GISKARD-API-KEY -u https://huggingface.co/proxy/XXX.hf.space --hf-token GISKARD-SPACE-TOKEN

Загрузите ваш набор тестов, модели и наборы данных

Чтобы начать создавать качественные тесты для проекта, вам необходимо загрузить объекты модели и набора данных, а также создать или загрузить набор тестов из библиотеки Giskard Python.

Для получения дополнительной информации о том, как создавать тестовые наборы с помощью инструмента автоматического сканирования моделей из Python-библиотеки Giskard, перейдите к Quickstart Guides Giskard.

Все эти действия потребуют соединения между вашим окружением Python и Giskard Space. Для этого инициализируйте Giskard Client: просто скопируйте фрагмент «Create a Giskard Client» со страницы настроек приложения Giskard и выполните его в вашем окружении Python. Это будет выглядеть примерно так:

from giskard import GiskardClient

url = "https://user_name-space_name.hf.space"
api_key = "gsk-xxx"
hf_token = "xxx"

# Create a giskard client to communicate with Giskard
client = GiskardClient(url, api_key, hf_token)

Если вы столкнётесь с проблемами, обратитесь к странице документации Giskard по загрузке объектов.

Обратная связь и поддержка

Если у вас есть предложения или вам нужна конкретная поддержка, присоединяйтесь к сообществу Giskard в Discord или свяжитесь с нами через репозиторий Giskard на GitHub.