Hub documentation

Atlas nhúng

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Atlas nhúng

Embedding Atlas là công cụ trực quan hóa tương tác để khám phá các không gian embedding quy mô lớn. Công cụ này cho phép bạn trực quan hóa, lọc chéo và tìm kiếm các embedding cùng với metadata liên quan, giúp bạn hiểu rõ các mẫu và mối quan hệ trong dữ liệu nhiều chiều. Toàn bộ quá trình tính toán diễn ra trên máy tính của bạn, đảm bảo dữ liệu của bạn luôn được bảo mật và an toàn.

Dưới đây là một atlas mẫu cho bộ dữ liệu MegaScience được lưu trữ dưới dạng Static Space:

Tính năng chính

  • Khám phá tương tác: Điều hướng qua hàng triệu embedding với trực quan hóa mượt mà, phản hồi nhanh
  • Tính toán dựa trên trình duyệt: Tính toán nhúng và chiếu cục bộ mà không cần gửi dữ liệu đến các máy chủ bên ngoài
  • Lọc chéo: Liên kết và lọc dữ liệu giữa nhiều cột metadata
  • Khả năng tìm kiếm: Tìm các điểm dữ liệu tương tự với truy vấn hoặc mục hiện có
  • Nhiều tùy chọn tích hợp: Sử dụng qua dòng lệnh, widget Jupyter hoặc giao diện web

Yêu cầu tiên quyết

Đầu tiên, hãy cài đặt Embedding Atlas:

pip install embedding-atlas

Nếu bạn có kế hoạch tải các bộ dữ liệu riêng tư từ Hugging Face Hub, bạn cũng cần phải đăng nhập bằng tài khoản Hugging Face của mình:

hf auth login

Tải Datasets từ Hub

Embedding Atlas cung cấp khả năng tích hợp liền mạch với Hugging Face Hub, cho phép bạn trực quan hóa các embedding từ bất kỳ dataset nào một cách trực tiếp.

Sử dụng Dòng lệnh

Cách đơn giản nhất để trực quan hóa một bộ dữ liệu Hugging Face là thông qua giao diện dòng lệnh. Hãy thử với bộ dữ liệu IMDB:

# Load the IMDB dataset from the Hub
embedding-atlas stanfordnlp/imdb

# Specify the text column for embedding computation
embedding-atlas stanfordnlp/imdb --text "text"

# Load only a sample for faster exploration
embedding-atlas stanfordnlp/imdb --text "text" --sample 5000

Đối với các bộ dữ liệu của riêng bạn, hãy sử dụng cùng một mẫu:

# Load your dataset from the Hub
embedding-atlas username/dataset-name

# Load multiple splits
embedding-atlas username/dataset-name --split train --split test

# Specify custom text column
embedding-atlas username/dataset-name --text "content"

Sử dụng Python và Jupyter

Bạn cũng có thể sử dụng Embedding Atlas trong các notebook Jupyter để khám phá tương tác:

from embedding_atlas.widget import EmbeddingAtlasWidget
from datasets import load_dataset
import pandas as pd

# Load the IMDB dataset from Hugging Face Hub
dataset = load_dataset("stanfordnlp/imdb", split="train[:5000]")

# Convert to pandas DataFrame
df = dataset.to_pandas()

# Create interactive widget
widget = EmbeddingAtlasWidget(df)
widget

Đối với các bộ dữ liệu của riêng bạn:

from embedding_atlas.widget import EmbeddingAtlasWidget
from datasets import load_dataset
import pandas as pd

# Load your dataset from the Hub
dataset = load_dataset("username/dataset-name", split="train")
df = dataset.to_pandas()

# Create interactive widget
widget = EmbeddingAtlasWidget(df)
widget

Làm việc với Nhúng đã tính trước

Nếu bạn có các bộ dữ liệu với các vector nhúng đã được tính toán trước, bạn có thể tải chúng trực tiếp:

# Load dataset with pre-computed coordinates
embedding-atlas username/dataset-name \
    --x "embedding_x" \
    --y "embedding_y"

# Load with pre-computed nearest neighbors
embedding-atlas username/dataset-name \
    --neighbors "neighbors_column"

Tùy chỉnh Embeddings

Embedding Atlas sử dụng SentenceTransformers theo mặc định nhưng hỗ trợ các mô hình nhúng tùy chỉnh:

# Use a specific embedding model
embedding-atlas stanfordnlp/imdb \
    --text "text" \
    --model "sentence-transformers/all-MiniLM-L6-v2"

# For models requiring remote code execution
embedding-atlas username/dataset-name \
    --model "custom/model" \
    --trust-remote-code

Tham số chiếu UMAP

Tinh chỉnh việc giảm chiều cho trường hợp sử dụng cụ thể của bạn:

embedding-atlas stanfordnlp/imdb \
    --text "text" \
    --umap-n-neighbors 30 \
    --umap-min-dist 0.1 \
    --umap-metric "cosine"

Các trường hợp sử dụng

Khám phá các bộ dữ liệu văn bản

Trực quan hóa và khám phá các tập dữ liệu văn bản để xác định các cụm, ngoại lệ và các mẫu:

from embedding_atlas.widget import EmbeddingAtlasWidget
from datasets import load_dataset
import pandas as pd

# Load a text classification dataset
dataset = load_dataset("stanfordnlp/imdb", split="train[:5000]")
df = dataset.to_pandas()

# Visualize with metadata
widget = EmbeddingAtlasWidget(df)
widget

Tài nguyên bổ sung

Update on GitHub