Hub documentation
Atlas nhúng
Atlas nhúng
Embedding Atlas là công cụ trực quan hóa tương tác để khám phá các không gian embedding quy mô lớn. Công cụ này cho phép bạn trực quan hóa, lọc chéo và tìm kiếm các embedding cùng với metadata liên quan, giúp bạn hiểu rõ các mẫu và mối quan hệ trong dữ liệu nhiều chiều. Toàn bộ quá trình tính toán diễn ra trên máy tính của bạn, đảm bảo dữ liệu của bạn luôn được bảo mật và an toàn.
Dưới đây là một atlas mẫu cho bộ dữ liệu MegaScience được lưu trữ dưới dạng Static Space:
Tính năng chính
- Khám phá tương tác: Điều hướng qua hàng triệu embedding với trực quan hóa mượt mà, phản hồi nhanh
- Tính toán dựa trên trình duyệt: Tính toán nhúng và chiếu cục bộ mà không cần gửi dữ liệu đến các máy chủ bên ngoài
- Lọc chéo: Liên kết và lọc dữ liệu giữa nhiều cột metadata
- Khả năng tìm kiếm: Tìm các điểm dữ liệu tương tự với truy vấn hoặc mục hiện có
- Nhiều tùy chọn tích hợp: Sử dụng qua dòng lệnh, widget Jupyter hoặc giao diện web
Yêu cầu tiên quyết
Đầu tiên, hãy cài đặt Embedding Atlas:
pip install embedding-atlas
Nếu bạn có kế hoạch tải các bộ dữ liệu riêng tư từ Hugging Face Hub, bạn cũng cần phải đăng nhập bằng tài khoản Hugging Face của mình:
hf auth login
Tải Datasets từ Hub
Embedding Atlas cung cấp khả năng tích hợp liền mạch với Hugging Face Hub, cho phép bạn trực quan hóa các embedding từ bất kỳ dataset nào một cách trực tiếp.
Sử dụng Dòng lệnh
Cách đơn giản nhất để trực quan hóa một bộ dữ liệu Hugging Face là thông qua giao diện dòng lệnh. Hãy thử với bộ dữ liệu IMDB:
# Load the IMDB dataset from the Hub
embedding-atlas stanfordnlp/imdb
# Specify the text column for embedding computation
embedding-atlas stanfordnlp/imdb --text "text"
# Load only a sample for faster exploration
embedding-atlas stanfordnlp/imdb --text "text" --sample 5000Đối với các bộ dữ liệu của riêng bạn, hãy sử dụng cùng một mẫu:
# Load your dataset from the Hub
embedding-atlas username/dataset-name
# Load multiple splits
embedding-atlas username/dataset-name --split train --split test
# Specify custom text column
embedding-atlas username/dataset-name --text "content"Sử dụng Python và Jupyter
Bạn cũng có thể sử dụng Embedding Atlas trong các notebook Jupyter để khám phá tương tác:
from embedding_atlas.widget import EmbeddingAtlasWidget
from datasets import load_dataset
import pandas as pd
# Load the IMDB dataset from Hugging Face Hub
dataset = load_dataset("stanfordnlp/imdb", split="train[:5000]")
# Convert to pandas DataFrame
df = dataset.to_pandas()
# Create interactive widget
widget = EmbeddingAtlasWidget(df)
widgetĐối với các bộ dữ liệu của riêng bạn:
from embedding_atlas.widget import EmbeddingAtlasWidget
from datasets import load_dataset
import pandas as pd
# Load your dataset from the Hub
dataset = load_dataset("username/dataset-name", split="train")
df = dataset.to_pandas()
# Create interactive widget
widget = EmbeddingAtlasWidget(df)
widgetLàm việc với Nhúng đã tính trước
Nếu bạn có các bộ dữ liệu với các vector nhúng đã được tính toán trước, bạn có thể tải chúng trực tiếp:
# Load dataset with pre-computed coordinates
embedding-atlas username/dataset-name \
--x "embedding_x" \
--y "embedding_y"
# Load with pre-computed nearest neighbors
embedding-atlas username/dataset-name \
--neighbors "neighbors_column"Tùy chỉnh Embeddings
Embedding Atlas sử dụng SentenceTransformers theo mặc định nhưng hỗ trợ các mô hình nhúng tùy chỉnh:
# Use a specific embedding model
embedding-atlas stanfordnlp/imdb \
--text "text" \
--model "sentence-transformers/all-MiniLM-L6-v2"
# For models requiring remote code execution
embedding-atlas username/dataset-name \
--model "custom/model" \
--trust-remote-codeTham số chiếu UMAP
Tinh chỉnh việc giảm chiều cho trường hợp sử dụng cụ thể của bạn:
embedding-atlas stanfordnlp/imdb \
--text "text" \
--umap-n-neighbors 30 \
--umap-min-dist 0.1 \
--umap-metric "cosine"Các trường hợp sử dụng
Khám phá các bộ dữ liệu văn bản
Trực quan hóa và khám phá các tập dữ liệu văn bản để xác định các cụm, ngoại lệ và các mẫu:
from embedding_atlas.widget import EmbeddingAtlasWidget
from datasets import load_dataset
import pandas as pd
# Load a text classification dataset
dataset = load_dataset("stanfordnlp/imdb", split="train[:5000]")
df = dataset.to_pandas()
# Visualize with metadata
widget = EmbeddingAtlasWidget(df)
widget