Transformers documentation
SarvamMLA
تمت مساهمة هذا النموذج في Hugging Face Transformers في 2026-11-19.
SarvamMLA
نظرة عامة
SarvamMLa هو نموذج لغة من نوع مزيج الخبراء (MoE) يحتوي على 105 مليار معلمة، طورته Sarvam AI. يستخدم انتباه الكامن متعدد الرؤوس (MLA) معًا مع توجيه MoE المتناثر، وهو مطابق معماريًا لـ DeepSeek-V3.
الميزات المعمارية الرئيسية:
- الانتباه الكامن متعدد الرؤوس (MLA): ضغط منخفض الرتبة لـ KV مع فصل RoPE، مما يقلل من ذاكرة كاش KV مع الحفاظ على الأداء.
- خلطة الخبراء المتناثرة: 128 خبيرًا موجّهًا مع 8 نشطين لكل رمز، بالإضافة إلى خبير مشترك واحد. يستخدم الطبقة الأولى شبكة عصبية متعددة الطبقات كثيفة.
- DeepSeek YaRN RoPE: دعم سياق موسّع يصل إلى 131K رمزًا عبر تضمينات الموضع الدورانية YaRN.
- التوجيه باستخدام سيجمويد مع أفضل k على أساس المجموعات: توجيه اختيار الرموز باستخدام درجات سيجمويد مع تصحيح انحياز الخبراء واختيار واعٍ بالمجموعات.
يستخدم هذا النموذج معمارية DeepSeek-V3 مع تكوين مخصص. راجع توثيق DeepSeek-V3 للاطلاع على مرجع النموذج والدالة الأمامية.
الاستخدام
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained(
"sarvamai/sarvam-105b",
device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained("sarvamai/sarvam-105b")
inputs = tokenizer("Hello, how are you?", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))SarvamMLAConfig
فئة transformers.SarvamMLAConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 262144hidden_size: int = 4096intermediate_size: int = 16384moe_intermediate_size: int = 2048num_hidden_layers: int = 32num_attention_heads: int = 64num_key_value_heads: int | None = Nonen_shared_experts: int = 1n_routed_experts: int = 128output_router_logits: bool = Falserouted_scaling_factor: float = 2.5kv_lora_rank: int = 512q_lora_rank: int | None = Noneqk_rope_head_dim: int = 64v_head_dim: int | None = 128qk_nope_head_dim: int = 128n_group: int | None = 1topk_group: int | None = 1num_experts_per_tok: int | None = 8first_k_dense_replace: int | None = 1norm_topk_prob: bool | None = Truehidden_act: str = 'silu'max_position_embeddings: int = 4096initializer_range: float = 0.006rms_norm_eps: float = 1e-06use_cache: bool = Truepad_token_id: int | None = Nonebos_token_id: int | None = 0eos_token_id: int | list[int] | None = 1pretraining_tp: int | None = 1tie_word_embeddings: bool = Falserope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Nonerope_interleave: bool | None = Trueattention_bias: bool = Falseattention_dropout: float | int | None = 0.0num_mtp_layers: int = 0 )
المعاملات
- vocab_size (
int، اختياري، القيمة الافتراضية262144) — حجم مفردات النموذج. يحدد عدد الرموز المختلفة التي يمكن تمثيلها بواسطةinput_ids. - hidden_size (
int، اختياري، القيمة الافتراضية4096) — أبعاد التمثيلات المخفية. - intermediate_size (
int، اختياري، القيمة الافتراضية16384) — أبعاد تمثيلات MLP. - moe_intermediate_size (
int، اختياري، القيمة الافتراضية2048) — الحجم الوسيط لشبكات MLP للخبراء الموجَّهين. - num_hidden_layers (
int، اختياري، القيمة الافتراضية32) — عدد الطبقات المخفية في مُفكِّك Transformer. - num_attention_heads (
int، اختياري، القيمة الافتراضية64) — عدد رؤوس الانتباه لكل طبقة انتباه في مُفكِّك Transformer. - num_key_value_heads (
int, اختياري) — هذا هو عدد رؤوس key_value التي يجب استخدامها لتنفيذ Grouped Query Attention. إذا كانnum_key_value_heads=num_attention_heads، فسيستخدم النموذج Multi Head Attention (MHA)، وإذا كانnum_key_value_heads=1فسيستخدم النموذج Multi Query Attention (MQA)، وإلا فسيتم استخدام GQA. عند تحويل نقطة تفتيش متعددة الرؤوس إلى نقطة تفتيش GQA، يجب بناء كل مجموعة من رؤوس key و value عن طريق meanpooling جميع الرؤوس الأصلية داخل تلك المجموعة. لمزيد من التفاصيل، راجع هذا الورقة. إذا لم يتم تحديد القيمة، فسيتم افتراضnum_attention_heads. - n_shared_experts (
int، اختياري، القيمة الافتراضية1) — عدد الخبراء المشتركين. - n_routed_experts (
int، اختياري، القيمة الافتراضية128) — عدد الخبراء الموجَّهين. - output_router_logits (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان يجب على النموذج إرجاع قيم اللوجيتس الخاصة بالموجِّه (router). تمكين هذا الخيار سيتيح أيضًا للنموذج إخراج الخسارة المساعدة، بما في ذلك خسارة موازنة الحمل وخسارة z الخاصة بالموجِّه. - routed_scaling_factor (
float، اختياري، القيمة الافتراضية2.5) — معامل التوسعة للخبراء الموجَّهين. - kv_lora_rank (
int، اختياري، القيمة الافتراضية512) — رتبة مصفوفات LoRA الخاصة بتحويلات المفتاح والقيمة. - q_lora_rank (
int، اختياري) — رتبة مصفوفات LoRA لإسقاطات الاستعلام. - qk_rope_head_dim (
int، اختياري، القيمة الافتراضية64) — بعد رؤوس الاستعلام/المفتاح التي تستخدم تضمينات الموضع الدورانية. - v_head_dim (
int، اختياري، القيمة الافتراضية128) — بعد رؤوس القيم. - qk_nope_head_dim (
int، اختياري، القيمة الافتراضية128) — البُعد لرؤوس الاستعلام/المفتاح التي لا تستخدم تضمينات الموضع الدورانية. - n_group (
int، اختياري، القيمة الافتراضية 1) — عدد المجموعات للخبراء الموجَّهين. نقاط التفتيش المُصدَّرة تُوجِّه عبر جميع الخبراء دفعة واحدة. - topk_group (
int، اختياري، القيمة الافتراضية 1) — عدد المجموعات المختارة لكل رمز. - num_experts_per_tok (
int، اختياري، القيمة الافتراضية8) — عدد الخبراء الذين يُوجَّه إليهم كل رمز. هذه هي قيمة top-k الخاصة بتوجيه اختيار الرموز. - first_k_dense_replace (
int، اختياري، القيمة الافتراضية 1) — عدد طبقات الكثافة في الطبقات الضحلة (embed->dense->moe->moe…->lm_head). --k طبقات كثافة—/ - norm_topk_prob (
bool، اختياري، القيمة الافتراضيةTrue) — هل يتم تطبيع أوزان الخبراء الموجَّهين. - hidden_act (
str، اختياري، القيمة الافتراضيةsilu) — دالة التنشيط غير الخطية (دالة أو نص) في المُفكِّك. على سبيل المثال،"gelu"،"relu"،"silu"، وغيرها. - max_position_embeddings (
int، اختياري، القيمة الافتراضية4096) — أقصى طول تسلسل قد يُستخدم معه هذا النموذج. - initializer_range (
float، اختياري، القيمة الافتراضية0.006) — الانحراف المعياري لـ truncated_normal_initializer المستخدم في تهيئة جميع مصفوفات الأوزان. - rms_norm_eps (
float، اختياري، القيمة الافتراضية1e-06) — قيمة الإيبسلون المستخدمة في طبقات تطبيع rms. - use_cache (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان يجب على النموذج إرجاع قيم المفاتيح/القيم الأخيرة للانتباه (لا تستخدمها جميع النماذج). لا ينطبق إلا إذا كانconfig.is_decoder=Trueأو إذا كان النموذج نموذجًا توليديًا يعتمد على المُفكِّك فقط. - pad_token_id (
int, اختياري) — معرّف الرمز المستخدم للتعبئة في المفردات. - bos_token_id (
int, اختياري، القيمة الافتراضية0) — معرّف الرمز المستخدم لبدء البث في المفردات. - eos_token_id (
Union[int, list[int]]، اختياري، القيمة الافتراضية1) — معرّف الرمز المستخدم لنهاية التدفق في المفردات. - pretraining_tp (
int، اختياري، القيمة الافتراضية1) — ميزة تجريبية. ترتيب توازي الموترات (Tensor parallelism rank) المستخدم أثناء التدريب المسبق. يُرجى الرجوع إلى هذا المستند لفهم المزيد حولها. هذه القيمة ضرورية لضمان إعادة إنتاج نتائج التدريب المسبق بشكل دقيق. يُرجى الرجوع إلى هذه المشكلة. - tie_word_embeddings (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان سيتم ربط ترميزات الأوزان وفقاً لخريطةtied_weights_keysالخاصة بالنموذج. - rope_parameters (
Union[~modeling_rope_utils.RopeParameters, dict], اختياري) — قائمة تحتوي على معاملات التهيئة الخاصة بتضمينات RoPE. يجب أن تحتوي القائمة على قيمة لـrope_theta، ومعاملات اختيارية تُستخدم للتوسيع في حال رغبتَ في استخدام RoPE معmax_position_embeddingsأطول. - rope_interleave (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان يجب تبديل التضمينات الموضعية الدوارة. - attention_bias (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان سيتم استخدام انحياز في طبقات الإسقاط للاستعلام والمفتاح والقيمة والمخرجات أثناء الانتباه الذاتي. - attention_dropout (
Union[float, int]، اختياري، القيمة الافتراضية0.0) — نسبة إسقاط (dropout) لاحتمالات الانتباه. - num_mtp_layers (
int, اختياري، القيمة الافتراضية 0) — عدد وحدات التنبؤ متعدد الرموز (MTP) المتاحة للإضافة بعد نموذج الترانسفورمر الأساسي. لا تتضمن نقاط التفتيش المنشورة أوزان MTP.
هذه فئة الإعدادات المخزنة لإعدادات نموذج DeepseekV3Model. تُستخدم لاستحداث نموذج Sarvam Mla وفقاً للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى إعدادات مشابهة لتلك الخاصة بـ sarvamai/sarvam-105b
ترث كائنات التهيئة من PreTrainedConfig ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ PreTrainedConfig لمزيد من المعلومات.