Transformers documentation

SarvamMLA

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.23.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

تمت مساهمة هذا النموذج في Hugging Face Transformers في 2026-11-19.

SarvamMLA

نظرة عامة

SarvamMLa هو نموذج لغة من نوع مزيج الخبراء (MoE) يحتوي على 105 مليار معلمة، طورته Sarvam AI. يستخدم انتباه الكامن متعدد الرؤوس (MLA) معًا مع توجيه MoE المتناثر، وهو مطابق معماريًا لـ DeepSeek-V3.

الميزات المعمارية الرئيسية:

  • الانتباه الكامن متعدد الرؤوس (MLA): ضغط منخفض الرتبة لـ KV مع فصل RoPE، مما يقلل من ذاكرة كاش KV مع الحفاظ على الأداء.
  • خلطة الخبراء المتناثرة: 128 خبيرًا موجّهًا مع 8 نشطين لكل رمز، بالإضافة إلى خبير مشترك واحد. يستخدم الطبقة الأولى شبكة عصبية متعددة الطبقات كثيفة.
  • DeepSeek YaRN RoPE: دعم سياق موسّع يصل إلى 131K رمزًا عبر تضمينات الموضع الدورانية YaRN.
  • التوجيه باستخدام سيجمويد مع أفضل k على أساس المجموعات: توجيه اختيار الرموز باستخدام درجات سيجمويد مع تصحيح انحياز الخبراء واختيار واعٍ بالمجموعات.

يستخدم هذا النموذج معمارية DeepSeek-V3 مع تكوين مخصص. راجع توثيق DeepSeek-V3 للاطلاع على مرجع النموذج والدالة الأمامية.

الاستخدام

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "sarvamai/sarvam-105b",
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained("sarvamai/sarvam-105b")

inputs = tokenizer("Hello, how are you?", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

SarvamMLAConfig

فئة transformers.SarvamMLAConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 262144hidden_size: int = 4096intermediate_size: int = 16384moe_intermediate_size: int = 2048num_hidden_layers: int = 32num_attention_heads: int = 64num_key_value_heads: int | None = Nonen_shared_experts: int = 1n_routed_experts: int = 128output_router_logits: bool = Falserouted_scaling_factor: float = 2.5kv_lora_rank: int = 512q_lora_rank: int | None = Noneqk_rope_head_dim: int = 64v_head_dim: int | None = 128qk_nope_head_dim: int = 128n_group: int | None = 1topk_group: int | None = 1num_experts_per_tok: int | None = 8first_k_dense_replace: int | None = 1norm_topk_prob: bool | None = Truehidden_act: str = 'silu'max_position_embeddings: int = 4096initializer_range: float = 0.006rms_norm_eps: float = 1e-06use_cache: bool = Truepad_token_id: int | None = Nonebos_token_id: int | None = 0eos_token_id: int | list[int] | None = 1pretraining_tp: int | None = 1tie_word_embeddings: bool = Falserope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Nonerope_interleave: bool | None = Trueattention_bias: bool = Falseattention_dropout: float | int | None = 0.0num_mtp_layers: int = 0 )

المعاملات

  • vocab_size (int، اختياري، القيمة الافتراضية 262144) — حجم مفردات النموذج. يحدد عدد الرموز المختلفة التي يمكن تمثيلها بواسطة input_ids.
  • hidden_size (int، اختياري، القيمة الافتراضية 4096) — أبعاد التمثيلات المخفية.
  • intermediate_size (int، اختياري، القيمة الافتراضية 16384) — أبعاد تمثيلات MLP.
  • moe_intermediate_size (int، اختياري، القيمة الافتراضية 2048) — الحجم الوسيط لشبكات MLP للخبراء الموجَّهين.
  • num_hidden_layers (int، اختياري، القيمة الافتراضية 32) — عدد الطبقات المخفية في مُفكِّك Transformer.
  • num_attention_heads (int، اختياري، القيمة الافتراضية 64) — عدد رؤوس الانتباه لكل طبقة انتباه في مُفكِّك Transformer.
  • num_key_value_heads (int, اختياري) — هذا هو عدد رؤوس key_value التي يجب استخدامها لتنفيذ Grouped Query Attention. إذا كان num_key_value_heads=num_attention_heads، فسيستخدم النموذج Multi Head Attention (MHA)، وإذا كان num_key_value_heads=1 فسيستخدم النموذج Multi Query Attention (MQA)، وإلا فسيتم استخدام GQA. عند تحويل نقطة تفتيش متعددة الرؤوس إلى نقطة تفتيش GQA، يجب بناء كل مجموعة من رؤوس key و value عن طريق meanpooling جميع الرؤوس الأصلية داخل تلك المجموعة. لمزيد من التفاصيل، راجع هذا الورقة. إذا لم يتم تحديد القيمة، فسيتم افتراض num_attention_heads.
  • n_shared_experts (int، اختياري، القيمة الافتراضية 1) — عدد الخبراء المشتركين.
  • n_routed_experts (int، اختياري، القيمة الافتراضية 128) — عدد الخبراء الموجَّهين.
  • output_router_logits (bool، اختياري، القيمة الافتراضية False) — ما إذا كان يجب على النموذج إرجاع قيم اللوجيتس الخاصة بالموجِّه (router). تمكين هذا الخيار سيتيح أيضًا للنموذج إخراج الخسارة المساعدة، بما في ذلك خسارة موازنة الحمل وخسارة z الخاصة بالموجِّه.
  • routed_scaling_factor (float، اختياري، القيمة الافتراضية 2.5) — معامل التوسعة للخبراء الموجَّهين.
  • kv_lora_rank (int، اختياري، القيمة الافتراضية 512) — رتبة مصفوفات LoRA الخاصة بتحويلات المفتاح والقيمة.
  • q_lora_rank (int، اختياري) — رتبة مصفوفات LoRA لإسقاطات الاستعلام.
  • qk_rope_head_dim (int، اختياري، القيمة الافتراضية 64) — بعد رؤوس الاستعلام/المفتاح التي تستخدم تضمينات الموضع الدورانية.
  • v_head_dim (int، اختياري، القيمة الافتراضية 128) — بعد رؤوس القيم.
  • qk_nope_head_dim (int، اختياري، القيمة الافتراضية 128) — البُعد لرؤوس الاستعلام/المفتاح التي لا تستخدم تضمينات الموضع الدورانية.
  • n_group (int، اختياري، القيمة الافتراضية 1) — عدد المجموعات للخبراء الموجَّهين. نقاط التفتيش المُصدَّرة تُوجِّه عبر جميع الخبراء دفعة واحدة.
  • topk_group (int، اختياري، القيمة الافتراضية 1) — عدد المجموعات المختارة لكل رمز.
  • num_experts_per_tok (int، اختياري، القيمة الافتراضية 8) — عدد الخبراء الذين يُوجَّه إليهم كل رمز. هذه هي قيمة top-k الخاصة بتوجيه اختيار الرموز.
  • first_k_dense_replace (int، اختياري، القيمة الافتراضية 1) — عدد طبقات الكثافة في الطبقات الضحلة (embed->dense->moe->moe…->lm_head). --k طبقات كثافة—/
  • norm_topk_prob (bool، اختياري، القيمة الافتراضية True) — هل يتم تطبيع أوزان الخبراء الموجَّهين.
  • hidden_act (str، اختياري، القيمة الافتراضية silu) — دالة التنشيط غير الخطية (دالة أو نص) في المُفكِّك. على سبيل المثال، "gelu"، "relu"، "silu"، وغيرها.
  • max_position_embeddings (int، اختياري، القيمة الافتراضية 4096) — أقصى طول تسلسل قد يُستخدم معه هذا النموذج.
  • initializer_range (float، اختياري، القيمة الافتراضية 0.006) — الانحراف المعياري لـ truncated_normal_initializer المستخدم في تهيئة جميع مصفوفات الأوزان.
  • rms_norm_eps (float، اختياري، القيمة الافتراضية 1e-06) — قيمة الإيبسلون المستخدمة في طبقات تطبيع rms.
  • use_cache (bool، اختياري، القيمة الافتراضية True) — ما إذا كان يجب على النموذج إرجاع قيم المفاتيح/القيم الأخيرة للانتباه (لا تستخدمها جميع النماذج). لا ينطبق إلا إذا كان config.is_decoder=True أو إذا كان النموذج نموذجًا توليديًا يعتمد على المُفكِّك فقط.
  • pad_token_id (int, اختياري) — معرّف الرمز المستخدم للتعبئة في المفردات.
  • bos_token_id (int, اختياري، القيمة الافتراضية 0) — معرّف الرمز المستخدم لبدء البث في المفردات.
  • eos_token_id (Union[int, list[int]]، اختياري، القيمة الافتراضية 1) — معرّف الرمز المستخدم لنهاية التدفق في المفردات.
  • pretraining_tp (int، اختياري، القيمة الافتراضية 1) — ميزة تجريبية. ترتيب توازي الموترات (Tensor parallelism rank) المستخدم أثناء التدريب المسبق. يُرجى الرجوع إلى هذا المستند لفهم المزيد حولها. هذه القيمة ضرورية لضمان إعادة إنتاج نتائج التدريب المسبق بشكل دقيق. يُرجى الرجوع إلى هذه المشكلة.
  • tie_word_embeddings (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم ربط ترميزات الأوزان وفقاً لخريطة tied_weights_keys الخاصة بالنموذج.
  • rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], اختياري) — قائمة تحتوي على معاملات التهيئة الخاصة بتضمينات RoPE. يجب أن تحتوي القائمة على قيمة لـ rope_theta، ومعاملات اختيارية تُستخدم للتوسيع في حال رغبتَ في استخدام RoPE مع max_position_embeddings أطول.
  • rope_interleave (bool، اختياري، القيمة الافتراضية True) — ما إذا كان يجب تبديل التضمينات الموضعية الدوارة.
  • attention_bias (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم استخدام انحياز في طبقات الإسقاط للاستعلام والمفتاح والقيمة والمخرجات أثناء الانتباه الذاتي.
  • attention_dropout (Union[float, int]، اختياري، القيمة الافتراضية 0.0) — نسبة إسقاط (dropout) لاحتمالات الانتباه.
  • num_mtp_layers (int, اختياري، القيمة الافتراضية 0) — عدد وحدات التنبؤ متعدد الرموز (MTP) المتاحة للإضافة بعد نموذج الترانسفورمر الأساسي. لا تتضمن نقاط التفتيش المنشورة أوزان MTP.

هذه فئة الإعدادات المخزنة لإعدادات نموذج DeepseekV3Model. تُستخدم لاستحداث نموذج Sarvam Mla وفقاً للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى إعدادات مشابهة لتلك الخاصة بـ sarvamai/sarvam-105b

ترث كائنات التهيئة من PreTrainedConfig ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ PreTrainedConfig لمزيد من المعلومات.

مثال:

>>> from transformers import SarvamMLAConfig

>>> # Initializing a SarvamMLA style configuration
>>> configuration = SarvamMLAConfig()

>>> # Accessing the model configuration
>>> configuration = model.config
Update on GitHub