Lojistik BPE Tokenizer

Türkçe lojistik metinleri üzerinde eğitilmiş BPE (Byte Pair Encoding) tokenizer.

Özellikler

Vocab boyutu: 2907
Algoritma: BPE (Byte Pair Encoding)
Eğitim verisi: Lojistik soru-cevap veri seti (139 örnek)
Dil: Türkçe

Kullanım

from tokenizers import Tokenizer
tokenizer = Tokenizer.from_file("tokenizer.json")
output = tokenizer.encode("Araç rotalama optimizasyonu nedir?")
print(output.tokens)

Downloads last month: -; Downloads are not tracked for this model. How to track

Inference Providers NEW

This model isn't deployed by any Inference Provider. 🙋 Ask for provider support