zhangtao2-1 9777256c31 convert: add MiniCPM5 tokenizer support (#23384) ...

Add minicpm5 pre-tokenizer hash via convert_hf_to_gguf_update.py and
implement hardcoded regex handling in llama-vocab.cpp, consistent with
other BPE pre-tokenizers.

Co-authored-by: zhangtao <zhangtao2@modelbest.cn>

2026-05-27 08:08:33 +03:00

..

__init__.py

convert : support Gemma4ForCausalLM architecture (#23682)

2026-05-26 08:00:31 +03:00

afmoe.py

…

arctic.py

…

baichuan.py

…

bailingmoe.py

…

base.py

convert: add MiniCPM5 tokenizer support (#23384)

2026-05-27 08:08:33 +03:00

bert.py

…

bitnet.py

…

bloom.py

…

chameleon.py

…

chatglm.py

…

codeshell.py

…

cogvlm.py

…

command_r.py

…

dbrx.py

…

deci.py

…

deepseek.py

…

dots1.py

…

dotsocr.py

…

dream.py

…

ernie.py

…

exaone.py

…

falcon_h1.py

…

falcon.py

…

gemma.py

convert : support Gemma4ForCausalLM architecture (#23682)

2026-05-26 08:00:31 +03:00

glm.py

…

gpt2.py

…

gpt_oss.py

…

gptneox.py

…

granite.py

…

grok.py

…

grovemoe.py

…

hunyuan.py

mtmd, model : merge HunyuanOCR into HunyuanVL and fix OCR vision precision (#23329)

2026-05-21 00:35:37 +02:00

internlm.py

…

internvl.py

…

jais.py

…

jamba.py

…

januspro.py

…

kimi_linear.py

…

kimivl.py

…

lfm2.py

…

lighton_ocr.py

…

llada.py

…

llama4.py

…

llama.py

vocab : add Carbon-3B (HybridDNATokenizer) support (#23410)

2026-05-21 08:34:32 +02:00

llava.py

…

maincoder.py

…

mamba.py

…

mimo.py

…

minicpm.py

…

minimax.py

…

mistral3.py

…

mistral.py

…

mpt.py

…

nemotron.py

…

olmo.py

…

openelm.py

…

orion.py

…

pangu.py

…

phi.py

…

pixtral.py

…

plamo.py

…

plm.py

…

qwen3vl.py

convert : fix Qwen3 ASR conversion (#23081)

2026-05-15 18:38:39 +02:00

qwen.py

convert : add compressed-tensors NVFP4 support (#21095)

2026-05-25 14:16:11 +02:00

qwenvl.py

…

refact.py

…

rwkv.py

…

sarashina2.py

…

smallthinker.py

…

smolvlm.py

…

stablelm.py

…

starcoder.py

…

step3.py

…

t5.py

…

talkie.py

model : add support for talkie-1930-13b (#22596)

2026-05-26 07:57:38 +03:00

ultravox.py

…

wavtokenizer.py

…

xverse.py

…

youtuvl.py

…