Haoxiang Fei f99e1e456e llama : lookup word in vocab before doing BPE merges (#7193) ... * fix: llama-3 ignore_merges * test: add test for llama-3 bpe ignore_merges * fix: set ignore_merges only for llama-3 * fix: test-tokenizer-1-bpe --ingore-merges detection * fix: copy to fix fallthrough * fix: change ignore_merges to bool * fix: add ignore merges tests to cmake * llama : alternative merge ignore logic --------- Co-authored-by: Haoxiang Fei <feihaoxiang@idea.edu.cn> Co-authored-by: Georgi Gerganov <ggerganov@gmail.com>		2024-05-11 11:12:06 +03:00
..
.editorconfig	…
ggml-vocab-aquila.gguf	…
ggml-vocab-baichuan.gguf	…
ggml-vocab-bert-bge.gguf	…
ggml-vocab-bert-bge.gguf.inp	…
ggml-vocab-bert-bge.gguf.out	…
ggml-vocab-command-r.gguf	…
ggml-vocab-command-r.gguf.inp	…
ggml-vocab-command-r.gguf.out	…
ggml-vocab-deepseek-coder.gguf	…
ggml-vocab-deepseek-coder.gguf.inp	…
ggml-vocab-deepseek-coder.gguf.out	…
ggml-vocab-deepseek-llm.gguf	…
ggml-vocab-deepseek-llm.gguf.inp	…
ggml-vocab-deepseek-llm.gguf.out	…
ggml-vocab-falcon.gguf	…
ggml-vocab-falcon.gguf.inp	…
ggml-vocab-falcon.gguf.out	…
ggml-vocab-gpt-2.gguf	…
ggml-vocab-gpt-2.gguf.inp	…
ggml-vocab-gpt-2.gguf.out	…
ggml-vocab-gpt-neox.gguf	…
ggml-vocab-gpt2.gguf	…
ggml-vocab-llama-bpe.gguf	…
ggml-vocab-llama-bpe.gguf.inp	llama : lookup word in vocab before doing BPE merges (#7193)	2024-05-11 11:12:06 +03:00
ggml-vocab-llama-bpe.gguf.out	llama : lookup word in vocab before doing BPE merges (#7193)	2024-05-11 11:12:06 +03:00
ggml-vocab-llama-spm.gguf	…
ggml-vocab-llama-spm.gguf.inp	…
ggml-vocab-llama-spm.gguf.out	…
ggml-vocab-mpt.gguf	…
ggml-vocab-mpt.gguf.inp	…
ggml-vocab-mpt.gguf.out	…
ggml-vocab-phi-3.gguf	…
ggml-vocab-phi-3.gguf.inp	…
ggml-vocab-phi-3.gguf.out	…
ggml-vocab-qwen2.gguf	…
ggml-vocab-qwen2.gguf.inp	…
ggml-vocab-qwen2.gguf.out	…
ggml-vocab-refact.gguf	…
ggml-vocab-refact.gguf.inp	…
ggml-vocab-refact.gguf.out	…
ggml-vocab-stablelm.gguf	…
ggml-vocab-starcoder.gguf	…
ggml-vocab-starcoder.gguf.inp	…
ggml-vocab-starcoder.gguf.out	…