{ | |
"version": "1.0", | |
"truncation": null, | |
"padding": null, | |
"added_tokens": [ | |
{ | |
"id": 0, | |
"content": "<UNK>", | |
"single_word": false, | |
"lstrip": false, | |
"rstrip": false, | |
"normalized": false, | |
"special": true | |
} | |
], | |
"normalizer": { | |
"type": "Lowercase" | |
}, | |
"pre_tokenizer": { | |
"type": "Whitespace" | |
}, | |
"post_processor": null, | |
"decoder": null, | |
"model": { | |
"type": "BPE", | |
"dropout": null, | |
"unk_token": "<UNK>", | |
"continuing_subword_prefix": null, | |
"end_of_word_suffix": null, | |
"fuse_unk": false, | |
"vocab": { | |
"<UNK>": 0, | |
"a": 1, | |
"b": 2, | |
"c": 3, | |
"d": 4, | |
"e": 5, | |
"f": 6, | |
"g": 7, | |
"h": 8, | |
"i": 9, | |
"k": 10, | |
"l": 11, | |
"m": 12, | |
"n": 13, | |
"o": 14, | |
"p": 15, | |
"q": 16, | |
"r": 17, | |
"s": 18, | |
"t": 19, | |
"u": 20, | |
"v": 21, | |
"w": 22, | |
"x": 23, | |
"y": 24, | |
"z": 25, | |
"aa": 26, | |
"ll": 27, | |
"la": 28, | |
"gg": 29, | |
"rr": 30, | |
"va": 31, | |
"ga": 32, | |
"ra": 33, | |
"lv": 34, | |
"pa": 35, | |
"lg": 36, | |
"sa": 37, | |
"lr": 38, | |
"ea": 39, | |
"vv": 40, | |
"da": 41, | |
"ta": 42, | |
"ls": 43, | |
"lp": 44, | |
"ia": 45, | |
"gr": 46, | |
"ld": 47, | |
"le": 48, | |
"ss": 49, | |
"gv": 50, | |
"lt": 51, | |
"gs": 52, | |
"er": 53, | |
"gt": 54, | |
"gd": 55, | |
"pp": 56, | |
"li": 57, | |
"vr": 58, | |
"ge": 59, | |
"qa": 60, | |
"fa": 61, | |
"lk": 62, | |
"vt": 63, | |
"vs": 64, | |
"gi": 65, | |
"vd": 66, | |
"ve": 67, | |
"lf": 68, | |
"pr": 69, | |
"ka": 70, | |
"dr": 71, | |
"ps": 72, | |
"lq": 73, | |
"ee": 74, | |
"tt": 75, | |
"gk": 76, | |
"na": 77, | |
"sr": 78, | |
"pd": 79, | |
"vi": 80, | |
"pe": 81, | |
"gf": 82, | |
"ln": 83, | |
"pt": 84, | |
"gq": 85, | |
"ha": 86, | |
"st": 87, | |
"dd": 88, | |
"qr": 89, | |
"gp": 90, | |
"ei": 91, | |
"ya": 92, | |
"kk": 93, | |
"gn": 94, | |
"lh": 95, | |
"vp": 96, | |
"tr": 97, | |
"vf": 98, | |
"si": 99 | |
}, | |
"merges": [ | |
"a a", | |
"l l", | |
"l a", | |
"g g", | |
"r r", | |
"v a", | |
"g a", | |
"r a", | |
"l v", | |
"p a", | |
"l g", | |
"s a", | |
"l r", | |
"e a", | |
"v v", | |
"d a", | |
"t a", | |
"l s", | |
"l p", | |
"i a", | |
"g r", | |
"l d", | |
"l e", | |
"s s", | |
"g v", | |
"l t", | |
"g s", | |
"e r", | |
"g t", | |
"g d", | |
"p p", | |
"l i", | |
"v r", | |
"g e", | |
"q a", | |
"f a", | |
"l k", | |
"v t", | |
"v s", | |
"g i", | |
"v d", | |
"v e", | |
"l f", | |
"p r", | |
"k a", | |
"d r", | |
"p s", | |
"l q", | |
"e e", | |
"t t", | |
"g k", | |
"n a", | |
"s r", | |
"p d", | |
"v i", | |
"p e", | |
"g f", | |
"l n", | |
"p t", | |
"g q", | |
"h a", | |
"s t", | |
"d d", | |
"q r", | |
"g p", | |
"e i", | |
"y a", | |
"k k", | |
"g n", | |
"l h", | |
"v p", | |
"t r", | |
"v f", | |
"s i" | |
] | |
} | |
} |