可不可以支持PreTrainedTokenizerFast

#21
by zhaogx - opened

我在尝试用djl运行百川模型,但是djl只支持PreTrainedTokenizerFast的tokenizer,请问可不可以支持

Sign up or log in to comment