mirror of
https://github.com/modelscope/modelscope.git
synced 2025-12-25 12:39:25 +01:00
添加东南亚小语种NLP支持,包括:
1. 针对泰语,越南语NER的预处理
2. 基于XLMR-CRF架构的分词模型和pipeline
3. 针对泰语分词的预处理
添加了相应pipeline的unittest
Link: https://code.alibaba-inc.com/Ali-MaaS/MaaS-lib/codereview/10492404