hemu.zp 69104c0f8a [to #42322933] Refactor text generation model outputs and fix some bugs ...

1. 将 single_gpu_test 与 multi_gpu_test 中的 model.forward 部分分离为 EpochBasedTrainer 中的 evaluation_step，为部分 evaluation 阶段不调用 forward 的模型提供更好的灵活性
2. 重构代码将文本生成模型 Model 层的输入输出统一为 Tensor，Tensor 到 str 的 decode 过程移动到 pipeline 中完成
3. pipeline 后处理添加对中文和中文标点与英文混杂时空格的处理，使 decode 后中英文混杂输出正确
4. 添加 TextGenerationTrainer 修复了部分模型 evaluation 过程 forward 输出单个 token 计算 metrics 的问题
5. 修复了 rouge 无法接收空字符串的问题
        Link: https://code.alibaba-inc.com/Ali-MaaS/MaaS-lib/codereview/10473768

2022-10-27 09:52:05 +08:00

..

__init__.py

[to #43850241] fix processor and collate_fn

2022-08-16 12:04:07 +08:00

test_inference.py

[to #42322933] Refactor text generation model outputs and fix some bugs

2022-10-27 09:52:05 +08:00