Commit Graph

8 Commits

Author SHA1 Message Date
feiwu.yfw
2b64cf2bb6 [to #42322933]支持从dataset json文件中获取参数
* dataset json file add args
2022-08-30 15:15:15 +08:00
feiwu.yfw
39485426e7 [to #42322933]:fix msdataset
* 修复了zip文件不同打包模式下返回路径错误问题。
* 修复了替换了数据集文件重新下载时校验失败问题。
* 修复dataset oss文件在 REUSE 模式下重复下载的问题。
* 修复了csv数据集的meta json文件中某个split的meta和file字段都为''时加载所有split失败的问题。
 * 修复了不同版本datasets路径不一致的问题。
2022-08-26 22:41:13 +08:00
xingjun.wxj
44033290d4 [to #42322933]MsDataset 支持上传数据集压缩包和meta
1. MsDataset支持upload数据文件(压缩包)
2. MsDataset支持clone和upload meta data
3. 使用MsDataset.load()下载数据集,支持web端显示数据集下载计数
        Link: https://code.alibaba-inc.com/Ali-MaaS/MaaS-lib/codereview/9831232
2022-08-25 22:28:10 +08:00
feiwu.yfw
35548bd492 [to #43875101]
msdataset add coco dataset
unify taskdataset and ms dataset
fix hf datasets
2022-08-17 22:51:22 +08:00
feiwu.yfw
743e876981 [to #43660556] msdataset数据集加载
Link: https://code.alibaba-inc.com/Ali-MaaS/MaaS-lib/codereview/9552632

* load csv dataset from modelscoop
2022-07-29 12:22:48 +08:00
feiwu.yfw
2c3875c0e1 [to #43299989] Fix msdataset
* fix msdataset
        Link: https://code.alibaba-inc.com/Ali-MaaS/MaaS-lib/codereview/9436292

    * fix msdataset
2022-07-20 16:38:15 +08:00
feiwu.yfw
5da470fd5d [to #42791465, #42779255, #42777959, #42757844, #42756050, #42746916, #42743595, #42791863] fix: fix msdataset
Link: https://code.alibaba-inc.com/Ali-MaaS/MaaS-lib/codereview/9174075

* fix msdataset
2022-06-28 20:40:57 +08:00
yingda.chen
6702b29e21 [to #42794773]rename pydataset to msdataset
Link: https://code.alibaba-inc.com/Ali-MaaS/MaaS-lib/codereview/9165402
2022-06-27 11:09:38 +08:00