目前遇到一个问题，去重时报错没有text_dedup，但是安装后还是报同样的错，请问该怎么处理？

[Daniel-bupt]

[Mrkkew]

我也遇到同样的问题，怎么解决的，感觉是开源项目本来有错误

[Daniel-bupt]

没解决   岔路口 ***@***.***  

…

------------------ 原始邮件 ------------------ 发件人: ***@***.***>; 发送时间: 2024年8月27日(星期二) 晚上6:02 收件人: ***@***.***>; 抄送: ***@***.***>; ***@***.***>; 主题: Re: [RUC-GSAI/Yulan-GARDEN] 目前遇到一个问题，去重时报错没有text_dedup，但是安装后还是报同样的错，请问该怎么处理？ (Issue #5) 我也遇到同样的问题，怎么解决的，感觉是开源项目本来有错误 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[Mrkkew]

这就很难受了，有bug的开源代码

[Mrkkew]

找到问题了，好像是里面下载的安装包还有一些依赖包，需要下载，否则那个minhash执行会报错跳出

[PhealenWang]

已经在utils/text-dedup的readme中做出了补充说明：请直接git clone，不要pip install。

[Mrkkew]

环境要使用python 3.10以上，要不然会报错。那个text_decup包里面有很多python3.10之后才支持的语句

[Daniel-bupt]

原来如此，感恩   岔路口 ***@***.***  

…

------------------ 原始邮件 ------------------ 发件人: ***@***.***>; 发送时间: 2024年8月27日(星期二) 晚上7:55 收件人: ***@***.***>; 抄送: ***@***.***>; ***@***.***>; 主题: Re: [RUC-GSAI/Yulan-GARDEN] 目前遇到一个问题，去重时报错没有text_dedup，但是安装后还是报同样的错，请问该怎么处理？ (Issue #5) 找到问题了，好像是里面下载的安装包还有一些依赖包，需要下载，否则那个minhash执行会报错跳出 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[Daniel-bupt]

好的，谢谢   岔路口 ***@***.***  

…

------------------ 原始邮件 ------------------ 发件人: ***@***.***>; 发送时间: 2024年8月27日(星期二) 晚上9:50 收件人: ***@***.***>; 抄送: ***@***.***>; ***@***.***>; 主题: Re: [RUC-GSAI/Yulan-GARDEN] 目前遇到一个问题，去重时报错没有text_dedup，但是安装后还是报同样的错，请问该怎么处理？ (Issue #5) 已经在utils/text-dedup的readme中做出了补充说明：请直接git clone，不要pip install。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>