刮削经验分享与新项目建议

[sqzw-x]

此话题由 issue 转到 discussion

为何添加此 issue

目前 mdcx 包含 43 个网站刮削器, 参考 https://github.com/sqzw-x/mdcx/tree/master/src/models/crawlers

如此多的网站, 我作为半途接手的开发者并没有一一了解, 而用户也基本不可能逐个尝试, 我相信很多人用的都是初始生成的默认配置, 此配置是原作者留下的, 其思路我也不清楚

但是实际上每个网站的价值, 信息丰富度, 网络稳定性都是不同的, 因此希望能集思广益, 有经验的用户分享下自己的配置心得

另外, 我有意向开发一个 mdcx 的部分替代, 需要考察刮削数据源的选择, 可以说下你希望其优先支持哪些网站

如何分享

• 由于不同网站内容不同, 因此要按类别, 如一般 JP, 无码, FC2, 国产, 欧美等等
• 并不需要论证此网站是最好的, 只需简单说一说其优劣势
• 内容仅涉及元数据, 即 mdcx 会获取的这些, 其它如下载/播放等等就不用说了

一些评价角度:

• 信息完整性. 包括各类文本字段, 图片, 预告片等
• 多语言支持. 如提供某些字段的翻译(仅网站框架翻译不算)
• 访问稳定性. 如是否限制 IP 区域, 反爬是否严格
• 其它 ...

示例

可以详细描述, 也可以只用简单的一两句话, 如:

我平时大多只刮削有码, 最常用 javdb, 其一个优势是有不同性别的演员信息, 一个不足是封面有水印
dmm 的优势是字段完整精准, 不足是限制 JP 访问且只有日语数据
...

另外

其实我总感觉在 GitHub issue 说这种话题有点怪, 也吸引不到最有经验的人, 但是我也没去过论坛之类, 因此如果有更合适的平台也可以推荐. 我看到很多用户是从 javbus 的论坛来的, 可惜它好像关闭注册了, 感谢不知名的宣传者.

[kikiyou18]

以下为个人使用经验，也可做预设配置基本逻辑：

• 绝大部分影片为JP，有码，极少数量无码、fc2，这些主要通过两个站点解决99%的刮削，javdb、bus。不在乎db的水印（你不说我真没注意过），不是画质党，不需要日亚高清图，绝大部分影片1080p到顶了
• 国产分主流片商（麻豆）、小众片商（大象，糖心），这些主要通过madouqu解决（分类相对较完善，简洁、有人名），因为确实刮削条件不成熟，人名封面就足够了，这里还可用mdtv、7mmtv、cnmdb
• 其他如自摄作品、浮力机、poxnhxb、91大绳炭花（cableav解决）等，这些往往没有番号，甚至没有封面图，只能寄希望于下载时就备注好来源信息方便后期刮削，主要依赖7mmtv、hscangku
• 实在没有元数据的，最后便是自制nfo、封面图，但没有工具，纯手动一个一个自制，体验简直无法描述，求推荐工具（批量，图形化，半自动）

[garnnetchenhan]

你的场景几乎和我100%重叠，准备按照你的搞

[lau520]

小白请问FC2怎么挂削？JAVDB的cokie怎么获取？

[sd1536617]

我主要刮国产，基本上国产收集了95%，1W部+，国产没有非常完整的元数据网站，都是相互补充，还有很多番号空缺，番号重复，人名重复等问题。元数据肯定越全越好，根据我刮削的经验
1.RAS刮削要用love6，不知道是不是RAS的官网，元数据有简介，缺点是好多番号识别不到，而且站内搜索也不好用，得从页面海报里找。
2.大部分带番号的用mdtv，这个站有些片有简介，大部分有海报和演员，有些标题上写有演员，但是没有演员的tag好像也没刮到演员名。
3.其次用madouqu，这个站存片源比较全，但是都没简介，就只有海报演员，一半以上的片都从这里刮的。原版mdxc刮madouqu是刮不到演员名的，作者解决了这个问题，很牛逼。
建议：
1.很多LLS ML XG txvlog的片只有一个标题，LLS和txvlog的片量还大，没有番号管理和收集起来也费劲，madouqu里也是只有标题，但是链接地址里他们对文件进行了编号，比如：https://madouqu.com/tx740/，题目是骚女仆无套内射，刮削下来是"骚女仆无套内射 芋泥啵啵"，能不能这里番号的刮削进行重新命名，改成"TX-740 骚女仆无套内射 芋泥啵啵"，这样方便管理，我手动改了200多个文件，扛不住了，后面的也不改了。
2.很多演员在不同厂商有不同名字，我汇总了几个人的通过修改mapping_actor.xml文件实现同一个人刮削出同一个人名字，有些是改名，有些是简繁体不同，比如 ，还在更新，如果需要我可以分享一起维护。
3.重名问题，有演员名和明星重名了，比如白鹿，白晶晶，何苗，这些演员我点开头像是明星，简介是明星，下面作品全是那种，所有能不能有工具批量把所有nfo文件里的白鹿替换成AV白鹿。还有就是AV演员名里缺失有重名的，比如叫思思的有两个，目前我只能手动改。
4.由于国产元数据网站的不完善，国产刮削我都会刮完再看一遍准确情况，大部分情况下是修改演员名，在刮削记录里右键修改演员名后，还得再打开文件夹把文件夹里的演员改改成正确的，因为我的文件夹名称是”番号 演员名“，以后能不能实现修改nfo演员名自动修改文件夹演员名。
5.很多国产番号内容相同，但是番号不同，比如RAS-0141=HJ-090=TMW-033，我总结了几百个，如果需要可以分享一起维护。
6.国产的几个元数据网站经常换地址，如果哪天刮削器默认的地址失效了能否自定义更新站点地址。

[anyingxiuluo]

牛逼啊大佬现在国产资源去哪里能下载

[kikiyou18]

• 国产的刮削问题不是靠这一个项目就可以解决的，不像日本那样，有比较成熟的制片工业体系，所以我认为国产有个封面，有个演员名，已经足够了。关于重复问题，目前的解决方案只有人工识别，手动单文件刮削矫正，因为这样的重复根本没有逻辑，没办法自动矫正。
• 关于madouqu的编号问题，我不确定madouqu的编号只是自己内部的网站编号还是说其他地方也共用这个编号，如果是前者，写入这个内部编号没有什么意义，片子本身并没有番号，标题即番号，如果文件名中能提取到 字母-数字 这样的番号，那程序也会自动修改为这个编号的。
• 第二个问题因为我阅片量没有多少，所以暂时没有发现，你有心的话也可以分享一下。
• 第三个问题我并不是很能理解，批量编辑nfo的工具我也很需要，期待有大佬能做出来。
• 自定义网址地址大部分国产做了适配，没有的请举例，自定义网址在程序的设置内，网络，网址选项下。
• 国产类型的片子还有一些完全没有番号，没有封面图，没有标题的自摄作品，这一类只能靠自制封面图，nfo，可惜目前也没有成熟的半自动化工具。
• 另外我认为目前国产的刮削网站已经比较全，比较优秀了，如果还有比较好的元数据网站都可以补充分享讨论。

[CugbWbh]

大佬能分享一下mdtv的网址呀

[haoylee]

madou.club这家网站可以参考下，感觉能补充一些madouqu没有的视频，其他几家国产网站我没看过，不知道如何对比

[96mao]

泻药,使用mdcx大概有两年了,从开始的avdc版到s大佬的mdcx版,mdcx陪我走过了一段青葱岁月,现在主要是通过docker部署到服务器上自动刮削qb或者迅雷下载的视频,比较难受的一点是mdcx对手机端浏览器的适配几乎为零,遇到有些视频无法刮削,需要在电脑浏览器端查看和更改文件名。另外本人比较喜欢雷火剑的动漫,但是不太清楚哪些站能刮削,以及这么命名动漫的番号。求大佬们指点

[biac-devi]

泻药,使用mdcx大概有两年了,从开始的avdc版到s大佬的mdcx版,mdcx陪我走过了一段青葱岁月,现在主要是通过docker部署到服务器上自动刮削qb或者迅雷下载的视频,比较难受的一点是mdcx对手机端浏览器的适配几乎为零,遇到有些视频无法刮削,需要在电脑浏览器端查看和更改文件名。另外本人比较喜欢雷火剑的动漫,但是不太清楚哪些站能刮削,以及这么命名动漫的番号。求大佬们指点

你好，请问你能简单说一下你是怎么部署到docker来实现自动刮削的吗？谢谢。

[Ahaezio]

1、JP :现在JP已经相对成熟，大佬说的很详细，我遇到唯一问题，就是封面显示不全，或者有水印，我会找些网站、或者自己修改。
https://javstore.net/ 里面也有一些基础NFO，FC2也能搜到。有码封面都比较全，我会用它搜索封面进行补充。

2、欧美：我习惯收集经典电影（长篇电影），也是找封面找不到 ，后来找到https://www.hotmovies.com/ ，这是一个卖片网站，虽然封面不是高清，但里面NFO信息比较完整，出品方、发行、演员、类别、简介、预告、标签、场景等。
PS：不知道是否可以内置一个AI基础图片增强功能，我一般在网站https://picpicai.com/zh/photo-enhancer 增强。

[cgkings]

大佬
你好
因为网盘挂载操作比较慢，且容易触发问题，我想基于Mdcx写一个轻量NFO批量修改器
但是不会代码，就让chatgpt给生成了一个，见附件
但是始终有bug，且比较难修复，目前市面上还没有这样的软件，看看大佬是不是能截取mdcx部分功能做一个，其实就是去除了刮削功能的NFO修改器

[GKYASHAN]

ps：我还没深度使用mdcx，但是我找了很多刮削整理软件都不太如意，mdcx是我遇到功能最全面的，我之前找不到相关的刮削器就一直想要自己写一个，但是苦于一些网站的反爬虫，我难受死了，毕竟简单的python程序我ok，但是太大的架构我就不行了，我是业余玩的。
【问题一】：
我接触mdcx后给我的感觉就是他很全，这个工具很强，但是设置特别繁琐，尤其是有一个场景：我强迫症仓鼠党，我喜欢保存全番号系列，信息一定要全，所有每次我保存一个番号系列的时候，为了信息准确度就需要去选择优质信息的网站，去重新排列规则，
【建议一】：
建议作者可以添加一个小模块，我觉得应该不麻烦，可以让用户输入番号进行及时刮削预览的功能，会自动对列表中的多个网站进行单独刮削，用户可以切换查看自己添加进列表的哪些网站刮削效果如何，

【问题二】：
关于多作品番号相同的问题，强迫症真的很难忍刮削一个番号系列中，有一部信息出现问题，因为我会开始怀疑整个系列的刮削有问题T_T
【建议二】：
说一个我自己以前写爬虫应对这种问题的方法：我同时使用番号和cid(有的话)，然后优先爬取cid(唯一性)，然后用他的标题，与封面，发行年份(不用日期是有些网站有出入，年份容错率高)，然后与在所有的检索到的作品池里的作品对比，达到一点相似度就选用该信息，再前往详情页刮削。

[CugbWbh]

大佬，最近自己在大范围整理fc2的资源，发现一个比较好用的网站https://fc2ppvdb.com/，里面对于不同fc2作品的演员归纳比其他平台全的多，希望可以加入到后续的更新里面

[361586]

https://www.naughtyblog.org/
感觉这个网站作为欧美资源的刮削是可以的，我直接拿种子名称搜，有缩略图，有一些基本的nfo信息，像Tag和简介