鱼C论坛

 找回密码
 立即注册
查看: 3571|回复: 178

[作品展示] 有道翻译最新版爬虫,解析反爬虫了,不要再问{"errorCode":50}错误怎么办了

  [复制链接]
最佳答案
156 
发表于 2018-3-15 10:46:27 | 显示全部楼层 |阅读模式

马上注册加入鱼C,享用更多服务吧^_^

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
本帖最后由 gopythoner 于 2018-4-16 16:43 编辑

昨天(2018年3月14日晚)刚写的有道翻译爬虫,新鲜出炉,拿到就可以用了

其实有道翻译的反爬虫就是sign的md5加密

具体的js代码如下:
  1. var n = b.val(),
  2.             r = "" + ((new Date).getTime() + parseInt(10 * Math.random(), 10)),
  3.             o = u.md5(S + n + r + D),
  4.             a = n.length;
  5.         if (L(), w.text(a), a > 5e3) {
  6.             var l = n;
  7.             n = l.substr(0, 5e3), o = u.md5(S + n + r + D);
  8.             var c = l.substr(5e3);
  9.             c = (c = c.trim()).substr(0, 3), u("#inputTargetError").text("有道翻译字数限制为5000字,“" + c + "”及其后面没有被翻译!").show(), w.addClass("fonts__overed")
  10.         } else w.removeClass("fonts__overed"), u("#inputTargetError").hide();
  11.         f.isWeb(n) ? i() : s({
  12.             i: n,
  13.             from: _,
  14.             to: C,
  15.             smartresult: "dict",
  16.             client: S,
  17.             salt: r,
  18.             sign: o,
  19.             doctype: "json",
  20.             version: "2.1",
  21.             keyfrom: "fanyi.web",
  22.             action: e || "FY_BY_DEFAULT",
  23.             typoResult: !1
复制代码


使用Python实现salt和sign参数的获取代码:
  1. def get_md(self, value):
  2.         '''md5加密'''
  3.         m = hashlib.md5()
  4.         # m.update(value)
  5.         m.update(value.encode('utf-8'))
  6.         return m.hexdigest()

  7.     def get_salt(self):
  8.         '''根据当前时间戳获取salt参数'''
  9.         s = int(time.time() * 1000) + random.randint(0, 10)
  10.         return str(s)

  11.     def get_sign(self):
  12.         '''使用md5函数和其他参数,得到sign参数'''
  13.         s = "fanyideskweb" + self.msg + self.salt + self.D
  14.         return self.get_md(s)
复制代码


得到关键参数,data就有了:
  1. data = {
  2.             'i': self.msg,
  3.             'from': 'AUTO',
  4.             'to': 'AUTO',
  5.             'smartresult': 'dict',
  6.             'client': 'fanyideskweb',
  7.             'salt': self.salt,
  8.             'sign': self.sign,
  9.             'doctype': 'json',
  10.             'version': '2.1',
  11.             'keyfrom': 'fanyi.web',
  12.             'action': 'FY_BY_CL1CKBUTTON',
  13.             'typoResult': 'true'
  14.         }
复制代码


最后还要加上headers才行,然而我经过试探,发现headers里面有几个参数是必须的,其他的是非必须的:
  1. headers = {
  2.             # 'Accept': 'application/json, text/javascript, */*; q=0.01',
  3.             # 'Accept-Encoding': 'gzip, deflate',
  4.             # 'Accept-Language': 'zh-CN,zh;q=0.9,mt;q=0.8',
  5.             # 'Connection': 'keep-alive',
  6.             # 'Content-Length': '240',
  7.             # 'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
  8.             'Cookie': 'OUTFOX_SEARCH_USER_ID=-2022895048@10.168.8.76;',
  9.             # 'Host': 'fanyi.youdao.com',
  10.             # 'Origin': 'http://fanyi.youdao.com',
  11.             'Referer': 'http://fanyi.youdao.com/',
  12.             'User-Agent': 'Mozilla/5.0 (Windows NT 6.2; rv:51.0) Gecko/20100101 Firefox/51.0',
  13.             # 'X-Requested-With': 'XMLHttpRequest'
  14.         }
复制代码


算上这些,就可以去请求了,看看运行的效果,直接翻译,妥妥的
Snipaste_2018-03-15_10-42-33.png

查看完整代码需要回复,我隐藏了
游客,如果您要查看本帖隐藏内容请回复


煎蛋网的爬虫在这里煎蛋网妹子图爬虫
顺便说一下,大家爬别人的网站,如果不是特别的原因,尽量设置延时时间,不要过于频繁的爬取

评分

参与人数 1荣誉 +5 鱼币 +5 贡献 +3 收起 理由
louxinghao + 5 + 5 + 3 感谢楼主无私奉献!

查看全部评分

最佳答案
0 
发表于 2018-3-15 11:22:10 | 显示全部楼层
膜拜
最佳答案
190 
发表于 2018-3-15 11:39:58 | 显示全部楼层
前来学习
最佳答案
0 
发表于 2018-3-15 13:05:56 | 显示全部楼层
一定要顶一个
最佳答案
0 
发表于 2018-3-15 13:40:25 | 显示全部楼层
大佬
最佳答案
156 
 楼主| 发表于 2018-3-15 13:44:50 | 显示全部楼层

我在研究煎蛋网的妹子图的js加密,但是发现对JS太不熟悉了,还没有转化成Python的方式
最佳答案
156 
 楼主| 发表于 2018-3-15 13:45:31 | 显示全部楼层

这个加密其实还挺基本的,至少没有转太多玩,JS写的也很清晰,看得懂
最佳答案
156 
 楼主| 发表于 2018-3-15 13:46:01 | 显示全部楼层

可以可以
最佳答案
0 
发表于 2018-3-15 15:34:37 | 显示全部楼层
回复
最佳答案
0 
发表于 2018-3-15 18:04:01 | 显示全部楼层
哈哈
最佳答案
0 
发表于 2018-3-15 21:12:48 | 显示全部楼层
前来学习
最佳答案
0 
发表于 2018-3-15 21:32:05 | 显示全部楼层
sda
最佳答案
156 
 楼主| 发表于 2018-3-16 08:50:12 | 显示全部楼层

互相学习
最佳答案
1 
发表于 2018-3-16 10:55:45 | 显示全部楼层
查看
最佳答案
4 
发表于 2018-3-16 14:41:57 | 显示全部楼层
学习下,还没有学到爬虫,先保存资源
最佳答案
0 
发表于 2018-3-16 14:48:25 | 显示全部楼层
有道反爬虫了= =?
最佳答案
156 
 楼主| 发表于 2018-3-16 14:55:53 | 显示全部楼层
JacksonHome 发表于 2018-3-16 14:48
有道反爬虫了= =?

是了是了,可以sign的获取方式是关键,知道获取的方式就好办了
最佳答案
0 
发表于 2018-3-16 21:13:53 | 显示全部楼层
1
最佳答案
0 
发表于 2018-3-18 11:06:28 | 显示全部楼层
最佳答案
0 
发表于 2018-3-18 11:26:46 | 显示全部楼层
woo
*滑块验证:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

小甲鱼强烈推荐上一条 /1 下一条

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号 )

GMT+8, 2018-7-17 05:55

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表