鱼C论坛

 找回密码
 立即注册
查看: 2867|回复: 20

[技术交流] 爬虫【很久一题】简单登录

[复制链接]
发表于 2017-7-10 13:37:10 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖接上集
爬虫【很久一题】B站视频token解析
http://bbs.fishc.com/thread-90080-1-1.html


本题的页面是自己写的, 思路来自以前做爬虫的时候遇到的一些有趣的反爬机制
因为是自己写的, 所以前端和业务逻辑方面并没有还原的很彻底, 还请海涵

Tip: username 和 password 只是模拟登录的场景, 你在写代码的时候可以不传这两个参数, 不影响判断成功失败

链接在此: https://dev.yii2.cc/fishc/task1

成功返回示例
succ.jpg
失败返回示例
fail.jpg

本题没有标准答案, 只要拿到成功返回即可
祝大家玩的开心

本帖被以下淘专辑推荐:

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2017-7-11 15:24:19 | 显示全部楼层
公布一波标答, 抛砖引玉了
  1. import requests
  2. import re

  3. url = 'https://dev.yii2.cc/fishc/task1'
  4. opener = requests.session()
  5. res = opener.get(url)
  6. csrf_token = re.findall(r'type="hidden"\s*name="(\w+)"\s*value="(\w+)"', res.text)[0]

  7. res = opener.post(url, {
  8.     # 坑1: csrf token
  9.     # 建议阅读: https://github.com/pillarjs/understanding-csrf
  10.     csrf_token[0]: csrf_token[1]
  11. }, headers={
  12.     # 坑2: referer && session 检测
  13.     # 此处配合后端源码理解更佳
  14.     'Referer': url
  15. })

  16. print(res.text)
复制代码


因为后端是自己写的所以也公布一下源码, php 写的, 希望各位看官轻喷
基于 phalcon 写的, 只贴关键代码, 框架代码和 view 层代码不贴
  1. public function task1Action()
  2. {
  3.     if ($this->request->isPost()) {
  4.         $this->view->disable();
  5.         // 此处为 csrf 验证, 是框架集成方法
  6.         if ($this->security->checkToken()) {
  7.             /**
  8.              * 此处即为 referer 判断
  9.              * 判断 request 的 http 头中的 referer 是否与 session 中相等
  10.              */
  11.             $referer = parse_url($this->request->getHTTPReferer(), PHP_URL_PATH);
  12.             if ($referer == $this->session->get('referer')) {
  13.                 echo 'Welcome ' . $this->request->getPost('username', null, 'Fishc');
  14.                 return;
  15.             }
  16.         }
  17.         echo 'fail';
  18.         return;
  19.     }
  20.     $this->session->set('referer', $this->request->getUri());
  21. }
复制代码


第一次发题(guan)目(shui)帖, 好多要求都没说清楚, 导致很多鱼油不知道答题规则, 下次会改进
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2017-7-10 13:39:14 | 显示全部楼层
召唤一下老铁们
@冬雪雪冬 @wei_Y @SixPy @shuofxz @新手·ing @~风介~ @无符号整形
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-7-10 14:47:30 | 显示全部楼层
什么意思?
直接点那个连接可以进去呀
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2017-7-10 15:00:34 | 显示全部楼层
SixPy 发表于 2017-7-10 14:47
什么意思?
直接点那个连接可以进去呀

要求用程序实现模拟登录.....突然发现好多地方都没说清楚
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-7-10 15:41:44 | 显示全部楼层
好玩!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-7-10 15:43:28 | 显示全部楼层
什么意思?
直接点那个连接可以进去呀

点评

你~~~~~~~~  发表于 2017-7-10 16:02
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2017-7-10 15:46:44 | 显示全部楼层
~风介~ 发表于 2017-7-10 15:43
什么意思?
直接点那个连接可以进去呀

别闹
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-7-10 16:39:50 | 显示全部楼层
hldh214 发表于 2017-7-10 13:39
召唤一下老铁们
@冬雪雪冬 @wei_Y @SixPy @shuofxz @新手·ing @~风介~ @无符号整形

孤零零的站在一群绿名字之间




                                                                                                         ———————召唤失败
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2017-7-10 16:42:10 | 显示全部楼层
新手·ing 发表于 2017-7-10 16:39
孤零零的站在一群绿名字之间

你说你是不是故意的
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-7-10 16:49:26 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-7-10 16:59:03 | 显示全部楼层


想不到你竟然是这样的版主,太让俺们鱼油失望了~
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-7-11 09:32:25 | 显示全部楼层
没有研究出你里面一段隐藏的name和value的加密关系,所以只能借助selenium了。。。
好像每次刷新这个name和value一直在变化的,猜测应该是用时间戳加密的吧,也没找到调用其他js的程序。

  1. from splinter import Browser
  2. url = 'https://dev.yii2.cc/fishc/task1'
  3. x = Browser('phantomjs')
  4. x.visit(url)
  5. x.find_by_tag('input')[-1].click()
  6. print(x.html)
复制代码


<html><head></head><body>Welcome iLoveFishcDotCom</body></html>
[Finished in 4.9s]

评分

参与人数 1荣誉 +6 鱼币 +6 收起 理由
hldh214 + 6 + 6 PhantomJS和selenium是反爬虫team的噩梦..!

查看全部评分

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-7-11 14:39:59 | 显示全部楼层
我觉得用phantomjs+selenium都不算爬虫了,不就是个简化版的浏览器么。。。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-7-11 14:51:50 | 显示全部楼层
还不放答案~有没有王法了啊~
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-7-11 15:36:55 | 显示全部楼层
hldh214 发表于 2017-7-11 15:24
公布一波标答, 抛砖引玉了

大佬又带我们玩咧。我直接用这代码,返回的是
  1. requests.exceptions.ConnectionError: HTTPSConnectionPool(host='dev.yii2.cc', port=443): Max retries exceeded with url: /fishc/task1 (Caused by NewConnectionError('<requests.packages.urllib3.connection.VerifiedHTTPSConnection object at 0x0000001CB23A00F0>: Failed to establish a new connection: [Errno 11002] getaddrinfo failed',))
复制代码


https的ssl认证过不去啊。
所以第17行小括号前面要加上,
  1. ,verify=False
复制代码


想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-7-11 15:51:47 | 显示全部楼层
感觉没啥难度呀~
把 headers 填好就行了

  1. import re
  2. import requests as req

  3. ReqHeaders={
  4.     'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  5.     'Accept-Encoding':'gzip,deflate,sdch',
  6.     'Accept-Language':'zh-CN,zh;q=0.8',
  7.     'Cache-Control':'max-age=0',
  8.     'Connection':'keep-alive',
  9.     'Content-Type':'application/x-www-form-urlencoded',
  10.     'Host':'dev.yii2.cc',
  11.     'Origin':'https://dev.yii2.cc',
  12.     'Referer':'https://dev.yii2.cc/fishc/task1',
  13.     'User-Agent':'Mozilla/5.0 (Windows NT 5.1)'
  14. }

  15. ptn=re.compile(r'<input[^>]*'
  16.                 'name="([^"]+)"[^>]*'
  17.                 'value="([^"]+)"')

  18. url=r'https://dev.yii2.cc/fishc/task1'

  19. ssn=req.Session()
  20. ssn.headers=ReqHeaders
  21. rsp=ssn.get(url)
  22. f=ptn.findall(rsp.text)
  23. rsp2=ssn.post(url,data=dict(f))
  24. print(rsp2.text)

  25. ##'Welcome iLoveFishcDotCom'
复制代码
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-7-11 16:50:03 | 显示全部楼层
hldh214 发表于 2017-7-11 15:24
公布一波标答, 抛砖引玉了

你这个还是要先get到密码,然后才能登录。
我比较好奇的是,你这个密码(name和value)是如何生成的,自己有没有办法合成,这样直接post就能登录了。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2017-7-12 10:53:28 | 显示全部楼层
jerryxjr1220 发表于 2017-7-11 16:50
你这个还是要先get到密码,然后才能登录。
我比较好奇的是,你这个密码(name和value)是如何生成的,自 ...

在后端生成, 源码在此
https://github.com/phalcon/cphalcon/blob/107b6f0197b0464d9f6b11ff390a560c000bf448/phalcon/security.zep

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-7-13 09:45:53 | 显示全部楼层
来晚了,好像没难点。
里面不含js,所有东西后端生成。
所以get请求的页面会返回 所有需要的东西。
账号密码是已知的,只有一个hidden属性的input,
值虽然是每次都变化,不过因为不是js生成,请求即包含。

感觉登陆难的地方是 自动绕过验证。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-3-28 20:35

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表