【爬虫】怎么爬取有身份认证的网页？

xugy12 · 发表于 2018-7-16 17:25:22

您需要登录才可以下载或查看，没有账号？立即注册

x

怎么爬取有身份认证的网页？
比如校园网的一些信息，是需要通过身份验证才能进入。通过浏览器浏览使用自己的身份是可以进入的，但要使用爬虫软件该怎么爬取呢？

新人 · 发表于 2018-7-16 17:29:55

一般得身份验证都是通过form表单进行得formdata数据提交自己在谷歌的F12仔细找找就能找到Form表单需要提交的数据是什么，然后根据他的要求进行post提交就可以了，然后获取登陆后的cookie 进行爬取

我爱鱼C！ · 发表于 2018-7-17 14:00:49

可以用cookies,当然，selenium也可以

pl2379965 · 发表于 2018-7-17 14:28:18

要什么身份就提供什么身份

ガア · 发表于 2018-7-18 13:59:05

抓取http请求，模拟登陆

我不是皮卡@ · 发表于 2018-7-19 16:39:02

selenium

账号		自动登录	找回密码
密码			立即注册