爬虫爬去猫眼电影top100内容问题

sum_12

请问大神们 ，我程序没有错，加了headers，可是我还是无法接受到爬取的内容怎么回事？（查看headers时有警告）

ba21

代码，具体错误。

sum_12

ba21 发表于 2018-7-19 22:50
代码，具体错误。

已经上传图片了，麻烦了

ba21

sum_12 发表于 2018-7-20 09:09
已经上传图片了，麻烦了

上代码

千斤顶先生

个人觉得两个地方可以小修改：
1、 def write_to_file(),这个函数里你使用了 with as 语句  file.close()可以直接不写       （这个应该不是问题...）
2、因为现在有些网站都有反爬虫措施，你可以加一个延时，如果访问速度过快可能导致被封IP（不知道是不是这个原因）   在一开始import time 库    然后在最后if 中 加入time.sleep(1)    （但我觉得这个应该也不是主要问题）

然后看看获取headers的时候，图片里红圈里有没有选中，选中的话爬不到（我当时遇到的情况）

sum_12

千斤顶先生 发表于 2018-7-20 16:19
个人觉得两个地方可以小修改：
1、 def write_to_file(),这个函数里你使用了 with as 语句  file.close() ...

谢谢啦，我去试一下。