感觉自己把自己带进坑了，又错了。

要学习

照我的理解。
既然已经循环分组 输出 网页链接了，
那我在这个循环下 直接加 读取网页 的代码不就好了。
结果不是这样的。。

直接报错了。

====================== RESTART: C:\Python27\1 - 副本.py ======================
http://www.baidu.com/20170401.html
http://www.baidu.com/20170402.html
http://www.baidu.com/20170403.html

Traceback (most recent call last):
  File "C:\Python27\1 - 副本.py", line 23, in <module>
    r = requests.get(url, headers=headers, timeout=300)
NameError: name 'url' is not defined

1. import requests
   
2. import re
   
3. import pandas as pd
   
4. from datetime import datetime
   
5.      
   
6. def get_url():
   
7.     url = 'http://www.baidu.com/' + date + '.html'
   
8.     return url
   
9.    
   
10. def datelist(beginDate, endDate):
    
11.     date_l=[datetime.strftime(x,'%Y%m%d') for x in list(pd.date_range(start=beginDate, end=endDate))]
    
12.     return date_l
    
13. if __name__ == '__main__':
    
14.     i = 1
    
15.     all_date = datelist("20170401", "20170403")
    
16.     for date in all_date:
    
17.         print get_url()
    
18.         if i % 3 == 0:
    
19.             
    
20.             headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x86) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36 Edge/15.15063'}
    
21.             r = requests.get(url, headers=headers, timeout=300)
    
22.             r = requests.get(url)
    
23.             html = r.text
    
24.         i+= 1
    
25.     print html

复制代码

这次头大了。

我这次错在哪里了呢？
请各位老师解答一下


原本的意思是，，，
由于之前爬取的站点的网页是 爬取超过200页 就会得到出错。200页内的数据就正确，
所以才想 能不能这样：比如我要爬取三百页的数据，我就分成3组来爬取，每组一百页即可
这次问题好像偏离了。
各位老师指点指点

BngThea

你把你17行调用get_url函数的值存到一个列表里，然后在21行中将第一个参数改成上面列表中对应的值即可

要学习

BngThea 发表于 2017-11-20 21:17
你把你17行调用get_url函数的值存到一个列表里，然后在21行中将第一个参数改成上面列表中对应的值即可

1. import requests
   
2. import re
   
3. import pandas as pd
   
4. from datetime import datetime
   
5. 
   
6. qq = []
   
7. 
   
8. def get_url():
   
9.     url = 'http://www.baidu.com/' + date + '.html'
   
10.     return url
    
11.    
    
12. def datelist(beginDate, endDate):
    
13.     date_l=[datetime.strftime(x,'%Y%m%d') for x in list(pd.date_range(start=beginDate, end=endDate))]
    
14.     return date_l
    
15. if __name__ == '__main__':
    
16.     i = 1
    
17.     all_date = datelist("20170401", "20170403")
    
18.     for date in all_date:
    
19.         qq = get_url()
    
20.         if i % 3 == 0:
    
21.             
    
22.             headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x86) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36 Edge/15.15063'}
    
23.             r = requests.get(qq, headers=headers, timeout=300)
    
24.             r = requests.get(qq)
    
25.             html = r.text
    
26.         i+= 1
    
27.     print html

复制代码

老师好。。我这样改。。（06.09.23.24行）
但只能 打印 出 一页的源码
循环没起作用

BngThea

用一个列表存放每次获取的url，也就是你代码中的qq
然后在下面的时候从列表中分别取出对应的即可

要学习

BngThea 发表于 2017-11-20 21:55
用一个列表存放每次获取的url，也就是你代码中的qq
然后在下面的时候从列表中分别取出对应的即可

1. 然后在下面的时候从列表中分别取出对应的即可

复制代码

这个是 要 再写一个for 循环。分别取出列表里的网址吗？

我是要每次 爬取 三个 网页。爬取完。再爬取另外三个

当然我没加上 正则那段

要学习

各位老师下午好

要学习

我还是没研究出来。。。

要学习

一页一页来读 会比 一次性多 一批网页慢吗？

要学习

晚上好 各位老师

要学习

晚上好各位老师