【申精】小甲鱼爬虫教程第56节的错误及解决方法

老王他师父

最近在临摹小甲鱼爬虫教学的第56章，发现如果按照小甲鱼的代码写，可能会出现一个ssl证书错误，截图如下：



原代码如下：

1. import urllib.request
   
2. import os
   
3. 
   
4. def get_page(url):
   
5.     req = urllib.request.Request(url)
   
6.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36')
   
7.     response = urllib.request.urlopen(url)
   
8.     html = response.read().decode('utf-8')
   
9. 
   
10.     a = html.find('current-comment-page') + 23
    
11.     b = html.find(']', a)
    
12. 
    
13.     print(html[a:b])
    
14. 
    
15. def find_imgs(url):
    
16.     pass
    
17. 
    
18. def save_imgs(folder, img_addrs):
    
19.     pass
    
20. 
    
21. def downloadgirls(folder = 'girls', pages = 10):
    
22.     os.mkdir(folder)
    
23.     os.chdir(folder)
    
24.     url = 'https://jandan.net/ooxx'
    
25.     page_num = int(get_page(url))
    
26. 
    
27.     for i in range(pages):
    
28.         page_num -= i
    
29.         page_url = url + '/page-' + str(page_num) + '#comments'
    
30.         img_addrs = find_imgs(page_url)
    
31.         save_imgs(folder, img_addrs)
    
32. 
    
33. 
    
34. if __name__ == '__main__':
    
35.     downloadgirls()
    

复制代码

解决方法：

游客，如果您要查看本帖隐藏内容请回复

@小甲鱼 @康小泡 @拈花小仙 @冬雪雪冬

wantchpigs

有什么好的解决办法呢

雪缘再续

现在的煎蛋网采用了https协议，而小甲鱼做这个视频时，网站使用的还是http协议，所以会有这种情况，期待小甲鱼出新的视频，这个视频毕竟比较老了

老王他师父

雪缘再续 发表于 2016-12-5 19:32
现在的煎蛋网采用了https协议，而小甲鱼做这个视频时，网站使用的还是http协议，所以会有这种情况，期待小 ...

爬图也爬不了了

day_by_day

我跟着打是能爬到煎蛋的图片的。

老王他师父

day_by_day 发表于 2016-12-6 14:34
我跟着打是能爬到煎蛋的图片的。

现在不能了

Death_Glory

qq1477821088

看看

wanllk

hello

wanllk

爬虫教程是哪一个呢？

忘忧草456789

厉害

忘忧草Allen

厉害

spur

我也现在爬不了了 估计是这么原因:
现在的煎蛋网采用了https协议，而小甲鱼做这个视频时，网站使用的还是http协议，所以会有这种情况，期待小甲鱼出新的视频，这个视频毕竟比较老了

qianlixiaozhuoz

学习学习

Cbinger

有解决办法吗？

supercyt

woainigui888

谢谢楼主分享

lhy5520097

guangwei_cai