好吧！我也来放一个妹子图的小爬虫，供各位学习了。

、尾指一勾

刚刚看见有一个妹子图的爬虫，我也把我之前写的一个贴上来：

内容有点多，都有注释，各位小伙伴悠着点看。


下载部分：Download.py

1. import requests
   
2. import re
   
3. import random
   
4. import time
   
5. 
   
6. 
   
7. class download():
   
8. 
   
9.     def __init__(self):
   
10. 
    
11.         self.iplist = []  ##初始化一个list用来存放我们获取到的IP
    
12.         html = requests.get("http://haoip.cc/tiqu.htm")  ##不解释咯
    
13.         iplistn = re.findall(r'r/>(.*?)<b', html.text, re.S)  ##表示从html.text中获取所有r/><b中的内容，re.S的意思是包括匹配包括换行符，findall返回的是个list哦！
    
14.         for ip in iplistn:
    
15.             i = re.sub('\n', '', ip)  ##re.sub 是re模块替换的方法，这儿表示将\n替换为空
    
16.             self.iplist.append(i.strip())  ##添加到我们上面初始化的list里面
    
17. 
    
18.         self.user_agent_list = [
    
19.             "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
    
20.             "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
    
21.             "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
    
22.             "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
    
23.             "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
    
24.             "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
    
25.             "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
    
26.             "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    
27.             "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    
28.             "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    
29.             "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
    
30.             "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
    
31.             "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    
32.             "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    
33.             "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    
34.             "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
    
35.             "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
    
36.             "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
    
37.         ]
    
38. 
    
39.     def get(self, url, timeout, proxy=None, num_retries=6): ##给函数一个默认参数proxy为空
    
40.         UA = random.choice(self.user_agent_list) ##从self.user_agent_list中随机取出一个字符串
    
41.         headers = {'User-Agent': UA}  ##构造成一个完整的User-Agent （UA代表的是上面随机取出来的字符串哦）
    
42. 
    
43.         if proxy == None: ##当代理为空时，不使用代理获取response（别忘了response啥哦！之前说过了！！）
    
44.             try:
    
45.                 return requests.get(url, headers=headers, timeout=timeout)##这样服务器就会以为我们是真的浏览器了
    
46.             except:##如过上面的代码执行报错则执行下面的代码
    
47. 
    
48.                 if num_retries > 0: ##num_retries是我们限定的重试次数
    
49.                     time.sleep(10) ##延迟十秒
    
50.                     print(u'获取网页出错，10S后将获取倒数第：', num_retries, u'次')
    
51.                     return self.get(url, timeout, num_retries-1)  ##调用自身 并将次数减1
    
52.                 else:
    
53.                     print(u'开始使用代理')
    
54.                     time.sleep(10)
    
55.                     IP = ''.join(str(random.choice(self.iplist)).strip()) ##下面有解释哦
    
56.                     proxy = {'http': IP}
    
57.                     return self.get(url, timeout, proxy,) ##代理不为空的时候
    
58. 
    
59.         else: ##当代理不为空
    
60.             try:
    
61.                 IP = ''.join(str(random.choice(self.iplist)).strip()) ##将从self.iplist中获取的字符串处理成我们需要的格式（处理了些什么自己看哦，这是基础呢）
    
62.                 proxy = {'http': IP} ##构造成一个代理
    
63.                 return requests.get(url, headers=headers, proxies=proxy, timeout=timeout) ##使用代理获取response
    
64.             except:
    
65. 
    
66.                 if num_retries > 0:
    
67.                     time.sleep(10)
    
68.                     IP = ''.join(str(random.choice(self.iplist)).strip())
    
69.                     proxy = {'http': IP}
    
70.                     print(u'正在更换代理，10S后将重新获取倒数第', num_retries, u'次')
    
71.                     print(u'当前代理是：', proxy)
    
72.                     return self.get(url, timeout, proxy, num_retries - 1)
    
73.                 else:
    
74.                     print(u'代理也不好使了！取消代理')
    
75.                     return self.get(url, 3)
    
76. 
    
77. request = download()  ##

复制代码

内容提取部分：meizitu.py

1. from bs4 import BeautifulSoup
   
2. import os
   
3. from Download import request ##导入模块变了一下
   
4. from pymongo import MongoClient
   
5. 
   
6. class mzitu():
   
7. 
   
8. 
   
9.     def all_url(self, url):
   
10. 
    
11.         html = request.get(url, 3) ##这儿更改了一下（是不是发现  self 没见了？）
    
12.         all_a = BeautifulSoup(html.text, 'lxml').find('div', class_='all').find_all('a')
    
13.         for a in all_a:
    
14.             title = a.get_text()
    
15.             print(u'开始保存：', title)
    
16.             path = str(title).replace("?", '_')
    
17.             self.mkdir(path)
    
18.             os.chdir("D:\mzitu\"+path)
    
19.             href = a['href']
    
20.             self.html(href)
    
21. 
    
22.     def html(self, href):
    
23.         html = request.get(href, 3)##这儿更改了一下（是不是发现  self 没见了？）
    
24.         max_span = BeautifulSoup(html.text, 'lxml').find_all('span')[10].get_text()
    
25.         for page in range(1, int(max_span) + 1):
    
26.             page_url = href + '/' + str(page)
    
27.             self.img(page_url)
    
28. 
    
29.     def img(self, page_url):
    
30.         img_html = request.get(page_url, 3) ##这儿更改了一下（是不是发现  self 没见了？）
    
31.         img_url = BeautifulSoup(img_html.text, 'lxml').find('div', class_='main-image').find('img')['src']
    
32.         self.save(img_url)
    
33. 
    
34.     def save(self, img_url):
    
35.         name = img_url[-9:-4]
    
36.         print(u'开始保存：', img_url)
    
37.         img = request.get(img_url, 3) ##这儿更改了一下（是不是发现  self 没见了？）
    
38.         f = open(name + '.jpg', 'ab')
    
39.         f.write(img.content)
    
40.         f.close()
    
41. 
    
42.     def mkdir(self, path):
    
43.         path = path.strip()
    
44.         isExists = os.path.exists(os.path.join("D:\mzitu", path))
    
45.         if not isExists:
    
46.             print(u'建了一个名字叫做', path, u'的文件夹！')
    
47.             os.makedirs(os.path.join("D:\mzitu", path))
    
48.             return True
    
49.         else:
    
50.             print(u'名字叫做', path, u'的文件夹已经存在了！')
    
51.             return False
    
52. 
    
53. 
    
54. 
    
55. 
    
56. Mzitu = mzitu() ##实例化
    
57. Mzitu.all_url('http://www.mzitu.com/all') ##给函数all_url传入参数  你可以当作启动爬虫（就是入口）

复制代码

使用方法：新建文件夹--按照给出的名字建立py文件---拷贝代码进去--在文件夹建一个__init__.py文件。像下面这样：




现在想来还有更好的方法写，也难得改了。

具体的教程点我

新手·ing

谢谢大佬

吴嘉

楼主你是不是写过小白学python

、尾指一勾

吴嘉 发表于 2017-2-20 21:03
楼主你是不是写过小白学python

到是有个编辑叫我写  小白学Python 不过没动静 我也就没理他了

五行缺五行

受教了~

jackche0214

可以，还没学到这里来，谢谢楼主

太空军校生

些的不错，学习了。