爬mm图片

chenxz186

            很久没发过帖了，今日要发的帖是爬虫，本人在玩爬虫时对美女的图片特别热衷，所以今天的帖以美女为主题。这里用到的模块是requests, re, os, bs4，发布两个程序，第一个程序以requests, re, os爬取，另一个程序是以requests,bs4, os爬取，两者爬取内容是一样的，主要为了说明不懂得re正则表达式的朋友，不要怕，还可以用bs4的一些功能替代，好了，废话不多说，上代码吧。

第一个程序是以requests, re, os爬取：

1. import requests
   
2. import re
   
3. import os
   
4. 
   
5. 
   
6. def string_split_join(img):
   
7.     '''对每张图片的进行去除斜杠处理'''
   
8.     img_split = (img.split('/uploads/')[1]).split('/', 3)
   
9.     img_join = '-'.join(img_split)
   
10.     return img_join
    
11. 
    
12. 
    
13. def url_open(url):
    
14.     '''将每个url用requests模块打开获取响应'''
    
15.     headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
    
16.                              'Chrome/63.0.3239.132 Safari/537.36 QIHU 360EE'}
    
17.     res = requests.get(url, headers=headers)
    
18.     res.encoding = 'gbk'
    
19.     return res
    
20. 
    
21. 
    
22. def file_func(folder='MM'):
    
23.     '''生成文件夹'''
    
24.     os.mkdir(folder)
    
25.     os.chdir(folder)
    
26.     file = os.getcwd()
    
27.     return file
    
28. 
    
29. 
    
30. def main():
    
31.     # 在http://www.meizitu.com网站中在一定范围内筛选图片，那么就来一个大循环a/1.html到a/6000.html之间
    
32.     min_wide = int(input('请输入你想爬到的范围最小值：'))
    
33.     max_wide = int(input('请输入你想爬到的范围最高值：'))
    
34.     # 生成文件夹
    
35.     file = file_func()
    
36.     filename = file
    
37.     while min_wide <= max_wide:
    
38.         url = 'http://www.meizitu.com/a/%s.html' % str(min_wide)
    
39.         res = url_open(url)
    
40. 
    
41.         p = r'src="([^"]+\.jpg)"'
    
42.         img_addrs = re.findall(p, res.text)
    
43. 
    
44.         print(filename)
    
45.         for each in img_addrs:
    
46.             if '/uploads/' in each:
    
47.                 res_img = url_open(each)
    
48.                 filename += '/' + string_split_join(each)
    
49.                 with open(filename, 'wb') as f:
    
50.                     f.write(res_img.content)
    
51.             filename = file
    
52. 
    
53.         min_wide += 1
    
54. 
    
55. 
    
56. if __name__ == '__main__':
    
57.     main()
    

复制代码

第二个程序是以requests, bs4, os爬取：

1. import requests
   
2. import bs4
   
3. import os
   
4. 
   
5. 
   
6. def download_img(soup, file):
   
7.     """查找图片，并下载下来"""
   
8.     filename = file
   
9.     img_tag = soup.find_all('img')
   
10.     for each in img_tag:
    
11.         if 'limg.jpg' not in each['src'] and 'erweima.jpg' not in each['src']:
    
12.             each_url = each['src']
    
13.             res_img = open_url(each_url)
    
14.             filename += '/' + string_split_join(each_url)
    
15.             with open(filename, 'wb') as f:
    
16.                 f.write(res_img.content)
    
17.         filename = file
    
18. 
    
19. 
    
20. def string_split_join(img):
    
21.     """对每张图片的进行去除斜杠处理"""
    
22.     img_split = (img.split('/uploads/')[1]).split('/', 3)
    
23.     img_join = '-'.join(img_split)
    
24.     return img_join
    
25. 
    
26. 
    
27. def cooking_soup(res):
    
28.     """将响应的网页用bs4内的BeautifulSoup渲染一趟，我在此将函数命名为cooking_soup，意为煮汤，哈哈"""
    
29.     soup = bs4.BeautifulSoup(res.text, 'html.parser')
    
30.     return soup
    
31. 
    
32. 
    
33. def open_url(url):
    
34.     """将每个url用requests模块打开获取响应"""
    
35.     headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
    
36.                              'Chrome/63.0.3239.132 Safari/537.36 QIHU 360EE'}
    
37.     res = requests.get(url, headers=headers)
    
38.     res.encoding = 'gbk'
    
39.     return res
    
40. 
    
41. 
    
42. def file_func(folder='MM'):
    
43.     """生成文件夹"""
    
44.     os.mkdir(folder)
    
45.     os.chdir(folder)
    
46.     file = os.getcwd()
    
47.     return file
    
48. 
    
49. 
    
50. def main():
    
51.     # 在http://www.meizitu.com网站中在一定范围内筛选图片，那么就来一个大循环a/1.html到a/6000.html之间
    
52.     min_wide = int(input('请输入你想爬到的范围最小值：'))
    
53.     max_wide = int(input('请输入你想爬到的范围最高值：'))
    
54.     file = file_func()
    
55.     while min_wide <= max_wide:
    
56.         url = 'http://www.meizitu.com/a/%s.html' % str(min_wide)
    
57.         res = open_url(url)
    
58.         if res.status_code == 200:
    
59.             soup = cooking_soup(res)
    
60.             download_img(soup, file)
    
61.         else:
    
62.             print('%s不能正常响应，或许不存在此网' % url)
    
63.         min_wide += 1
    
64. 
    
65. 
    
66. if __name__ == '__main__':
    
67.     main()
    

复制代码

        这两个程序的目的是一样的，就是代码改变了一下以及用的模块有些不同，不过两个程序，还可以再改善得更好些，我没有花精力在上面，毕竟小程序，随手编来玩玩而已，以后会发更多自己认为更完美的程序上来。如果我花精力改善以上两个程序，我又会沉入不断改程序的死循环的旧毛病中，在我内心深处一直认为自己编的任何程序总感觉不够完美，要不断改善，我曾试过将一个小小的金融期权保证金计算器修改了几十遍，竟然出现了20多个版本，其实任何一个版本都满足我的需求的，但就是觉得它不完美，达不到心中所需，在我心中，它们依然是次品。在此，希望观看过此文的朋友们会帮忙改善下，将你们不同的版本发在评论内，彼此交流学习下。

（代码除了上面显示的外，我也另打包放上去了，有兴趣的朋友下来看看，顺便帮忙改造下。）