[已解决]爬虫爬彼岸图网高清壁纸 有机会吗？？？

a1296715528

最近找到个高清壁纸网：彼岸图网，  但是每天只能下一张图片，很僵硬   想利用爬虫爬一下，但是技术有限  我爬不出4k高清壁纸原图，所以来此请教各位大佬   

最佳答案

月排行榜 / 总排行榜

罗同学

2018-7-14 19:17:08

这个可以爬，你说的每天只能爬一张，我开始也遇到了这个问题，开始用beautifulsoup提取图片链接，怎么试都只能提取到第一个，后来用正则表达就可以提取整个网页的图片连接，这个代码的主函数没有修改，只能爬第一页的，因为第一页的地址和后面的规律不一样，楼主可以自己修改一下爬后面的页面的

1. import re
   
2. import requests
   
3. from bs4 import BeautifulSoup as bs
   
4. import os
   
5. 
   
6. 
   
7. def url_open(url):
   
8.     headers = {
   
9.         'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER'}
   
10.     res = requests.get(url, headers=headers)
    
11.     return res
    
12. 
    
13. 
    
14. def findlinks(res):
    
15.     soup = bs(res.text, 'lxml')
    
16.     target = soup.find_all('ul', class_="clearfix")
    
17.     list = re.findall(r'href="(.*?\.html)"', str(target))
    
18.     return list
    
19. 
    
20. 
    
21. def find_img(list):
    
22.     urlhead = 'http://pic.netbian.com'
    
23.     img = []
    
24.     for each in list:
    
25.         img.append(urlhead + each)
    
26.     return img
    
27. 
    
28. 
    
29. def save_img(img):
    
30.     urlhead = 'http://pic.netbian.com'
    
31.     for each in img:
    
32.         res = url_open(each)
    
33.         soup = bs(res.content, 'lxml')
    
34.         link = re.findall(r'src="(/.*\.jpg)"', str(soup))
    
35.         url = urlhead + link[0]
    
36.         filename = url.split('/')[-1].replace('.html', '')
    
37.         img = url_open(url)
    
38.         with open(filename, 'wb') as f:
    
39.             f.write(img.content)
    
40. 
    
41. 
    
42. if __name__ == '__main__':
    
43.     # os.mkdir('彼岸图')
    
44.     os.chdir('彼岸图')
    
45.     url = 'http://pic.netbian.com/4kyingshi/index.html'
    
46.     res = url_open(url)
    
47.     list = findlinks(res)
    
48.     img = find_img(list)
    
49.     save_img(img)
    

复制代码

彼岸图.zip (826 Bytes, 下载次数: 13)

2018-7-14 19:14 上传

点击文件名下载附件

跳转到最佳答案楼层

罗同学

这个可以爬，你说的每天只能爬一张，我开始也遇到了这个问题，开始用beautifulsoup提取图片链接，怎么试都只能提取到第一个，后来用正则表达就可以提取整个网页的图片连接，这个代码的主函数没有修改，只能爬第一页的，因为第一页的地址和后面的规律不一样，楼主可以自己修改一下爬后面的页面的

1. import re
   
2. import requests
   
3. from bs4 import BeautifulSoup as bs
   
4. import os
   
5. 
   
6. 
   
7. def url_open(url):
   
8.     headers = {
   
9.         'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER'}
   
10.     res = requests.get(url, headers=headers)
    
11.     return res
    
12. 
    
13. 
    
14. def findlinks(res):
    
15.     soup = bs(res.text, 'lxml')
    
16.     target = soup.find_all('ul', class_="clearfix")
    
17.     list = re.findall(r'href="(.*?\.html)"', str(target))
    
18.     return list
    
19. 
    
20. 
    
21. def find_img(list):
    
22.     urlhead = 'http://pic.netbian.com'
    
23.     img = []
    
24.     for each in list:
    
25.         img.append(urlhead + each)
    
26.     return img
    
27. 
    
28. 
    
29. def save_img(img):
    
30.     urlhead = 'http://pic.netbian.com'
    
31.     for each in img:
    
32.         res = url_open(each)
    
33.         soup = bs(res.content, 'lxml')
    
34.         link = re.findall(r'src="(/.*\.jpg)"', str(soup))
    
35.         url = urlhead + link[0]
    
36.         filename = url.split('/')[-1].replace('.html', '')
    
37.         img = url_open(url)
    
38.         with open(filename, 'wb') as f:
    
39.             f.write(img.content)
    
40. 
    
41. 
    
42. if __name__ == '__main__':
    
43.     # os.mkdir('彼岸图')
    
44.     os.chdir('彼岸图')
    
45.     url = 'http://pic.netbian.com/4kyingshi/index.html'
    
46.     res = url_open(url)
    
47.     list = findlinks(res)
    
48.     img = find_img(list)
    
49.     save_img(img)
    

复制代码

彼岸图.zip (826 Bytes, 下载次数: 13)

2018-7-14 19:14 上传

点击文件名下载附件

罗同学

另外没有登陆，不喜欢用QQ去登陆这些奇奇怪怪的网站，不知道是不是登陆后有更高清的图、爬到的都是1000多分辨率的，登陆的话楼主自己摸索一下

效果图

a1296715528

罗同学 发表于 2018-7-14 19:19
另外没有登陆，不喜欢用QQ去登陆这些奇奇怪怪的网站，不知道是不是登陆后有更高清的图、爬到的都是1000多分 ...

首先非常感谢您在百忙之中为我解答
您的代码我看了    相当OK
当然 如果只是对于1000多分辨率的来说
但是我想爬的是4K图片   但是我又找不到图片源头    可能是在对面服务器里面
看图就明了了

但是还是非常谢谢您的代码！

新人

你这个要求 有点难啊  首先你得有个无限制下载图片得会员 少年

罗同学

新人 发表于 2018-7-16 17:22
你这个要求 有点难啊  首先你得有个无限制下载图片得会员 少年

是的呢、研究了一下、可以爬出来图片里的下载链接，但是还是需要会员账户，只有链接不登陆也没有用。

a1296715528

罗同学 发表于 2018-7-17 18:46
是的呢、研究了一下、可以爬出来图片你的下载链接，但是还是需要会员账户，只有链接不登陆也没有用。

ummm  对  是我错了    抱歉  

blUesstyle

requests 和bs4 module都没有呀是什么情况

a1296715528

blUesstyle 发表于 2018-7-17 22:05
requests 和bs4 module都没有呀是什么情况

这个是要额外安装的   requests模块和BeautifulSoup模块   你可以上网搜一下教程