[已解决]为什么我拉取的网页代码找不到.jpg

liu306178205

这是一个截取网页图片的代码，目的是在html中，搜索网页地址然后下载，但是图片地址后缀,jpg找不到
我写好之后，发现前缀可以找到，但是.jpg找不到。于是我专门把网页代码下载下来搜索关键字，‘.jpg’ 发现整个文档都没有。我反复的核对教程感觉没有写的不一样，这是为什么啊
http://jandan.net/ooxx/

1. import urllib.request
   
2. import os
   
3. def dakai(url):
   
4.     req=urllib.request.Request(url)
   
5.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0')
   
6.     response=urllib.request.urlopen(req)
   
7.     html=response.read()
   
8.     return html
   
9. def get_url(url):
   
10.     html=dakai(url).decode('utf-8')
    
11.     a=html.find("current-comment-page")+23
    
12.     b=html.find(']',a,a+50)
    
13.     return html[a:b]
    
14. def  get_imgadd(url):
    
15.     html=dakai(url).decode('utf-8')
    
16.     a=html.find('img src=')
    
17.     img_address=[]
    
18.     while a!=-1:
    
19.         print('找到了a')
    
20.         b=html.find('.jpg',a,a+500)
    
21.         if b!=-1:
    
22.             print('找到了b')
    
23.             img_address.append(html[a+9:b+4])
    
24.         else:
    
25.             print('没找到')
    
26.             b=a+20
    
27.         a=html.find('img src=',b)
    
28.     for i in img_address:
    
29.         print(i)
    
30.     return img_address   
    
31. def save_img(folder,img_ji):
    
32.     for each in img_ji:
    
33. 
    
34.         fliename=each.split('/')[-1]
    
35.         with open(fliename,'wb') as f:
    
36.             img=dakai(each)
    
37.             f.write(img)
    
38. def download_mm(folder='OOXX',page=10):
    
39.     os.mkdir(folder)
    
40.     os.chdir(folder)
    
41. 
    
42. 
    
43.     url='http://jandan.net/ooxx/'
    
44.     get_num=int(get_url(url))
    
45.     for i in range(page):
    
46.         if i==0:
    
47.             get_num-=i
    
48.         else:
    
49.             get_num-=1               
    
50.         address=url+'page-'+str(get_num)+'#comments'
    
51.         img_quan=get_imgadd(address)  #将图片地址存在一个元组里
    
52.         save_img(folder,img_quan)
    
53. if __name__=='__main__':
    
54.     download_mm()

复制代码

最佳答案

月排行榜 / 总排行榜

零度非安全

2018-7-18 09:13:36

煎蛋网图的地址都是同一个地址，地址加了密，通过 JS 渲染出来的，普通方法是获取不到地址，需要对 JS 进行解密操作，楼主可以参考我写的博客

地址：https://fanfanblog.cn/157.html

跳转到最佳答案楼层

零度非安全

煎蛋网图的地址都是同一个地址，地址加了密，通过 JS 渲染出来的，普通方法是获取不到地址，需要对 JS 进行解密操作，楼主可以参考我写的博客

地址：https://fanfanblog.cn/157.html

liu306178205

零度非安全 发表于 2018-7-18 09:13
煎蛋网图的地址都是同一个地址，地址加了密，通过 JS 渲染出来的，普通方法是获取不到地址，需要对 JS 进行 ...

谢谢了大神，就是我还有个地方疑惑，您是如何把js代码翻译成python代码的?

零度非安全

liu306178205 发表于 2018-7-18 18:19
谢谢了大神，就是我还有个地方疑惑，您是如何把js代码翻译成python代码的?

手动翻译