爬虫——电影港1080p电源种子爬取

mongoole

1.只选取了1080p的页面进行爬虫来的。
2.还请大家看看，有什么需要修进、改正的地方请指出来，大家互相一起提升哈。

1. #coding:utf-8
   
2. 
   
3. import requests
   
4. from lxml import etree
   
5. import re
   
6. import time
   
7. 
   
8. class Dygang:
   
9. 
   
10.     def __init__(self,url):
    
11.         self.url = url
    
12. 
    
13.     def get_response(self):
    
14.         '''获取该网页的内容'''
    
15.         response = requests.get(self.url)
    
16.         response.encoding = 'gbk'
    
17.         self.html = response.text
    
18.         return self.html
    
19.         # print(html)
    
20. 
    
21.     def get_url(self):
    
22.         '''获取页面所有的电源的URL'''
    
23.         self.movie_url = re.findall('<a href="(.+?)" target="_blank" class="classlinkclass">(.+?)</a>',self.html)
    
24.         # print(self.movie_url)
    
25.         return self.movie_url
    
26. 
    
27.     def tgt_url(self):
    
28.         '''获取最终种子链接'''
    
29.         for url,name in self.movie_url:
    
30.             # print(url,name)
    
31.             response = requests.get(url)
    
32.             response.encoding = 'gbk'
    
33.             self.html = response.text
    
34.             selector = etree.HTML(self.html)
    
35.             try:
    
36.                 torret_url = selector.xpath('//*[@id="dede_content"]/table/tbody/tr/td/a/@href')[0]
    
37.             except:
    
38.                 break
    
39.             # print(torret_url)
    
40.             url_dict[name] = torret_url
    
41. 
    
42.     def wirte_tgt(self):
    
43.         '''内容写入'''
    
44.         with open('dygang.txt','a') as file:
    
45.             for key,values in url_dict.items():
    
46.                 file.write(('{0},{1}\n').format(key,values))
    
47.                 # print('%s<----->%s ------>种子已保存完成'%(key,values))
    
48. 
    
49. 
    
50.     def url_start(self):
    
51.         self.get_response()
    
52.         self.get_url()
    
53.         global url_dict
    
54.         url_dict = {}
    
55.         self.tgt_url()
    
56.         # print(url_dict)
    
57.         self.wirte_tgt()
    
58. 
    
59. def main():
    
60.     for i in range(0,180):
    
61.         if i == 1:
    
62.             url = 'http://www.dygang.net/1080p/index.htm'
    
63.         else:
    
64.             url = 'http://www.dygang.net/1080p/index_' + str(i) + '.htm'
    
65.         dygang = Dygang(url)
    
66.         dygang.url_start()
    
67.         time.sleep(5)
    
68.         print('%s <--------------> 已爬取完成' % url)
    
69. 
    
70. if __name__ == '__main__':
    
71.     main()
    
72. 
    
73. 
    

复制代码

溯影

顶，顺便学习一下

mongoole

溯影 发表于 2018-5-10 09:30
顶，顺便学习一下

互相学习