[已解决]爬虫55课，获取网页链接出错的问题

小小小小的鱼丶

题目要求

1. 源码如下:
   
2. import urllib.request
   
3. import urllib.parse
   
4. import re
   
5. from bs4 import BeautifulSoup
   
6. 
   
7. def main():
   
8.     keyword = input("请输入关键词：")
   
9.     keyword = urllib.parse.urlencode({"word":keyword})
   
10.     response = urllib.request.urlopen("http://baike.baidu.com/search/word?%s" % keyword)
    
11.     html = response.read()
    
12.     soup = BeautifulSoup(html, "html.parser")
    
13. 
    
14.     for each in soup.find_all(href=re.compile("view")):
    
15.         content = ''.join([each.text])
    
16.         url2 = ''.join(["http://baike.baidu.com", each["href"]])
    
17.         response2 = urllib.request.urlopen(url2)
    
18.         html2 = response2.read()
    
19.         soup2 = BeautifulSoup(html2, "html.parser")
    
20.         if soup2.h2:
    
21.             content = ''.join([content, soup2.h2.text])
    
22.         content = ''.join([content, " -> ", url2])
    
23.         print(content)
    
24. 
    
25. if __name__ == "__main__":
    
26.     main()

复制代码

1. 这一段有问题，请问应该怎么改
   
2. url2 = ''.join(["http://baike.baidu.com", each["href"]])
   
3.         response2 = urllib.request.urlopen(url2)
   
4.         html2 = response2.read()
   
5. UnicodeEncodeError: 'ascii' codec can't encode characters in position 36-39: ordinal not in range(128)

复制代码

最佳答案

月排行榜 / 总排行榜

零度非安全

2018-7-22 13:01:31

我写的代码如下：

1. import urllib.request
   
2. import re
   
3. import time
   
4. import urllib.parse
   
5. 
   
6. headers = {
   
7.     'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
   
8. }
   
9. 
   
10. def getKeyUrl(key_word):
    
11.     init_url = 'https://baike.baidu.com/search?word=' + key_word
    
12.     req = urllib.request.Request(init_url, headers=headers)
    
13.     key_text = urllib.request.urlopen(req)
    
14.     key_html = re.findall(r'<a class="result-title" href="(.*?)"', key_text.read().decode('utf-8'), re.S)
    
15.     return key_html[0]
    
16. 
    
17. def getAllKeyUrl(key_url):
    
18.     req = urllib.request.Request(key_url, headers=headers)
    
19.     key_text = urllib.request.urlopen(req)
    
20.     key_url_list = re.findall(r'href="/item/(.*?)"', key_text.read().decode('utf-8'), re.S)
    
21.     return key_url_list
    
22. 
    
23. def getMainTitle(key_url_list):
    
24.     for title in key_url_list:
    
25.         url = 'https://baike.baidu.com/item/' + title
    
26.         req = urllib.request.Request(url, headers=headers)
    
27.         key_text = urllib.request.urlopen(req)
    
28.         main_title_list = re.findall(r'<h1\s>(.*?)</h1>', key_text.read().decode('utf-8'), re.S)
    
29.         copy_title_list = getCopyTitle(url)
    
30.         if copy_title_list:
    
31.             print(main_title_list[0] + copy_title_list[0] + ' -> ' + url)
    
32.         else:
    
33.             print(main_title_list[0] + ' -> ' + url)
    
34.         time.sleep(1)
    
35. 
    
36. def getCopyTitle(url):
    
37.     req = urllib.request.Request(url, headers=headers)
    
38.     key_text = urllib.request.urlopen(req)
    
39.     copy_title_list = re.findall(r'<h2>(.*?)</h2>', key_text.read().decode('utf-8'), re.S)
    
40.     return copy_title_list
    
41. 
    
42. if __name__ == '__main__':
    
43.     key_word = input('请输入你要查询的百度百科关键词：')
    
44.     # 楼主可以把urllib.parse.quote(key_word)换成key_word，也就是不加quote方法，你就知道了
    
45.     key_url = getKeyUrl(urllib.parse.quote(key_word))
    
46.     key_url_list = getAllKeyUrl(key_url)
    
47.     getMainTitle(key_url_list)
    

复制代码

运行后结果为：

注意上述我给你注释的部分～～～～～～～～～

跳转到最佳答案楼层

小小小小的鱼丶

额，已经发现问题了。因为爬取百度百科得到的第一个each["href"]]和第二个each["href"]]为：/wikicategory/view?categoryName=多肉植物和/wikicategory/view?categoryName=恐龙大全，后面有中文，去urlopen的时候会出错，可以直接try掉。。可能是百度的反爬机制吧。。暂时没有想到更好的解决办法，有大神看到可以解决下。。

BoomBoomBo

我的也是，等一下解决方案。试了在几个地方更改编码方案，还是不管用。。

零度非安全

我写的代码如下：

1. import urllib.request
   
2. import re
   
3. import time
   
4. import urllib.parse
   
5. 
   
6. headers = {
   
7.     'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
   
8. }
   
9. 
   
10. def getKeyUrl(key_word):
    
11.     init_url = 'https://baike.baidu.com/search?word=' + key_word
    
12.     req = urllib.request.Request(init_url, headers=headers)
    
13.     key_text = urllib.request.urlopen(req)
    
14.     key_html = re.findall(r'<a class="result-title" href="(.*?)"', key_text.read().decode('utf-8'), re.S)
    
15.     return key_html[0]
    
16. 
    
17. def getAllKeyUrl(key_url):
    
18.     req = urllib.request.Request(key_url, headers=headers)
    
19.     key_text = urllib.request.urlopen(req)
    
20.     key_url_list = re.findall(r'href="/item/(.*?)"', key_text.read().decode('utf-8'), re.S)
    
21.     return key_url_list
    
22. 
    
23. def getMainTitle(key_url_list):
    
24.     for title in key_url_list:
    
25.         url = 'https://baike.baidu.com/item/' + title
    
26.         req = urllib.request.Request(url, headers=headers)
    
27.         key_text = urllib.request.urlopen(req)
    
28.         main_title_list = re.findall(r'<h1\s>(.*?)</h1>', key_text.read().decode('utf-8'), re.S)
    
29.         copy_title_list = getCopyTitle(url)
    
30.         if copy_title_list:
    
31.             print(main_title_list[0] + copy_title_list[0] + ' -> ' + url)
    
32.         else:
    
33.             print(main_title_list[0] + ' -> ' + url)
    
34.         time.sleep(1)
    
35. 
    
36. def getCopyTitle(url):
    
37.     req = urllib.request.Request(url, headers=headers)
    
38.     key_text = urllib.request.urlopen(req)
    
39.     copy_title_list = re.findall(r'<h2>(.*?)</h2>', key_text.read().decode('utf-8'), re.S)
    
40.     return copy_title_list
    
41. 
    
42. if __name__ == '__main__':
    
43.     key_word = input('请输入你要查询的百度百科关键词：')
    
44.     # 楼主可以把urllib.parse.quote(key_word)换成key_word，也就是不加quote方法，你就知道了
    
45.     key_url = getKeyUrl(urllib.parse.quote(key_word))
    
46.     key_url_list = getAllKeyUrl(key_url)
    
47.     getMainTitle(key_url_list)
    

复制代码

运行后结果为：

注意上述我给你注释的部分～～～～～～～～～

小小小小的鱼丶

零度非安全 发表于 2018-7-22 13:01
我写的代码如下：
运行后结果为：

谢谢谢谢，先mark一下，随后看。