[已解决]关于beautifulsoup的问题

新手·ing

网址：http://www.tfls.cn/html/students/union/

我想爬取

图片中的链接

因为新手比较渣，，所以失败了

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. doc = requests.get('http://www.tfls.cn/html/students/union/').content
   
5. soup = BeautifulSoup(doc, 'html.parser')
   
6. for link in soup.find_all('a'):
   
7.     print(link.get('href'))
   

复制代码

这样爬出来的会有多余的，我不想要的，，
求改正

最佳答案

月排行榜 / 总排行榜

ButcherRabbit

2017-9-8 23:37:43

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. doc = requests.get('http://www.tfls.cn/html/students/union/').content
   
5. soup = BeautifulSoup(doc,'html.parser')
   
6. for link in soup.find_all(valign="middle"):
   
7.     for link1 in link.find_all('a'):
   
8.         print('http://www.tfls.cn' + link1.get('href'))

复制代码

http://cuiqingcai.com/1319.html
先用keyword 参数筛选一遍。

跳转到最佳答案楼层

ButcherRabbit

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. doc = requests.get('http://www.tfls.cn/html/students/union/').content
   
5. soup = BeautifulSoup(doc,'html.parser')
   
6. for link in soup.find_all(valign="middle"):
   
7.     for link1 in link.find_all('a'):
   
8.         print('http://www.tfls.cn' + link1.get('href'))

复制代码

http://cuiqingcai.com/1319.html
先用keyword 参数筛选一遍。

新手·ing

ButcherRabbit 发表于 2017-9-8 23:37
http://cuiqingcai.com/1319.html
先用keyword 参数筛选一遍。

1. import requests, re
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. doc = requests.get('http://www.tfls.cn/html/students/union/').content
   
5. soup = BeautifulSoup(doc, 'html.parser')
   
6. for link in soup.find_all('a', href = re.compile('/html/students/union/[0-9]{4}.html')):
   
7.     url = 'http://www.tfls.cn' + link.get('href')
   
8.     print(url)
   

复制代码

效率更高哎