[已解决]多线程问题求助

罗同学

前几天写了一个爬某网站图片的爬虫、但是一个个页面的保存太慢了、今天正巧看书写道了多线程，想用多线程并发改写一下。之前一个个页面爬的时候可以使用os（下文第6、7、20行代码）命令保存到网页名对应的文件夹下，但是多线程并发调用下面的save函数的话，多个线程都是使用同一个工作目录。导致无法保存到对应的文件夹下、请问论坛大神有没有什么方法可以解决呢

1. def save(url):  # 传入每个子网页链接
   
2.     res = url_open(url)
   
3.     res.encoding = 'gbk'
   
4.     soup = bs(res.text, 'lxml')
   
5.     title = soup.find('title').text.split('-')[0]  # 标题
   
6.     os.mkdir(title)
   
7.     os.chdir(title)
   
8.     temp = soup.find_all('tr', class_='tr3')
   
9.     img = re.findall(r'data-src="(.*?jpg)" type', str(temp))
   
10.     imglist = []
    
11. 
    
12.     for each in img:
    
13.         imglist.append(each)
    
14.     for each in imglist:
    
15.         filename = each.split('/')[-1]
    
16.         img = url_open(each)
    
17.         print('saving...+%s'%filename)
    
18.         with open(filename, 'wb')as f:
    
19.             f.write(img.content)
    
20.     os.chdir('..')

复制代码

最佳答案

月排行榜 / 总排行榜

Python_str

2018-7-21 12:00:05

不知道你其他代码是什么样的  你可以用队列来多线程之间通讯的思路来实现
就这这么模块queue的Queue   

跳转到最佳答案楼层

Python_str

不知道你其他代码是什么样的  你可以用队列来多线程之间通讯的思路来实现
就这这么模块queue的Queue