鱼C论坛

 找回密码
 立即注册
查看: 2096|回复: 5

[已解决]请高手帮忙将python v2.7 爬虫程序 修改成 v3.6

[复制链接]
发表于 2017-12-24 10:32:17 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
从网络上找到一段爬虫代码,这个代码在v2.7的版本下可以完美运行,并且也可以获得我想要的数据,但是为了今后考虑,想将本段代码适配到v3.6这个版本下运行。
本人算是一个小白,目前还有多关于python的基础知识都不了解(但是我会努力),希望在不断遇到问题的过程中学习,鱼塘大神帮忙,再次感谢!

附上源代码:

from urllib import urlretrieve
f = open('SHA-1.csv','r')

for line in f:
    data = line.split(',')

    stock_no = '0' + data[0].strip()
    start_date = data[1].strip()
    stock_name = data[2].strip()

    url='这里是链接地址,我删除'
   
    filename=stock_no+'.csv'
    print url
    urlretrieve(url,filename)



报错提示:不修改任何代码,运行在v3.6环境下
1、提示 print url 错误,描述:SyntaxError: Missing parentheses in call to 'print'. Did you mean print(int url)?

将 print url 注释了,在代码前面加上 ##print url,再次运行,报错位置变了。

2、报错提示:
     from urllib import urlretrieve
     ImportError: cannot import name 'urlretrieve'


这下,我就蒙了,不知道怎么处理这个问题!请求大家帮忙!再次感谢!
最佳答案
2017-12-24 17:47:56
  1. from urllib.request import urlretrieve
  2. f = open('SHA-1.csv','r')

  3. for line in f:
  4.     data = line.split(',')

  5.     stock_no = '0' + data[0].strip()
  6.     start_date = data[1].strip()
  7.     stock_name = data[2].strip()

  8.     url='这里是链接地址,我删除'
  9.    
  10.     filename=stock_no+'.csv'
  11.     print(url)
  12.     urlretrieve(url,filename)
复制代码
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-12-24 10:54:39 From FishC Mobile | 显示全部楼层
print(url)
3x中爬虫的模块进行了整理,百度一下你需要的模块怎么导入
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-12-24 12:28:41 | 显示全部楼层
1.写成 print(url)
2.改成 from urllib.request import urlretrieve.
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 1 反对 0

使用道具 举报

发表于 2017-12-24 17:47:56 | 显示全部楼层    本楼为最佳答案   
  1. from urllib.request import urlretrieve
  2. f = open('SHA-1.csv','r')

  3. for line in f:
  4.     data = line.split(',')

  5.     stock_no = '0' + data[0].strip()
  6.     start_date = data[1].strip()
  7.     stock_name = data[2].strip()

  8.     url='这里是链接地址,我删除'
  9.    
  10.     filename=stock_no+'.csv'
  11.     print(url)
  12.     urlretrieve(url,filename)
复制代码
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2017-12-24 19:37:00 | 显示全部楼层
°蓝鲤歌蓝 发表于 2017-12-24 12:28
1.写成 print(url)
2.改成 from urllib.request import urlretrieve.

非常感谢你的回复,你给的解决问题的方法是对的,也是第一个完整回答的!
为了以后别人查询,我将最佳答案给楼下的兄弟,因为他将这个问题整理成了程序形式的回答。再次的感谢!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2017-12-24 19:38:57 | 显示全部楼层

谢谢你的整理,在修改完后,我又遇到了另一个问题,这个问题是数据源的问题,也就是 SHA-1.csv 文件中的有一列 data[2]这列中文代码的问题。回头我在发一个求助贴!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-4-20 11:52

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表