鱼C论坛

 找回密码
 立即注册
查看: 6347|回复: 44

[学习笔记] [爬虫]记第一次爬虫------百度音乐

[复制链接]
发表于 2018-1-11 15:23:40 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 孤独的嫖客 于 2018-1-11 15:30 编辑

终于开启了爬虫路,然后大致方向是全栈,最后希望能走到机器学习

记个人第一次爬虫,先整理一下爬虫思路:

流程.png


首先,我们写出主函数流程:

   - 输入查询资料
   - 根据资料获取歌曲ID
   - 根据歌曲ID采集歌曲地址
   - 根据歌曲地址采集歌曲


大致代码如图所示:
主函数.png

然后,按照步骤写出各个函数的实现:

根据资料获取歌曲ID实现:
获取songid.png

根据歌曲ID采集歌曲地址:
分析下载地址.png

根据歌曲地址采集歌曲:
采集歌曲.png

目前发现已有BUG:
        因为采集到的歌曲采取的是歌名自动保存,则如果歌名重复,下载的文件会被新的重名文件覆盖,解决思路,歌名命名加入时间戳或者序号,避免文件被重名覆盖.


那么本次爬虫全部代码如上所示,因个人账户用户组只能上传10张图片,网页分析图片与解释则不能完全详细说明,后期有空会录制本次爬虫过程分析与心得
目前已发现自己不足之处:
1.没有学正则表达式,为了匹配希望得到的文本,话费了巨大的时间
2.文件创建 读写 还需加强学习

以上!
源代码如下:
游客,如果您要查看本帖隐藏内容请回复


谢谢大家赏脸


签名档.png

评分

参与人数 1荣誉 +5 鱼币 +5 贡献 +3 收起 理由
小甲鱼 + 5 + 5 + 3 鱼C有你更精彩^_^

查看全部评分

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-1-11 15:56:56 | 显示全部楼层
谢谢
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-1-11 16:09:12 | 显示全部楼层
围观
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-1-11 16:53:09 | 显示全部楼层
哇,我就想问下,能不能分享一下pycharm的配置。。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-1-11 17:23:47 | 显示全部楼层
看看,学习学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-1-11 19:03:51 | 显示全部楼层
谢谢楼主的分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-1-12 10:40:07 | 显示全部楼层
xiexie
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-1-12 20:32:44 | 显示全部楼层
学习一一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-1-12 22:26:42 | 显示全部楼层
学习了 小白还在前进中
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-1-13 16:23:00 | 显示全部楼层
这个 百度 API 是怎么找到的
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-1-13 17:47:55 | 显示全部楼层
mintaka 发表于 2018-1-13 16:23
这个 百度 API 是怎么找到的

获取歌曲ID的API
通过网页调试得知

歌曲ID API.png
得到地址 再传参就行

获取歌曲下载地址的API同理
1.png

嗨呀  还有一张图  用户组限制   传不了啊   好气啊   

总之 网页分析比写爬虫重要  多练吧
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-1-13 19:14:13 | 显示全部楼层
孤独的嫖客 发表于 2018-1-13 17:47
获取歌曲ID的API
通过网页调试得知

get√新姿势
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-1-13 19:35:08 | 显示全部楼层
抱歉再打扰一下,我能找到下载的,可这个。。。http://musicapi.qianqian.com/v1/restserver/tingmethod=baidu.ting.song.play&format=jsonp&callback=jQuery17207018626721275554_1515574223379&_=1515574224279
(无能狂怒)
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-1-13 22:26:06 | 显示全部楼层
mintaka 发表于 2018-1-13 19:35
抱歉再打扰一下,我能找到下载的,可这个。。。http://musicapi.qianqian.com/v1/restserver/tingmethod=ba ...

这个不能直接访问,需要携带data里面的参数 就是songid   两个并在一起才能访问,我今天传不了图了
源码上应该有备注
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-1-14 14:01:06 | 显示全部楼层
孤独的嫖客 发表于 2018-1-13 22:26
这个不能直接访问,需要携带data里面的参数 就是songid   两个并在一起才能访问,我今天传不了图了
源码上 ...

我知道加上参数,我的意思是这个api在哪找到的,我找了好久也没看到
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-1-15 10:59:59 | 显示全部楼层
来学习啦
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-1-15 14:25:32 | 显示全部楼层
感谢,受教了
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-1-15 16:05:09 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-1-15 21:05:04 | 显示全部楼层
能让我看看你的pytharm是怎么配置模块的吗?我不知道你的模块不好弄
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-1-15 23:27:08 | 显示全部楼层
kk
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-3-29 07:13

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表