鱼C论坛

 找回密码
 立即注册
查看: 1257|回复: 45

[学习笔记] 35 认识Scrapy框架

[复制链接]
最佳答案
17 
发表于 2017-7-1 16:21:29 | 显示全部楼层 |阅读模式

马上注册加入鱼C,享用更多服务吧^_^

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
本帖最后由 和vvv 于 2017-11-20 10:33 编辑
35 认识Scrapy框架

(1)为什么要认识Scrapy框架呢?这就相当于当初我为什么选择学Python语言(简单易懂效果好啊)。说起框架,先简单地说几句吧。


(2)所谓框架(先来一段),是整个或部分系统的可重用设计,表现为一组抽象构件及构件实例间交互的方法;另一种定义认为,框架是可被应用开发者定制的应用骨架。前者是从应用方面而后者是从目的方面给出的定义。不管怎样,框架有这样一个好处:一个框架是一个可复用的设计构件,能够极大程度上地提高效率和速率。


(3)Scrapy是一个使用Python编写的,轻量级的,简单轻巧,并且使用起来非常的方便。就是这样的:

        Scrapy is an application framework for crawling web sites and extracting structured data which can be used for a wide range of useful applications, like data mining, information processing or historical archival.
Even though Scrapy was originally designed for web scraping, it can also be used to extract data using APIs (such as
Amazon Associates Web Services) or as a general purpose web crawler.

这段话的意思就是说Scrapy框架和厉害,不仅仅可以用来爬取数据,进行数据的处理,还能做很多的事。一句话,牛逼!



(4)想当年,我们写的爬虫都是单个单个的文件,毫无组织毫无纪律,因此只能进行一些小动作。而学习了框架之后,你的手下就有了许多服从命令的兵,你的主要作用就是排兵布阵,进行全局的掌控。决胜千里,那些小动作,已不再需要你去做了,已经有更屌的人为你做了。


(5)学习一个框架,不能只重视学习使用,而应学习原理。框架是谁写的呢?人写的。因此,如果有一天出故障了,你怎么办。因此,我认为,学习框架的最高境界就是我自己也写出了一个不错的框架。到那时,想干什么,还不是动动手的事。


我还是这样认为的,教程还是官方文档的好(其他的做辅助)。这是Scrapy官方文档(比较新的版本):


链接:http://pan.baidu.com/s/1kVzFMtx 密码:xte8



评分

参与人数 1鱼币 +4 收起 理由
小甲鱼 + 4

查看全部评分

本帖被以下淘专辑推荐:

最佳答案
1 
发表于 2017-7-1 17:31:45 | 显示全部楼层
为什么呢?
最佳答案
0 
发表于 2017-7-1 17:46:05 From FishC Mobile | 显示全部楼层
看看
最佳答案
2 
发表于 2017-8-1 02:31:19 From FishC Mobile | 显示全部楼层
来看看
最佳答案
0 
发表于 2017-8-1 03:45:29 | 显示全部楼层
学习下
最佳答案
1 
发表于 2017-9-4 19:02:48 | 显示全部楼层
加油
最佳答案
0 
发表于 2017-9-4 19:06:40 | 显示全部楼层
加油
最佳答案
0 
发表于 2017-9-5 10:17:29 | 显示全部楼层
新手学习
最佳答案
0 
发表于 2017-9-5 11:21:53 | 显示全部楼层
我也要学习
最佳答案
2 
发表于 2017-9-5 11:31:04 | 显示全部楼层
learn
最佳答案
0 
发表于 2017-9-5 18:29:22 | 显示全部楼层
看看
最佳答案
0 
发表于 2017-9-12 18:52:02 | 显示全部楼层
666666666666666
最佳答案
0 
发表于 2017-9-19 00:14:33 | 显示全部楼层
为什么呢
最佳答案
0 
发表于 2017-9-20 15:49:58 | 显示全部楼层
看看
最佳答案
4 
发表于 2017-9-26 09:56:22 | 显示全部楼层

为什么呢?
最佳答案
1 
发表于 2017-9-26 10:06:37 | 显示全部楼层
爬虫最帅
最佳答案
5 
发表于 2017-9-26 13:39:31 | 显示全部楼层
回复可见
最佳答案
0 
发表于 2017-9-26 15:07:06 | 显示全部楼层
了解一下
最佳答案
5 
发表于 2017-9-26 16:59:00 | 显示全部楼层
why?
最佳答案
0 
发表于 2017-9-26 22:18:39 | 显示全部楼层
*滑块验证:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

小甲鱼强烈推荐上一条 /1 下一条

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号 )

GMT+8, 2018-7-19 19:58

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表