Scrapy作为一个非常好用的数据爬取框架,以前看过它的一些视频。最近找到了一个电子书的网站, http://mebook.cc/ , 网站内容做的不错,就是布局上每页只有10本书 ,导致分页太多,一页一页翻过去找太麻烦了,心想何不自己写个爬虫来爬一下。粗看了一些它的网页结构,用Wordpress搭建的,网页非常规整,比较容易爬取,于是说干就干,翻开Scrapy的官网教程,实现了爬取并保存书目和下载地址。以下简单总结爬取过程中的体会。
下载安装Scrapy 和Beautifulsoup4
我的爬虫项目里用到了Scrapy和bs4这两个包。安装它们很简单,在PyCharm里创建个新项目(可以使用虚拟环境),然后pip install scrapy和bs4就好了。另外windows环境下还需要安装pip install pywin32,否则scrapy执行时会报错。bs4是一个HTML/XML 分析工具,可以很方便提取出页面内的各种元素。
创建Scrapy项目
在Pycharm的Terminal里输入 scrapy createproject prjName即可。按照教程说明,在spider包里添加自己的爬虫实现文件即可。
原网站每页只显示最多10本,而spider是异步并发的,发出请求后就立即返回。对于我的实例,每个分页的链接只有末尾的数字不同, http://mebook.cc/category/xx/page/n
所以scrapy并发出多个顺序请求后,返回的结果并不是顺序返回,因此返回代码里先把所有返回结果缓存一下,排序后再保存到文件,这样就可以保持原有页面顺序。很感谢网站开发者的分享,但如果能提供个目录索引页就会方便很多了,也就不用我再辛苦去编程爬取了。
几个有用的尝试
1. PyCharm里添加Scrapy调试支持
scrapy项目默认是不支持断点调试的,运行需要使用 scrapy crawl spiderName的方式。而在开发过程中,断点调试还是非常好用的,因此搜索了一下网络,参照 https://blog.csdn.net/u012052268/article/details/72063917 实现了Pycharm里对Scrapy项目的调试支持。
具体做法就是额外创建一个python脚本文件main.py,内容如下,其中books是我的爬虫的名字:
from scrapy import cmdline
cmdline.execute("scrapy crawl books".split())
将上述文件放到爬虫项目目录下(和scrapy.cfg文件同级),然后在PyCharm里的Run ->Edit configuration里添加一个可运行的Python模块就可以了,如下图。名字任意填,脚本路径和工作目录选对即可。调试的时候要点击绿色虫子图标就可以开始调试了。
![](https://zangchuantao.com/wp-content/uploads/2018/12/image-28.png)
2.PyCharm里shell交互式调试
通过上面配置就可以实现断点调试,当程序运行到断点处,就可以使用python shell来进行交互了。PyCharm里这点在界面上做得不是很明显。需要先点击Console tab,然后再点击左下角的Show Python Prompt图标才会出现此交互shell。出现后就可以在shell里执行各种调试命令了,比如打印出某个变量的值,对某个变量进行一些操作等,这点和Matlab的交互式调试非常像。
![](https://zangchuantao.com/wp-content/uploads/2018/12/image-29.png)
3. Unicode 问题
开发过程中,因为书目都是用中文写的,而且有些外国作者名字的First Name和Last Name之间用了个奇怪的点号(不是句号),结果在print和保存到文件的时候就不断报错:UnicodeEncodeError: 'gbk' codec can't encode character: illegal multibyte sequence。上网搜了一下,解决办法比较简单,创建保存文件的时候,加入一个参数encoding='utf-8',
fwriteLog = open(self.logfilename, 'w', encoding='utf-8')
根源是因为Windows创建一个文本文件时不是使用默认的utf-8。至于print函数,也有类似解决办法,因为我不使用,所以没有细究。
几点有用信息
1.彻底理解Python中的yield:https://www.jianshu.com/p/d09778f4e055
2. 有些网页没有使用utf-8,而是使用gb232等,可以在scrapy的parse函数里做如下修改即可,先用gb18030解码后再用utf-8编码,因为后续的bs4里都是用unicode编码:
![](https://zangchuantao.com/wp-content/uploads/2019/01/image.png)
3. 从汉字数字混合字符串里提取出所有数字:数字的形式无非是 [-]n[.][m]的形式,因此采用re进行查找,利用如下规则:
\d 表示 [0-9]的任一个数字;
\.用来匹配小数点符号,不加斜杠就代表匹配除了newline符号外的任意符号;
? 它前面的符号要出现 0或1次,因此我们用来查找负号-和小数点;
+ 表示它前面的符号要出现1到多次,用来查找整数部分;
* 表示它前面的符号要出现0到多次,用来查找小数部分 ;
函数语法是 re.find_all(patten, str) ,因此我们可以运行如下:
re.findall('-?\d+.?\d*', '共200条数据 页次:123/456页,值是-6.789)')
['200', '123', '456', '-6.789']