作者写这个框架的目的是想证明PHP是世界上最好的语言,于是我下载下来看了看,直接证明了我离他的水平还有很长的距离,但这并不妨碍我看他的代码,理解他写这个框架的思路,研究我不擅长的地方。
学习这个框架需要具备以下技能1、必须会PHP,这个是必要条件。2、XPath选择器(从网页中抽取数据)3、理解CSS选择器4、正则表达式5、chrome开发者工具,需要分析ajax请求。
还有一个特别重要的是,本框架只能运行在命令行中。
爬虫主要功能支持模拟登录
支持增量菜椒
支持多任务爬虫
支持多服务器采取
可提前生产列表在采集
学习方法先看看下面的截图,它的框架结构中有个demo文件夹,那么我们就从demo开始,看它的文档,看它的代码。
简单使用在demo中增加一个php文件,写入下面的代码,用命令行执行以下,就可以体验以下它的抓取效果啦
?php
require_once__DIR__./../autoloader.php;
usephpspider\core\phpspider;
usephpspider\core\requests;
/*DoNOTdeletethis