简单、灵活、强年夜的PHP爬虫框架,让采集更简单一点.

• 官方下载地址：https://github.com/owner888/phpspider

• 官方开发文档：http://doc.phpspider.org/

编写PHP网络爬虫, 必要具备以下技能:

1. 爬虫采用PHP编写

2. 从网页中抽取数据必要用XPath

3. 当然我们还可以使用CSS选择器

4. 很多情况下都会用到正则表达式

5. Chrome的开发者工具是神器, 很多AJAX哀求需要用它来分析

注意：本框架只能在命令行下运行,命令行、命令行、命令行,重要的事情说三遍 ^_^

第一个demo

爬虫采纳PHP编写, 下面以糗事百科为例, 来看一下我们的爬虫长什么样子:

$configs = array(

爬虫的整体框架便是这样, 首先定义了一个$configs数组, 里面设置了待爬网站的一些信息, 然后通过调用$spider = new phpspider($configs);和$spider->start();来配置并启动爬虫.

运行界面如下:

$configs对象如何界说, 请查看开发文档.^_^