如何用php 编写网络爬虫?
3个回答
2016-05-04 · 百度知道合伙人官方认证企业
兄弟连教育
兄弟连教育成立于2006年，11年来专注IT职业教育，是国内专业的IT技术培训学校。2016年成功挂牌新三板（股票代码：839467）市值过亿。开设专注程序员培训专注php、Java、UI、云计算、Python、HTML5、
向TA提问
关注
![]()
展开全部
pcntl_fork或者swoole_process实现多进程并发。按照每个网页抓取耗时500ms，开200个进程，可以实现每秒400个页面的抓取。
curl实现页面抓取，设置cookie可以实现模拟登录
simple_html_dom 实现页面的解析和DOM处理
如果想要模拟浏览器，可以使用casperJS。用swoole扩展封装一个服务接口给PHP层调用
在这里有一套爬虫系统就是基于上述技术方案实现的，每天会抓取几千万个页面。
本回答由网友推荐
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
