Question

php 实现网络爬虫

我们要求做一个网站（查询红酒的价格） php的 然后动态从别的网站上提取红酒 的价格 提取到我们做的这个网站 然后查询 类似于网络爬虫的意思 这个怎么实现啊 ？请留下qq号 方便我们联系 麻烦了

Answer 1

1. pcntl_fork或者swoole_process实现多进程并发。按照每个网页抓取耗时500ms，开200个进程，可以实现每秒400个页面的抓取。

2. curl实现页面抓取，设置cookie可以实现模拟登录

3. simple_html_dom 实现页面的解析和DOM处理

4. 如果想要模拟浏览器，可以使用casperJS。用swoole扩展封装一个服务接口给PHP层调用

　　在这里有一套爬虫系统就是基于上述技术方案实现的，每天会抓取几千万个页面。

Answer 2

$url = http://www.abc.com/;
$contents = file_get_contents($url);
//如果出现中文乱码使用下面代码
//$getcontent = iconv(”gb2312〃, “utf-8〃,file_get_contents($url));
//echo $getcontent;
echo $contents;

然后在从字符串中找到你要的

追问

哥们 你能留个qq号吗 我想问你点问题

追答

对了，先给下分吧。

Answer 3

如果页面太大就不能使用file_get_contents,要使用curl先把这个页面的信息得到,然后根据红酒价格的特征标签把价格提取出来,用preg_match_all,strpos就可以.有问题你直接问我,我给你详细解答.
QQ:1024091477

Answer 4

我看到了这个问题，但我不会做。百度里面不能随便贴Q，不然我把我朋友的Q告诉你，他是专做网站的。你可以加我，说明做网站的。然后我在把朋友的号告诉你，你去咨询他。他可以帮你把网站弄到百度和谷歌搜索的首页。