
PHP使用 curl 抓取页面读取不到
代码<?php$url='https://zara.m.tmall.com/';$curl=curl_init();curl_setopt($curl,CURLOPT_U...
代码
<?php
$url = 'https://zara.m.tmall.com/';
$curl = curl_init();
curl_setopt($curl, CURLOPT_URL, $url);
curl_setopt($curl, CURLOPT_HEADER,1);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($curl,CURLOPT_USERAGENT,"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.137 Safari/537.36 LBBROWSER");
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, FALSE); // https请求 不验证证书和hosts
curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, FALSE);
$data = curl_exec($curl);
curl_close($curl);
echo $data;
?>
已经设置了CURLOPT_USERAGENT 但依然获取不到页面数据,浏览器直接访问是可以,这是什么问题呢?求助 展开
<?php
$url = 'https://zara.m.tmall.com/';
$curl = curl_init();
curl_setopt($curl, CURLOPT_URL, $url);
curl_setopt($curl, CURLOPT_HEADER,1);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($curl,CURLOPT_USERAGENT,"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.137 Safari/537.36 LBBROWSER");
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, FALSE); // https请求 不验证证书和hosts
curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, FALSE);
$data = curl_exec($curl);
curl_close($curl);
echo $data;
?>
已经设置了CURLOPT_USERAGENT 但依然获取不到页面数据,浏览器直接访问是可以,这是什么问题呢?求助 展开
1个回答
展开全部
这网页是用javascript获取商品信息,所以商品不会出现在html页面。
用 live http header,你·会看到商品信息取自哪个url
然后$url换成以上新的url就行。
用 live http header,你·会看到商品信息取自哪个url
然后$url换成以上新的url就行。
追问
哦哦,那就是js动态加载的内容curl无法抓取到的吗?
追答
可以的。只要知道javascript执行哪一个url. 用 live http header去查。
或用 phantomJS 也可。
推荐律师服务:
若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询