Question

用php的file_get_contents和curl函数抓取不到网页内容

在服务器上用file_get_contents抓取不到网页内容，有时候会抓取到
<SCRIPT type=text/javascript charset=UTF-8

src="http://conf.xmp.xunlei.com/vus/js2/vus_utility.js"></SCRIPT>

<SCRIPT type=text/javascript charset=UTF-8

src="http://conf.xmp.xunlei.com/vus/js2/vus_config.js"></SCRIPT>

<SCRIPT type=text/javascript charset=UTF-8

src="http://conf.xmp.xunlei.com/vus/js2/vus_finder.js"></SCRIPT>

<SCRIPT type=text/javascript charset=UTF-8

src="http://conf.xmp.xunlei.com/vus/js2/vus_smallsite.js"></SCRIPT>
在本地测试file_get_contents能抓取到。

请问怎么解决？

Answer 1

检查请求头是否正常

Answer 2

额,半天是curl有时也不行- -没看清楚,你这种问题有可能是服务器访问目标页面超时

追问

都已经抓到这些js了，还能是超时吗

追答

有这个可能, 你可以试试 stream_context_create 和 set_time_limit用法自行百度