Question

C#获取网页源代码时候返回404错误，但是浏览器缺可以正常访问该网址，怎么办？

static string GetHtml(string url) { string html = string.Empty; HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url); HttpWebResponse response = (HttpWebResponse)request.GetResponse(); using (StreamReader sr = new StreamReader(response.GetResponseStream())) { html = sr.ReadToEnd(); } return html; }
我是用以上代码获取一个网址的，单程序报404错。遨游，IE都能正常访问。会不会是对方代码有防抓取机制？怎么改代码？

Answer 1

试一试设置请求的类型，有一项设置是什么content-type的，大体意思貌似你请求的是网页的数据还是文件数据，。不行的话有可能是人家网页设置了只允许某些浏览器才能正常加载他/她的网页喇。

Answer 2

把cookie 带上试试 还有UserAgent

追问

给几行代码，行不？

追答

你可以在谷歌浏览器的网络面板里看到,他虽然能显示页面,但是返回的状态是404的

try

            {

                WebClient client = new WebClient();

                client.DownloadData("http://www.babyneo.de/Babymilch--Aptamil-Nestle-Hipp--39/Holle-Bio-Produkte/Holle-Bio-4-Milchnahrung-600g.html");

            }

            catch (WebException ex)

            {

                HttpWebResponse resp = (HttpWebResponse)ex.Response;

                Stream responseStream = resp.GetResponseStream();                

                StreamReader sr = new StreamReader(responseStream, Encoding.UTF8);

                string sReturn = sr.ReadToEnd().Trim();

                resp.Close();

                sr.Close();

                Console.WriteLine(sReturn);

            }

这样就可以获取到html,记得给分

Answer 3

不给网址怎么测试，不过可能原因大体有 useragent判断或cookie判断 可以在请求头上设置一下试试