Question

请教高手，网页数据抓取问题？

在网页中有每天的数据需要抓取，没有导出每天数据的功能。
找了一些抓取工具，有的不能自动登录，有的不能点击示值查询，有的不能记录导出。
请高手指点，谢了。

Answer 1

方法一：直接抓取网页源码
优点：速度快。
缺点：1，正由于速度快，易被服务器端检测，可能会限制当前ip的抓取。对于这点，可以尝试使用ip代码解决。
2，如果你要抓取的数据，是在网页加载完后，js修改了网页元素，无法抓取。
3，遇到抓取一些大型网站，如果需要抓取如登录后的页面，可能需要破解服务器端帐号加密算法以及各种加密算法，及其考验技术性。

适用场景：网页完全静态化，并且你要抓取的数据在网页首次加载完成就加载出来了。涉及登录或者权限操作的类似页面未做任何帐号加密或只做简单加密的。

当然，如果该网页你抓取的数据，是通过接口获得的json,那么，你就更幸福的，直接抓取json页面即可。
对于有登录的页面，我们如何拿到他的登录页之后的源码呢？
首先我要介绍一下，对于session保存帐号信息的情况下，服务器是如何确定该用户身份的。

首先，用户登录成功后，服务器端会将用户的当前会话信息保存到session中，每一个session有一个唯一标志sessionId。则用户访问这个页面，session被创建后，就会接收到服务器端传回的sessionId,并将其保存到cookie中，因此，我们可以用chrome浏览器打开检查项，查看当前页面的jsessionId。下次用户访问需要登录的页面时，用户发送的请求头会附上这个sessionId,服务器端通过这个sessionId就可以确定用户的身份。
这里，我搭建了一个简单的jsp登录页面，登录后的帐号信息保存在服务器端session中。

思路：1，登录。2，登录成功后获得cookie。3,将cookie放到请求头中，向登录页发送请求。
附上java版本的代码及python
java版：

Answer 2

using System;
using System.Collections.Generic;
using System.Linq;
using System.Web;
using System.Web.Mvc;
using System.Collections.Generic;
using System.Text.RegularExpressions;
using System.Text;

using System.Net;

using System.IO;

namespace WebJSON.Controllers
{
public class LibraryController : Controller
{
//
// GET: /Library/

public String Index( )
{
string pageHtml;
String value="";
List<String> a = new List<String>();

try {
WebClient MyWebClient = new WebClient();

MyWebClient.Credentials = CredentialCache.DefaultCredentials;//获取或设置用于向Internet资源的请求进行身份验证的网络凭据

Byte[] pageData = MyWebClient.DownloadData("http://lib.ecust.edu.cn:8081/GATESEAT/LRP.ASPX"); //从指定网站下载数据

// string pageHtml = Encoding.Default.GetString(pageData); //如果获取网站页面采用的是GB2312，则使用这句

pageHtml = Encoding.UTF8.GetString(pageData); //如果获取网站页面采用的是UTF-8，则使用这句

Regex reg = new Regex("\">(.*)</f");

MatchCollection mc = reg.Matches(pageHtml);

foreach (Match match in mc)
{
a.Add(match.Value);
value = value + match.Value;
}
String floor1 = a[2].Remove(0, 36);//1楼人数
floor1 = floor1.Remove(floor1.Length-3,3);
String floor12 = a[3].Remove(0, 36);//1楼剩余座位
floor12 = floor12.Remove(floor12.Length-3,3);
String floor21 = a[5].Remove(0, 36);//2楼人数
floor21 = floor21.Remove(floor21.Length - 3, 3);
String floor22 = a[6].Remove(0, 36);//2楼剩余座位
floor22 = floor22.Remove(floor22.Length - 3, 3);
String floor31 = a[8].Remove(0, 36);//3楼人数
floor31 = floor31.Remove(floor31.Length - 3, 3);
String floor32 = a[9].Remove(0, 36);//3楼剩余座位
floor32 = floor32.Remove(floor32.Length - 3, 3);
String floor41 = a[11].Remove(0, 36);//4楼人数
floor41 = floor41.Remove(floor41.Length - 3, 3);
String floor42 = a[12].Remove(0, 36);//4楼剩余座位
floor42 = floor42.Remove(floor42.Length - 3, 3);
String floor51 = a[14].Remove(0, 36);//5楼人数
floor51 = floor51.Remove(floor51.Length - 3, 3);
String floor52 = a[15].Remove(0, 36);//5楼剩余座位
floor52 = floor52.Remove(floor52.Length - 3, 3);
String floor61 = a[17].Remove(0, 36);//6楼人数
floor61 = floor61.Remove(floor61.Length - 3, 3);
String floor62 = a[18].Remove(0, 36);//6楼剩余座位
floor62 = floor62.Remove(floor62.Length - 3, 3);

return floor41 + floor42 + floor51 + floor52 + floor61 + floor62;
}

catch(WebException webEx) {
return "0";
}

}

}
}