Question

C# Winform内存占用太大，求解

我要读取一个在300M左右的表。将每行内容放到List中
public static List<string> readTXTtoList(string path,bool filterSame) {
FileStream fs = new FileStream(path,FileMode.Open);
StreamReader sr = new StreamReader(fs);
List<string> strList = new List<string>();
if (filterSame)
{
while (!sr.EndOfStream)
{
string tempString = sr.ReadLine().Trim() ;
if (!"".Equals(tempString))
if (!strList.Contains(tempString))
{
strList.Add(tempString);
}
}
}
else
{
while (!sr.EndOfStream)
{
string strTemp = sr.ReadLine().Trim();
if (!"".Equals(strTemp))
strList.Add(strTemp);
}
}
sr.Close();
fs.Close();
return strList;
}
然后将其先是到DataGridView中去，代码是这样的
public DataSet GetDataSource(Hashtable htDataSource)
{
DataSet ds = new DataSet();
DataTable dt = ds.Tables.Add("FilterBlogTable");
//绘制列
dt.Columns.Add("序列", typeof(int));
dt.Columns.Add("域名", typeof(string));
dt.Columns.Add("类型", typeof(string));
int nCount = 1;
DataRow dr = null;
foreach (string domain in htDataSource.Keys) {
dr = dt.Rows.Add();
dr[0] = nCount++;
dr[1] = domain;
}
dt.Dispose();
dt = null;
dr = null;
return ds;
}
请把上面参数中的Hashtable理解成第一个方法返回的List
读取后。用任务管理器查看系统占用内存达到1G左右。
请问应该如何释放资源。
并且使用HttpWebRequest方式向list中的链接页面抓取内容的时候。
会出现内存不足的异常。查看任务管理器时。内存超过6.5G
请问应该如何解决内存释放问题。最好有例子。
提供有效解决方式追加50悬赏分。本人就这么多分了。麻烦各位大神帮忙

Answer 1

抓取的时候直接放到HashTable不好(当然现在都用Dictionary)

内存不足应该是HttpWebRequest这里抓取的代码问题，可以使用异步回调的方式

追问

请问能不能给出异步回调的一些例子呢。对这方面不是很熟悉
由于字数限制只能写出页面抓取的部分代码
request = (HttpWebRequest)WebRequest.Create(strUrl);
sr = new StreamReader(resStream, true);
html = (sr.ReadToEnd());
return html;
只是不知道html这个对象，如何在返回后释放

追答

不是html如何返回后释放，应该是没有关闭Response，参考下

public static string GetHtml(string url, Encoding encoding)
{
string html = string.Empty;
WebRequest request = null;
WebResponse response = null;
try
{
request = WebRequest.Create(url);
request.Credentials = CredentialCache.DefaultCredentials;
request.Timeout = 20000;
response = request.GetResponse();
html = new StreamReader(response.GetResponseStream(), encoding).ReadToEnd();
response.Close();
}
catch (System.UriFormatException uex)
{
//这里记录异常信息
}
catch (System.Net.WebException ex)
{
//这里记录异常信息
}
finally
{
if (response != null)
response.Close();
}
return html;
}

追问

Response关闭并且释放掉了。

追答

再问一个问题，你不会是把把html整个页的内容放到list里面么？从最后你的显示来看，是根本不需要这么多内容的。

追问

没有。我用了一个html的内容后。取出所有的链接然后判断链接的个数和组成方式。判断完成后就设置为null了。最后更改一下dataset的一列内容把链接的个数写进去了

追答

其他代码没看到，不好评价，但猜测是有代码的效率问题

readTXTtoList方法中两段代码逻辑相当雷同，不知道是否可以调整，比如那个filterSame不知道是干什么的；tempString可以放在外面声明，避免循环里面多次创建；如果文件中tempString的重复数量很多，用Dictionary筛选肯定比Contains方法效率高。

追问

filtersame是判断是否过滤重复的行。英语不好哈哈。。只是不想把判断是否过滤的代码写到while又没有特别好的想法。所以代码就冗余了~string的位置确实是写错地方了。但是读一个300m的表也是要占用1G左右的内存。而把这300M表中的链接依次获取一边源代码，并算出总的链接数的时候。内存使用会超过6.5G，获取源代码过程中使用了ThreadPool

追答

获取链接的时候直接放到 Dictionary里面，这样检查重复的效率也高些

Answer 2

可以直接把结果给DataSet，不需要在放入List集合，那样内存肯定不够

追问

DataSet我有用啊。list不用了。改用Hashtable了，因为要把同一个域名的链接分开，所以使用的是hashtable key对应的value是同一个域名的List没有想到更适合的方式。并且我觉得内存使用过多的最根本原因应该出在HttpWebRequest抓取页面以后。页面的内容没有释放掉。但是我的代码中是吧html的代码直接返回了。不知道怎样在返回以后。再把这个对象释放

Answer 3

用DataSet。或者用泛型。不需要强制转换类型。可以作为优化的办法！

Answer 4

static