Question

C#读取大容量Txt文件的问题

我用分页方式读取一个10M的Txt文件（共约140万条记录），结果出来只有142条记录，代码如下：
private void button1_Click(object sender, EventArgs e)
{
int i = 0;
//线程每次读取文件100K
const long ChunkSize = 102400;
//清理非托管不受GC控制的资源,using结束后会隐式的调用Disposable方法
using (OpenFileDialog fbd = new OpenFileDialog())
{
fbd.Filter = "文本文件|*.txt";
if (fbd.ShowDialog(this) == DialogResult.OK)
{
byte[] bytcontent = new byte[ChunkSize];
FileStream fs = new FileStream(fbd.FileName, FileMode.Open);
//获取文件总大小
long dataLengthToRead = fs.Length;

while (dataLengthToRead > 0)
{
//读取的大小
int lengthRead = fs.Read(bytcontent, 0, Convert.ToInt32(ChunkSize));
Thread t = new Thread(new ParameterizedThreadStart(Readfile));
t.Start(System.Text.Encoding.Default.GetString(bytcontent));
dataLengthToRead -= lengthRead;
i++;
}
}

}
this.label4.Text = "共有："+i.ToString()+"条记录！";
}
超出最大字符数 ，分两次发
public delegate void Callback(string str);
private void Readfile(object content)
{
if (richTextBox1.InvokeRequired)
{
Callback call = new Callback(Readfile);
this.BeginInvoke(call, new object[] { content });
}
else
{
this.richTextBox1.AppendText(content.ToString());
this.richTextBox1.AppendText("\r\n");
}
}

Answer 1

你这代码有几个问题：

首先，你这记录论“条”，实际的条数只是总字节数除ChunkSize的值，个人建议你这要是计数的是行数就更好了，这可以用StreamReader.ReadLine实现，如果你的文件10M，文件大小就是10*1024*1024，你的ChunkSize是102400，记录数自然是10*1024*1024/102400=102.4，你这142条记录应该有10M多一些，没什么不对的

其次，多线程输出到RichTextBox显然画蛇添足，反而会导致RichTextBox中的内容顺序跟文件可能不一致，因为开启多线程之后顺序是不一定的

第三，多线程开销是很大的，你这短时间内while循环那么多次就开启了大量的多线程，每个线程就给RichTextBox赋值这太浪费了

至于性能问题，跟其他几位说的一样，瓶颈在磁盘读写，你这多线程处理RichTextBox没什么意义

            const long ChunkSize = 102400;
            byte[] bytcontent = new byte[ChunkSize];
            FileStream fs = new FileStream(@"C:\unintall.log", FileMode.Open);
            int i = 0;
            while (fs.Read(bytcontent, 0, bytcontent.Length) > 0)
            {
                i++;
                Console.Write(System.Text.Encoding.Default.GetString(bytcontent));
            }
            Console.WriteLine("共有：" + i + "条记录！");

下面是ReadLine的

            using (StreamReader sr = new StreamReader(@"C:\unintall.log", System.Text.Encoding.Default))
            {
                while (sr.Peek() >= 0)
                {
                    Console.WriteLine(sr.ReadLine());
                }
            }

参考

https://msdn.microsoft.com/zh-cn/library/system.io.streamreader.readline.aspx

Answer 2

晕了。你这句
this.label4.Text = "共有："+i.ToString()+"条记录！";

这个i只是你循环次数，怎么是记录数呢。

还有你多线程，如果没出问题也只能因为你的磁盘速慢，导致读取速度跟不上线程速度，否则显示的数据一定是乱的。

追问

是的，this.label4.Text = "共有："+i.ToString()+"条记录！";这句应该写成this.label4.Text = "共有："+this.richTextBox2.Lines.Length.ToString()+"条记录！"。

至于你说的线程读取数据是乱的，还有没有其它的方法？StreamReader可以吗？

追答

按你的功能，不需要多线程，
直接 this.richTextBox1.AppendText，在后面再加一句Application.DoEvents();就不会卡界面

Answer 3

FileStream常用的属性和方法：
　　属性：
　　CanRead 判断当前流是否支持读取，返回bool值，True表示可以读取
　　CanWrite 判断当前流是否支持写入，返回bool值，True表示可以写入
　　方法：
　　Read() 从流中读取数据，返回字节数组
　　Write() 将字节块(字节数组)写入该流
　　Seek() 设置文件读取或写入的起始位置
　　Flush() 清除该流缓冲区，使得所有缓冲的数据都被写入到文件中
　　Close() 关闭当前流并释放与之相关联的所有系统资源
　　文件的访问方式：(FileAccess)
　　包括三个枚举：
　　FileAccess.Read(对文件读访问)
　　FileAccess.Write(对文件进行写操作)
　　FileAccess.ReadWrite(对文件读或写操作)
　　文件打开模式：(FileMode)包括6个枚举
　　FileMode.Append 打开现有文件准备向文件追加数据，只能同FileAccess.Write一起使用
　　FileMode.Create 指示操作系统应创建新文件，如果文件已经存在，它将被覆盖
　　FileMode.CreateNew 指示操作系统应创建新文件，如果文件已经存在，将引发异常
　　FileMode.Open 指示操作系统应打开现有文件，打开的能力取决于FileAccess所指定的值
　　FileMode.OpenOrCreate 指示操作系统应打开文件，如果文件不存在则创建新文件
　　FileMode.Truncate 指示操作系统应打开现有文件，并且清空文件内容
　　文件共享方式：(FileShare)
　　FileShare方式是为了避免几个程序同时访问同一个文件会造成异常的情况。
　　文件共享方式包括四个：
　　FileShare.None 谢绝共享当前文件
　　FileShare.Read 充许别的程序读取当前文件
　　FileShare.Write 充许别的程序写当前文件
　　FileShare.ReadWrite 充许别的程序读写当前文件
　　使用FileStream类创建文件流对象：
　　FileStream(String 文件路径，FileMode 文件打开模式)
　　FileStream(String 文件路径，FileMode 文件打开模式，FileAccess 文件访问方式)
　　FileStream(String 文件路径，FileMode 文件打开模式，FileAccess 文件访问方式，FileShare 文件共享方式)
　　例：
　　//在C盘创建a.txt文件，使用fs流对象对文件进行操作，fs的工作模式是新建(FileMode.Create)
　　FileStream fs=new FileStream(@"c:a.txt",FileMode.Create);
　　//在C盘创建a.txt文件，使用fs流对象对文件进行操作，fs工作模式是新建(FileMode.Create)文件的访问模式是写入(Fileaccess.Write)
　　FileStream fs=new FileStream(@"c:a.txt",FileMode.Create,FileAccess.Write);
　　//在C盘创建a.txt文件，使用fs流对象对文件进行操作，fs工作模式是新建(FileMode.Create)文件的访问模式是写入(FileAccess.Write)文件的共享模式是谢绝共享(FileShare.None)
　　FileStream fs=new FileStream(@"c:a.txt",FileMode.Create,FileAccess.Write,FileShare.None);
　　使用File类来创建对象：(常用)
　　自定义打开文件的方式：File.Open(String，FileMode);
　　打开文件进行读取： File.OpenRead(String);
　　打开文件进行写入： File.OpenWrite(String);
　　示例如下：
　　//在C盘新建123.txt文件，使用流对象fs对文件进行操作，fs可以行文件内容追加操作FileMode.Append
　　FileStream fs=File.Open(@"c:123.txt",FileMode.Append);
　　//在C盘新建123.txt文件，使用流对象fs对文件进行操作，fs可以进行读文件File.OpenRead()
　　FileStream fs=File.OpenRead(@"c:123.txt");
　　//在C盘新建123.txt文件，使用流对象fs对文件进行操作，fs可以进行写操作File.OpenWrite()
　　FileStream fs=File.OpenWrite(@"c:123.txt");
　　使用File例：
　　对文件进行读操作：
　　//新建fs流对象对象产生的路径是textbox1.text的值，文件的模式是FileMode.OpenOrCreate(可读可写)
　　using (FileStream fs = File.Open(textBox1.Text, FileMode.OpenOrCreate))
　　{
　　//新建字节型数组，数组的长度是fs文件对象的长度(后面用于存放文件)
　　byte[] bt=new byte[fs.Length];
　　//通过fs对象的Read方法bt得到了fs对象流中的内容
　　fs.Read(bt,0,bt.Length);
　　//关闭fs流对象
　　fs.Close();
　　//将bt字节型数组中的数据由Encoding.Default.GetString(bt)方法取出，交给textbox2.text
　　textBox2.Text = System.Text.Encoding.Default.GetString(bt);
　　}
　　对文件进行写入操作：
　　//新建fs流对象，对象操作的文件路径在textbox1.text中，fs的操作模式是FileMode.Create
　　using (FileStream fs = File.Open(textBox1.Text, FileMode.Create))
　　{
　　//新建字节型数组bt对象，bt对象得到了textbox2.text的Encoding的值
　　byte[] bt = System.Text.Encoding.Default.GetBytes(textBox2.Text);
　　//将bt字节型数组对象的值写入到fs流对象中(文件)
　　fs.Write(bt,0,bt.Length);
　　//关闭流对象
　　fs.Close();
　　}
　　注：
　　对文件的读写操多不管代码有多少，无非就是下面的三步：
　　1.创建文件读写流对象
　　2.对文件进行读写
　　3.关闭文件流

Answer 4

你很牛啊，直接就处理了！！
你这个数据读出来不会乱七八糟的么？

追问

这是用多线程处理，不卡啊

追答

我不是说卡不卡，是你读出来的数据不错乱？

追问

是的，this.label4.Text = "共有："+i.ToString()+"条记录！";这句应该写成this.label4.Text = "共有："+this.richTextBox2.Lines.Length.ToString()+"条记录！"。

至于你说的线程读取数据是乱的，还有没有其它的方法？StreamReader可以吗？

追答

其实你只需要在线程中读取数据然后更新UI就可以了，不用读数据在一个线程，更新UI又在另外的线程，同时你的读和更新表面上是分包同步，实际上会出现数据显示先后不同或者资源争抢造成线程异常，至于用什么方式读写都无所谓