Question

C#多线程实现大量文件读取

大约有2500多个文件，每个文件的读取大约10秒，利用多线程把总读取时间缩短至5分钟左右，同时要避免不同线程抢占资源

Answer 1

按照你这个说法，要同时启动80-90个线程，你不怕电脑崩溃呀。。
我以前做过一个类似的程序，我给你思路，但是不一定适用你这里需要的。你看下先

因为担心线程抢占资源，所以，在启动线程之前，先做资源分配
1、读取所有的文件名，按照需求，分成90个字符串数组
2、启动thread线程或者delegate委托事件来执行文件的读取，传递的参数就是上面的数组中的一个
3、线程中读取文件列表的方法。这个要看你要做什么了。
我不知道你读取文件要做什么，如果要插入资料库的话，你还得考虑不同线程读取资料库会不会锁表。具体看你的需求吧

追问

嗯，不错，大部分用户电脑开20个线程就不行了。我目前是把文件名放到队列中，然后开10~20个线程读，但还是要调用同一个函数。我先用线程锁试试，实在不行就给每个线程建一个list来存数据，读完后再用一个线程计算

追答

你每一个文件都是单独操作，虽然用同一个函数，这个不影响呀，只要他们不共同调用同一个全局变量就好
如果你锁了，跟单线程就没差别了。

追问

调用函数修改同一个list某些值，可能出现多个线程同时修改list中同一个值

追答

你对list用一个缩，锁一下，读完就释放掉。
然後每读一个就删掉一个记录，这样读就不重复

但是我的想法是，直接把这个list拆分成假如20个小list，每一个线程获取一个list去处理。这样彼此就没有关系了。
当然，这样做可能存在有些线程先执行完了，就不帮忙处理的现象。

Answer 2

5*60=300秒
2500*10=25000秒
25000/300=250/3=84个线程
你大概有84个线程来同时操作才能达到大概五分钟左右的效果

文件是独立的，又不算大。每个线程独立处理一个就可以了，这样是没有并发一说的，也就没有抢占资源一说。用线程池吧

追问

需要从每个文件中读取几个数加入到同一个list中去并计算，总之除了读之外不同的线程需要调用同一个函数来计算

追答

这个没有关系，用一个静态变化将这个函数内部lock一下就行了，很简单
例如：

static object obj =new object():
private void Add(int value)
{
lock(obj)
{
............
}
}