Question

java 高并发大量采集数据该如何去做

有一个数据采集的系统，通过调用系统接口，从多个地区把数据每天往系统里上传。现在已经ok了，不过在这个过程中，系统很不稳定，经常出现缓慢，内存占满，以及数据库连接占满的情况。数据库连接已设置为了1000，也还是会有连接数占满的情况，各位大牛能否赐教，这种情况怎么处理？

Answer 1

数据库连接已设置为了1000,说明你的软件设计方法不对，
类似的情况只用1个数据库连接或几个就够了，
参考中间件设计或MIDAS设计，类似数据库做个Pool的处理方法,
而不是让软件直连数据库

追问

我也用了连接池。但是因为高并发所以总是会出现这些问题，能说的具体点吗？

追答

如果是公司的话，建议直接买中间件做并发处理，
如果自己开发的话，要考虑到你最大连接数有多少，
不是连接池，是为每个客户连接建立一个线程，建立好线程互斥的，
由MIDAS自己的中间层先接收请求，每个请求独立线程申请数据库，互斥访问，
中间层处理完数据申请返回对应线程，再返回客户端，