Question

java 查询的数据太多了，怎么处理

Answer 1

可以垂直分隔查询，通过id段来进行，多次查询的数据再进行整合处理

Answer 2

分页查询、优化sql、写视图或者存储过程这些咯

Answer 3

Java在处理数据量比较大的时候，加载到内存必然会导致溢出，而在一些数据处理中我们不得不去处理海量数据，在处理海量数据中，我们常见的手段就是分解、压缩、并行、临时文件等方法。
在处理数据层面。如从数据库中读取数据，生成本地文件，写代码为了方便，我们未必要1M，怎么来处理，这个交给底层的驱动程序去拆分，对于我们的程序来讲我们认为它是连续写即可；我们如想将一个1000W数据的数据表，导出到文件；此时，你要么进行分页，oracle当然用三层包装即可，MySQL用limit，不过分页每次都会有新的查询，而且随着翻页，会越来越慢，其实我们想拿到一个句柄，然后向下游动，编译一部分数据（如10000行）将写文件一次（写文件细节不多说了，这个是最基本的），需要注意的是，每次buffer的数据，在用OutputStream写入的时候，最好flush一下，将缓冲区清空一下；接下来，执行一个没有where条件的SQL，会不会将内存撑爆？是的，这个问题我们值得去思考下，通过API发现可以对SQL进行一些操作，例如，通过：PreparedStatement s = connection.prepareStatement（sql），这是默认得到的预编译，还可以通过设置：PreparedStatement s = connection.prepareStatement(sql,ResultSet.TYPE_FORWORD_ONLY,ResultSet.CONCUR_READ_ONLY);来设置游标的方式，以至于游标不是将数据直接catch到本地内存，然后通过设置statement.setFetchSize(200)；设置游标每次遍历的大小；oracle用了和没用没区别，因为oracle的JDBC API默认就是不会将数据catch到Java的内存中的，而MySQL里头设置根本无效。