Question

PHP效率问题，上万条数据一次性取出？还是分开取出处理？

需要处理表内所有数据，且表内有上万、上百万条数据时。是一次取出全部数据在PHP中处理后更新效率高，还是一次取出部分内容，更新后再取出其余部分更新有效率？

前者内存占用应该是非常高的，后者虽然低占用率，但需要重复取出表内数据。

一般网站都用哪种方式？

Answer 1

• 显示数据还是更新（update）数据，都是先处理一部分数据，完成后再处理下一步数据 更有效率。

• 显示数据取出部分数据的方法最常用的是分页方式，分页是仅读取前面的几十页信息，读取数据库是很快的，可以比较一下10条和100条的显示速度，差很远。

• 更新（update）数据也不能一次性处理大量数据，那样经常会出现页面死定的情况，可以设置更新一定数据后跳转到下一步再更新一定数据，大多数cms更新数据都是采用这种方式。

• 无需显示直接读取表内所有数据生成HTML页面时，不论是取出全部数据直接生成有效率，还是一次取出一部分，分别处理有效率。
  

Answer 2

无论是显示数据还是更新（update）数据，都是先处理一部分数据，完成后再处理下一步数据 更有效率，
显示数据取出部分数据的方法最常用的是分页方式，分页是仅读取前面的几十页信息，读取数据库是很快的，你可以比较一下10条和100条的显示速度，差很远的；
更新（update）数据也不能一次性处理大量数据，那样经常会出现页面死定的情况，可以设置更新一定数据后跳转到下一步再更新一定数据，很多cms更新数据都是采用这种方式

追问

是的，这是我想要的答案。
无需显示直接读取表内所有数据生成HTML页面时，是取出全部数据直接生成有效率，还是一次取出一部分，分别处理有效率。

Answer 3

你这种方式，前者明显是不可能的，将会倾向于后者。
而且，实际中也不可能会一次取出那么多的数据，排除其他原因，你取数据无非数据处理，和数据渲染。数据渲染会做分页，数据处理，当你数据库达到这种级别，那么必然会有专人维护，一次处理那么多也是不存在的。
比较接近你的想法，就是缓存，就是缓存一波数据，下次读取的时候，不去数据库读取，没有的采取数据库读取。一段时间后更新一次数据

Answer 4

看情况，如果你需要进行的业务逻辑处理，数据库自带的函数等已能实现，交由数据库处理，毕竟数据库系统有很深的数学算法基础支撑，比我们自己用php写的快。如果数据库不能直接处理　，则可以读出来，写到php数组中处理。一次读多少，要看内存的条件与数据量本身。求得一个平衡点就行了。我在实际中工作中遇到过最极端的是做关联分析，自己用php写的关联分析代码真不如数据库自带的快，数据量为测试数据50万条。

Answer 5

最好还是分开处理，一次性取出上万条数量会降低数据库的效率，
所以建议还是用分页的方式分开取