PHP+mysql插入上千万条数据,导致内存不足,寻求释放内存方法
用的是ThinkPHP框架,主要不释放内存的语句是$re=$M->execute($value);我想要做的主要是执行完$M->execute($value);操作后释放...
用的是ThinkPHP框架,主要不释放内存的语句是$re = $M->execute($value);
我想要做的主要是执行完$M->execute($value);操作后释放内存,而不是等整个方法执行完才释放。
修改php.ini里的设置只能插入相对多的数据而已,我寻求稳定的方法,求大神。
以上代码片段是在一个foreach循环里的,每次执行一千条数据,一共执行几百次内存就受不住了,最内一直没释放, $M->execute($value);这句去掉后内在是稳定的,没有存在不释放现象。所以……有大神知道什么原因否? 展开
我想要做的主要是执行完$M->execute($value);操作后释放内存,而不是等整个方法执行完才释放。
修改php.ini里的设置只能插入相对多的数据而已,我寻求稳定的方法,求大神。
以上代码片段是在一个foreach循环里的,每次执行一千条数据,一共执行几百次内存就受不住了,最内一直没释放, $M->execute($value);这句去掉后内在是稳定的,没有存在不释放现象。所以……有大神知道什么原因否? 展开
8个回答
展开全部
一次性插入1000条数据比一条一条的插入速度会提升N倍,主要技巧就是在写SQL的上面
insert into table1 value (v1, v2, v3), (x1,x2,x3),....
而不是
insert into table1 value (v1, v2, v3);
insert into table1 value (x1, x2, x3);
insert into table1 value (v1, v2, v3), (x1,x2,x3),....
而不是
insert into table1 value (v1, v2, v3);
insert into table1 value (x1, x2, x3);
追问
嗯,本来就是每次执行的一千条,然后还有什么优化的方法吗?
已赞过
已踩过<
评论
收起
你对这个回答的评价是?
展开全部
我给你个思路,利用游览器的刷新机制,每执行10秒刷新一下自动更新下一串数据,一串多少数据,看你的SQL效率而定。就这样一直刷新更新,到结束为止。
追问
其实你这个思路是挺好的,我也知道一种类似方法,就是跳页面,通过get或post传参来接力。都是不错的,只是我现在用的是ajax,所以一刷新或跳转的话,返回值就拿不到了,呵呵,其实我真的想知道为什么查询的时候内存就能释放,插入的时候内存就不释放。
追答
循环的次数过多就会内存不够,总的来说要么减少循环的次数,要么刷新页面重新释放内存
本回答被提问者采纳
已赞过
已踩过<
评论
收起
你对这个回答的评价是?
展开全部
1 给出获取 $value 的方法,以便检查其中的逻辑是否有问题。
2 请给出 $M->execute() 代码,以便检查内部是否有逻辑问题。
3 $M 可以不要每次都销毁,可以创建因此对象,之后所有 $value 均用和一个,直到你完成了所有操作再unset掉。
4 除了前面几位所说的,调整php配置之外,还可以使用shell方式执行该文件。shell可以不受php本身的时间和内存限制。
2 请给出 $M->execute() 代码,以便检查内部是否有逻辑问题。
3 $M 可以不要每次都销毁,可以创建因此对象,之后所有 $value 均用和一个,直到你完成了所有操作再unset掉。
4 除了前面几位所说的,调整php配置之外,还可以使用shell方式执行该文件。shell可以不受php本身的时间和内存限制。
追问
谢谢你的回答,shell的确是加一个好出路。
thinkPHP里的,原码一我都看过了,也没找出原因,贴出来的话,好几页去,所以在这就不搞了。
合并起来一次插入的话,那更加不得了,数据很大的,所以一次插一部分,插了就放内存才是最好的办法。只是找不到不放内存的原因。
伤心呐,好想找出原因,只是水平不够。不过问题我到是用页面跳接力的类似方式搞定了。
已赞过
已踩过<
评论
收起
你对这个回答的评价是?
展开全部
没办法 只能暂时扩大内存
set_time_limit(0);
ini_set( 'memory_limit', '1000M' );
要么你分几次执行$re = $M->execute($value);
set_time_limit(0);
ini_set( 'memory_limit', '1000M' );
要么你分几次执行$re = $M->execute($value);
追问
谢谢你的回答,不过不消内存是不行的,有些数据好几千万条。老实说,我调试时用1024M都不够用
追答
那你要优化 你的代码 记住 array 是超级占内存的. 尽量用完就清理
已赞过
已踩过<
评论
收起
你对这个回答的评价是?
展开全部
你别这样搞,你用分页的模式搞,一批批的添加
已赞过
已踩过<
评论
收起
你对这个回答的评价是?
推荐律师服务:
若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询