要用python从几百万行数据的文件一行行读数据并计算,如何处理最快,哪位大牛可以指点一下

如题,想找一种较快的算法... 如题,想找一种较快的算法 展开
 我来答
kaisa1028
2012-04-13 · TA获得超过1.1万个赞
知道大有可为答主
回答量:5429
采纳率:28%
帮助的人:2574万
展开全部
如果你的数据互相有关系的话,你就只能用readline一行完了之后再处理一行;
如果你的数据是每行不相干的,那你应该可以把文件分成几段,每段分配一个thread处理;
如果你的数据时每行不相干,而且你对数据的操作不很复杂的话,应该可以考虑用gpu来代替cpu并行处理。
wanghan519
推荐于2018-04-21 · TA获得超过7820个赞
知道小有建树答主
回答量:1285
采纳率:60%
帮助的人:537万
展开全部
应该用readline(),而不是readlines()
f0=file('test.txt','r')
while True:
a=f0.readline()
print a
if a=='':break

python 速度确实不慢,有人测试过readline和sed有一拼
本回答被提问者和网友采纳
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
changtg391a
2012-04-13
知道答主
回答量:4
采纳率:0%
帮助的人:3.3万
展开全部
a=open(filename).readlines()
for line in a:
.....
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
收起 更多回答(1)
推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式