Question

用python处理一个1G左右的数据集，运行速度非常慢，怎样优化

Answer 1

两种可选的方式

1：使用yield的懒惰加载，示例代码如下：

def read_in_chunks(file_object, chunk_size=1024):
    """Lazy function (generator) to read a file piece by piece.
    Default chunk size: 1k."""
    while True:
        data = file_object.read(chunk_size)
        if not data:
            break
        yield data

f = open('really_big_file.dat')
for piece in read_in_chunks(f):
    process_data(piece)

2：使用iter和一个帮助方法：

f = open('really_big_file.dat')
def read1k():
    return f.read(1024)

for piece in iter(read1k, ''):
    process_data(piece)

推荐使用第一个。

Answer 2

首先当然是优化代码，前提如果你能把代码贴出来的话。
其次代码中如果有大量频繁的计算，可以把你的计算核心代码用cython改写一下。
如果不喜欢cython，而且你所用到的模块都是纯python实现的话，可以用pypy来执行你的程序。

Answer 3

你这个连需求背景都没有介绍，就直接要方案。。。

Answer 4

能告知你现在的方法以及性能么？
python 处理数据本来就慢~