Question

如何用python快速读取几G以上的大文件

Answer 1

如果你没那么大的内存 解决方法有几个：

1. 使用swap 一次性read()读取

2. 系统层面分割大文件为数个小于系统内存的小文件，分别读取

3. 使用python 按数据大小逐块读取，使用完数据即释放该部分内存：

while True:
       chunk_data = file_object.read(chunk_size)
       if not chunk_data:
           break
       yield chunk_data