Python脚本处理海量数据时发生内存溢出：如何优化代码避免OOM？

处理海量数据时，内存溢出（OOM）是一个常见问题。以下是一些优化Python代码以避免OOM的策略：

1. 使用生成器（Generators）

生成器可以逐个生成数据，而不是一次性加载所有数据到内存中。这对于处理大文件或大数据集非常有用。

```python def read_large_file(file_path): with open(file_path, 'r') as file: for line in file: yield line

for line in read_large_file('large_file.txt'): process(line) ```

2. 分块处理数据

将数据分成小块进行处理，而不是一次性加载整个数据集。

```python import pandas as pd

chunk_size = 100000 for chunk in pd.read_csv('large_file.csv', chunksize=chunk_size): process(chunk) ```

3. 使用高效的数据结构

使用numpy数组或pandas DataFrame等高效的数据结构，而不是Python内置的列表或字典。

```python import numpy as np

data = np.array([1, 2, 3, 4, 5]) ```

4. 释放不再使用的变量

使用del语句显式删除不再需要的变量，并调用gc.collect()来强制进行垃圾回收。

```python import gc

large_data = load_large_data() process(large_data) del large_data gc.collect() ```

5. 使用内存映射文件（Memory-mapped Files）

内存映射文件允许你将文件的一部分映射到内存中，而不是将整个文件加载到内存。

```python import numpy as np

data = np.memmap('large_file.dat', dtype='float32', mode='r', shape=(1000000,)) ```

6. 优化算法

使用更高效的算法来减少内存使用。例如，使用迭代算法而不是递归算法，或者使用空间复杂度更低的算法。

7. 使用外部存储

将数据存储在外部数据库或磁盘上，并在需要时按需加载。

```python import sqlite3

conn = sqlite3.connect('large_data.db') cursor = conn.cursor() cursor.execute('SELECT * FROM large_table') for row in cursor: process(row) ```

8. 使用多进程处理

使用多进程将任务分配到多个进程中，每个进程处理一部分数据，从而减少单个进程的内存使用。

```python from multiprocessing import Pool

def process_chunk(chunk): # 处理数据块 pass

if name == 'main': with Pool(4) as p: p.map(process_chunk, large_data_chunks) ```

9. 使用Dask或PySpark

使用分布式计算框架如Dask或PySpark来处理大数据集。

```python import dask.dataframe as dd

df = dd.read_csv('large_file.csv') result = df.groupby('column').mean().compute() ```

10. 监控内存使用

使用工具如memory_profiler来监控内存使用情况，找出内存消耗大的部分并进行优化。

```python from memory_profiler import profile

@profile def my_function(): # 你的代码 pass

my_function() ```

通过结合这些策略，你可以有效地减少内存使用，避免在处理海量数据时发生内存溢出。