Python Killed：使用从 2 个 csv 文件创建的字典运行代码时为 9

Question

我正在运行一直对我有用的代码。这次我在 2 个 .csv 文件上运行它：“data”（24 MB）和“data1”（475 MB）。 “data”有 3 列，每列大约有 680000 个元素，而“data1”有 3 列，每列有 33000000 个元素。当我运行代码时，经过大约 5 分钟的处理后，我只得到“Killed: 9”。如果这是内存问题，如何解决？欢迎任何建议！

这是代码：

 import csv
import numpy as np

from collections import OrderedDict # to save keys order

from numpy import genfromtxt
my_data = genfromtxt('data.csv', dtype='S',
                 delimiter=',', skip_header=1)
my_data1 = genfromtxt('data1.csv', dtype='S',
                 delimiter=',', skip_header=1)

d= OrderedDict((rows[2],rows[1]) for rows in my_data)
d1= dict((rows[0],rows[1]) for rows in my_data1)

dset = set(d) # returns keys
d1set = set(d1)

d_match = dset.intersection(d1) # returns matched keys

import sys
sys.stdout = open("rs_pos_ref_alt.csv", "w")

for row in my_data:
    if row[2] in d_match:
        print [row[1], row[2]]

“数据”的标题是：

     dbSNP RS ID Physical Position
0   rs4147951   66943738
1   rs2022235   14326088
2   rs6425720   31709555
3   rs12997193  106584554
4   rs9933410   82323721
5   rs7142489   35532970

“data1”的标题是：

     V2  V4  V5
10468   TC  T
10491   CC  C
10518   TG  T
10532   AG  A
10582   TG  T

原文由 Lucas 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

很可能内核会杀死它，因为您的脚本消耗了太多内存。您需要采取不同的方法并尽量减少内存中数据的大小。

您可能还会发现这个问题很有用： Very large matrices using Python and NumPy

在下面的代码片段中，我试图通过逐行处理来避免将巨大的 data1.csv 加载到内存中。试一试。

 import csv

from collections import OrderedDict # to save keys order

with open('data.csv', 'rb') as csvfile:
    reader = csv.reader(csvfile, delimiter=',')
    next(reader) #skip header
    d = OrderedDict((rows[2], {"val": rows[1], "flag": False}) for rows in reader)

with open('data1.csv', 'rb') as csvfile:
    reader = csv.reader(csvfile, delimiter=',')
    next(reader) #skip header
    for rows in reader:
        if rows[0] in d:
            d[rows[0]]["flag"] = True

import sys
sys.stdout = open("rs_pos_ref_alt.csv", "w")

for k, v in d.iteritems():
    if v["flag"]:
        print [v["val"], k]

原文由 frizzby 发布，翻译遵循 CC BY-SA 3.0 许可协议

Answer 2

你的电脑有多少内存？

您可以添加一些优化来节省一些内存，如果这还不够，您可以权衡一些 CPU 和 IO 以获得更好的内存效率。

如果您只是比较键而不真正对值做任何事情，您可以只提取键：

 d1 = set([rows[0] for rows in my_data1])

然后代替 OrderedDict，您可以尝试使用此答案 中的有序集——Does python has ordered set 或 using ordered-set module from pypi。

获得所有相交键后，您可以编写另一个程序，从源 csv 中查找所有匹配值。

如果这些优化还不够，您可以从更大的集合中提取所有密钥，将它们保存到一个文件中，然后使用 生成器 从文件中一个接一个地加载密钥，这样您的程序将只保留一组密钥加上一把钥匙而不是两把钥匙。

另外我建议使用 python pickle 模块来存储中间结果。

原文由 Alex Volkov 发布，翻译遵循 CC BY-SA 3.0 许可协议