大文本数据合并问题思路

kute
  • 491

背景:

我有三个csv文件,分别如下:

afile: userid, username, ....
bfile: postid, userid, postname, ...
cfile: postid, postnum, ...

afile = 10G
bfile = 150G
cfile = 20G

注:各个field的分隔符并不是单个字符(例如逗号),而是一串特殊符号,因为部分field可能会包含某些单字符分隔符,键盘上的单字符都试过了,都有包含,所以用了一串几个字符组成的特殊字符串来分隔,所以并不是严格的csv,这是最蛋疼的地方

目的:

我想合并这三个文件,bfilecfile根据postid列合并,合并后再根据userid列合并afile,最终大概是postid, userid, postname, postnum, username这样的形式。

目前我的伪代码如下:

import pandas as pd
chunksize = 1000000  # 100W 目前看没问题
    try:
        resultchunktotal = []
        bfilereader = pd.read_csv(bfile,  iterator=True, engine='python', sep='##')
        goon_1 = True
        while goon_1:
            try:
                # 分块读取 bfile
                bfilechunk = bfilereader.get_chunk(chunksize)
                if not bfilechunk.empty:
                    cfilereader = pd.read_csv(cfile, iterator=True, engine='python', sep='##')
                    goon_2 = True
                    while goon_2:
                        try:
                            # 分块读取 cfile
                            cfilechunk = cfilereader.get_chunk(chunksize)
                            if not cfilechunk.empty:
                                bfilecfilechunk = pd.merge(bfilechunk, cfilechunk, on='postid')
                                # 不为空代表 bfile cfile有共同的postid
                                if not bfilecfilechunk.empty:
                                    afilereader = pd.read_csv(afile, iterator=True, engine='python', sep='##')
                                    goon_3 = True
                                    while goon_3:
                                        try:
                                            # 分块读取afile
                                            afilechunk = afilereader.get_chunk(chunksize)
                                            if not afilechunk.empty:
                                                chunkresult = pd.merge(bfilecfilechunk, afilechunk, on='')
                                                # 不为空表示有共同的userid
                                                if not chunkresult.empty:
                                                    resultchunktotal.append(chunkresult)
                                        except StopIteration:
                                            goon_3 = False
                        except StopIteration:
                            goon_2 = False
            except StopIteration:
                goon_1 = False
        if len(resultchunktotal) > 0:
            pd.concat(resultchunktotal).to_csv('result.csv', index=False)
    except Exception as e:
        print(e)

但是感觉这样,很低效,所以跪求各位大神好的思路以及好的工具方法

ps: 这是一道“大数据”的伪命题,无非数据稍大了点

回复
阅读 3.4k
1 个回答
✓ 已被采纳

别写代码啦。看起来是一行 shell 脚本的事情,用 xsv join 子命令。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
宣传栏