pymongo聚合模块 多条件、多表关联、去重查询

问题描述

查询7月1日注册并充值的用户。

相关代码

8.3日更新：

# 获取当月充值用户
def get_registered_paying_user():
    unwind = {'$unwind': '$recharge'}                           # 付款拆分
    match1 = {'$match': {'regDate': regDate}}                   # 注册日期
    match2 = {'$match': {'recharge.tradeNo': {'$ne': ''}}}      # 单号
    match3 = {'$match': {'recharge.rechargeDate': regDate}}     # 付款日期
    match4 = {'$match': {
                '$or': [
                    {'recharge.from': 'weixin'},                # 微信
                    {'recharge.from': 'alipay'}                 # 支付宝
                ]
             }}
    match5 = {'$match': {'recharge.real': {'$ne': 0}}}          # 付款金额
    lookup = {'$lookup':
        {
            'from': 'recharge',
            'localField': '_id',
            'foreignField': 'uid',
            'as': 'recharge'
        }
    }
    project = {'$project':
        {                                   # 显示字段
            '_id': 1,                       # 用户id
            'nickname': 1,                  # 用户名
            'regDate': 1,                   # 注册时间
            'recharge.tradeNo': 1,          # 单号
            'recharge.rechargeDate': 1,     # 付款日期
            'recharge.from': 1,             # 付款方式
            'recharge.real': 1              # 付款金额
        }
    }
    group = {'$group':
        {
            '_id': {
                '_id': '$_id',                                          # 用户id
                'nickname': '$nickname',                                # 用户名
                'regDate': '$regDate',                                  # 注册时间
                'recharge.tradeNo': '$recharge.tradeNo',                # 单号
                'recharge.rechargeDate': '$recharge.rechargeDate',      # 付款日期
                'recharge.from': '$recharge.from',                      # 付款方式
                'recharge.real': '$recharge.real'                       # 付款金额
            },
        }
    }

    pipeline = [match1, lookup, unwind, project, match2, match3, match4, match5, group]
    result = collection_users.aggregate(pipeline)
    for i in result:
        pprint.pprint(i)

发现有个id重复的导致计数+1 如何避免这个问题呢？

{'_id': {'_id': ObjectId('5b5b035e1a620672c2438fa4'),
         'nickname': '渲客3947',
         'recharge.from': 'weixin',
         'recharge.real': 500,
         'recharge.rechargeDate': datetime.datetime(2018, 7, 28, 0, 16, 59, 418000),
         'recharge.tradeNo': '4200000145201807284145995390',
         'regDate': datetime.datetime(2018, 7, 27, 11, 34, 54, 113000)}}
{'_id': {'_id': ObjectId('5b5a65a21a620672c2438e3f'),
         'nickname': '渲客9528',
         'recharge.from': 'weixin',
         'recharge.real': 400,
         'recharge.rechargeDate': datetime.datetime(2018, 7, 27, 8, 28, 34, 458000),
         'recharge.tradeNo': '4200000154201807273809095287',
         'regDate': datetime.datetime(2018, 7, 27, 0, 21, 54, 837000)}}
{'_id': {'_id': ObjectId('5b5a65a21a620672c2438e3f'),
         'nickname': '渲客9528',
         'recharge.from': 'weixin',
         'recharge.real': 500,
         'recharge.rechargeDate': datetime.datetime(2018, 7, 27, 0, 39, 29, 708000),
         'recharge.tradeNo': '4200000145201807274527607790',
         'regDate': datetime.datetime(2018, 7, 27, 0, 21, 54, 837000)}}

原问题代码

# 获取当月充值用户
def get_registered_paying_user():
    match1 = {'$match': {'regDate': regDate}}                   # 注册日期
    match2 = {'$match': {'recharge.tradeNo': {'$ne': ''}}}      # 单号
    match3 = {'$match': {'recharge.rechargeDate': regDate}}     # 付款日期
    match4 = {'$match': {
                '$or': [
                    {'recharge.from': 'weixin'},                # 微信
                    {'recharge.from': 'alipay'}                 # 支付宝
                ]
             }}
    match5 = {'$match': {'recharge.real': {'$ne': 0}}}          # 付款金额
    lookup = {'$lookup':
        {
            'from': 'recharge',
            'localField': '_id',
            'foreignField': 'uid',
            'as': 'recharge'
        }
    }
    project = {'$project':
        {                                   # 显示字段
            '_id': 1,                       # 用户id
            'nickname':1,                   # 用户名
            'regDate': 1,                   # 注册时间
            'recharge.tradeNo': 1,          # 单号
            'recharge.rechargeDate': 1,     # 付款日期
            'recharge.from': 1,             # 付款方式
            'recharge.real': 1              # 付款金额
        }
    }

    pipeline = [match1, lookup, project, match2, match3, match4, match5]
    result = collection_users.aggregate(pipeline)

    for i in result:
        pprint.pprint(i)

get_registered_paying_user()

渲客2826 充值信息一个是注册充值一个是付费充值，但是付费充值不是7月1日当天的

{'_id': ObjectId('5b38335a1a620672c2435371'),
 'nickname': '渲客7128',
 'recharge': [{'from': 'regCoupon',
               'rechargeDate': datetime.datetime(2018, 7, 1, 1, 50, 23, 143000)},
              {'from': 'weixin',
               'real': 500,
               'rechargeDate': datetime.datetime(2018, 7, 1, 4, 31, 8, 191000),
               'tradeNo': '4200000157201807012108965206'}],
 'regDate': datetime.datetime(2018, 7, 1, 1, 50, 18, 382000)}
{'_id': ObjectId('5b3882541a620672930c532d'),
 'nickname': '渲客2826',
 'recharge': [{'from': 'regCoupon',
               'rechargeDate': datetime.datetime(2018, 7, 1, 7, 27, 26, 505000)},
              {'from': 'alipay',
               'real': 100,
               'rechargeDate': datetime.datetime(2018, 7, 28, 4, 29, 3, 50000),
               'tradeNo': '2018072821001004410593666887'}],
 'regDate': datetime.datetime(2018, 7, 1, 7, 27, 16, 701000)}
{'_id': ObjectId('5b38c69e1a620672c24354a8'),
 'nickname': '渲客3925',
 'recharge': [{'from': 'regCoupon',
               'rechargeDate': datetime.datetime(2018, 7, 1, 12, 18, 45, 846000)},
              {'from': 'alipay', 'real': 300},
              {'from': 'weixin',
               'real': 300,
               'rechargeDate': datetime.datetime(2018, 7, 2, 2, 11, 38, 284000),
               'tradeNo': '4200000150201807025314553741'}],
 'regDate': datetime.datetime(2018, 7, 1, 12, 18, 38, 859000)}

阅读 7k

unwind = {'$unwind': '$recharge'} # 付款拆分 match1 = {'$match': {'regDate': regDate}} # 注册日期 match2 = {'$match': {'recharge.tradeNo': {'$ne': ''}}} # 单号 match3 = {'$match': {'recharge.rechargeDate': regDate}} # 付款日期 match4 = {'$match': { '$or': [ {'recharge.from': 'weixin'}, # 微信 {'recharge.from': 'alipay'} # 支付宝 ] }} match5 = {'$match': {'recharge.real': {'$ne': 0}}} # 付款金额 lookup = {'$lookup': { 'from': 'recharge', 'localField': '_id', 'foreignField': 'uid', 'as': 'recharge' } } project = {'$project': { # 显示字段 '_id': 1, # 用户id 'nickname': 1, # 用户名 'regDate': 1, # 注册时间 'recharge.tradeNo': 1, # 单号 'recharge.rechargeDate': 1, # 付款日期 'recharge.from': 1, # 付款方式 'recharge.real': 1 # 付款金额 } } group = {'$group': { '_id': { '_id': '$_id', # 用户id 'nickname': '$nickname', # 用户名 'regDate': '$regDate', # 注册时间 }, } } pipeline = [match1, lookup, unwind, project, match2, match3, match4, match5, group] result = collection_users.aggregate(pipeline) a = 0 for i in result: pprint.pprint(i) a = a + 1 pprint.pprint('当月注册并付费:' + str(a))

原因

$lookup 首先进行的是左外连接查询。当匹配到多个满足外键条件的记录时，会放到数组子集合里。再之后你的match2,match3,match4,match5针对子集合查询。而mongo这里的子集合匹配，只要子集合中有一条满足，就会全部整条记录满足。

pymongo聚合模块多条件、多表关联、去重查询

问题描述

相关代码

渲客2826 充值信息一个是注册充值一个是付费充值，但是付费充值不是7月1日当天的

原因

解决方法

你尚未登录，登录后可以

Qt中布局是否只有5种呢？

这段代码为什么不能获取到数据？

字节的 trae AI IDE 不支持类似 vscode 的 ssh remote 远程开发怎么办？

请问一下，如何理解reduce函数呢？

如何使用Python+Selenium爬取Goodreads上万条书评而不崩溃？

如何使用 python 代码实现迅雷磁力链接资源的下载？

在PyCharm开发不同python项目，如果每个项目使用自己的venv环境，是不是每次切换项目都需要修改python interpreter？

pymongo聚合模块 多条件、多表关联、去重查询

问题描述

相关代码

渲客2826 充值信息一个是注册充值 一个是付费充值，但是付费充值不是7月1日当天的

原因

解决方法

你尚未登录，登录后可以

Qt中布局是否只有5种呢？

这段代码为什么不能获取到数据？

字节的 trae AI IDE 不支持类似 vscode 的 ssh remote 远程开发怎么办？

请问一下，如何理解reduce函数呢？

如何使用Python+Selenium爬取Goodreads上万条书评而不崩溃？

如何使用 python 代码实现迅雷磁力链接资源的下载？

在PyCharm开发不同python项目，如果每个项目使用自己的venv环境，是不是每次切换项目都需要修改python interpreter？

pymongo聚合模块多条件、多表关联、去重查询

渲客2826 充值信息一个是注册充值一个是付费充值，但是付费充值不是7月1日当天的