70w+数据如何处理。

Question

数据结构如下：最多4级。有70w+ 数据，现在想查询并进行分类处理。按城市区域划分等级。我的想法是想一次性查出来，进行递归处理。但是现在出现问题。我用mongoose find会超时;请问如何处理这些数据达到我想要的。

{
    "_id" : ObjectId("59df0ea9c43b39bc29e7355e"),
    "id" : 1,
    "parent_id" : 0,
    "level" : 0,
    "area_code" : NumberLong(110000000000),
    "zip_code" : 0,
    "city_code" : "",
    "name" : "北京市",
    "short_name" : "北京",
    "merger_name" : "北京",
    "pinyin" : "BeiJing",
    "lng" : 116.407526,
    "lat" : 39.90403
}
{
    "_id" : ObjectId("59df0ea9c43b39bc29e7355f"),
    "id" : 2,
    "parent_id" : 1,
    "level" : 1,
    "area_code" : NumberLong(110100000000),
    "zip_code" : 100000,
    "city_code" : 10,
    "name" : "直辖区",
    "short_name" : "北京",
    "merger_name" : "北京",
    "pinyin" : "BeiJing",
    "lng" : 116.407526,
    "lat" : 39.90403
}
{
    "_id" : ObjectId("59df0ea9c43b39bc29e73560"),
    "id" : 3,
    "parent_id" : 2,
    "level" : 2,
    "area_code" : NumberLong(110101000000),
    "zip_code" : 100000,
    "city_code" : 10,
    "name" : "东城区",
    "short_name" : "东城",
    "merger_name" : "北京,东城",
    "pinyin" : "DongCheng",
    "lng" : 116.416357,
    "lat" : 39.928353
}
{
    "_id" : ObjectId("59df0ea9c43b39bc29e73561"),
    "id" : 4,
    "parent_id" : 3,
    "level" : 3,
    "area_code" : NumberLong(110101001000),
    "zip_code" : 100006,
    "city_code" : 10,
    "name" : "东华门街道办事处",
    "short_name" : "东华门",
    "merger_name" : "北京,东城,东华门",
    "pinyin" : "DongHuaMen",
    "lng" : 116.406708,
    "lat" : 39.914219
}
{
    "_id" : ObjectId("59df0ea9c43b39bc29e73562"),
    "id" : 5,
    "parent_id" : 4,
    "level" : 4,
    "area_code" : NumberLong(110101001001),
    "zip_code" : 100010,
    "city_code" : 10,
    "name" : "多福巷社区居委会",
    "short_name" : "多福巷",
    "merger_name" : "北京,东城,东华门,多福巷",
    "pinyin" : "DuoFuXiang",
    "lng" : 116.412747,
    "lat" : 39.923014
}

Answer 1

无论哪个数据库对于数据操作的态度是一样的，尽可能只取你需要的部分。除了是做报表或数据导出，很少是真的需要这么多数据，所以第一个问题是你是不是真的需要70w数据（因为没说说明是在做什么，我只是根据经验推测。可能的话请解释一下这些数据的具体作用是什么）？
对于超时，不知道find的条件是什么，数据总量有多少，索引是否合适，所以也不好说问题在哪里，可能在数据库，也可能是你的应用处理不过来。
最后说说数据本身的问题。从数据看，你要做的大概是把这些数据拼成一个树状图。不过我不知道你拼好之后打算怎么用。比如

1. 知道北京,东城查出下面所有的街道（从上往下）；
2. 知道多福巷查出街道、区、市（从下往上）；

2没什么好说的，根据多福巷直接可以找到前面几级。比较麻烦的是1。但是数据库的设计者其实已经为你想好了，你们可以先沟通一下。还是上面1的例子：

db.<collection>.find({merger_name: /^北京,东城/})

即可查出东华门和多福巷。这个查询可以命中索引

db.<collection>.createIndex({merger_name: 1})

如果上面的猜测不对，还请你再说明一下更具体的需求。

Answer 2

为什么不每次只取最后一条，分类了好就删了或做个标识，然后while.