python爬虫访问两个不同链接得到的两个json文件,这两个链接是有关系的,
其中后面的一个链接的url是根据第一个链接的返回json内容里的paperID的值拼接得到的,
类似于:访问第一个链接得到paperID,然后得到第二个链接:http://网址+paperID,得到第二个json数据。
因此想把这两部分json数据拼接到一起。
第一个json文件内容如下:
{
result: 1,
data: [
{
name: "第一部分",
paperList: [
{
paperID: "185d7795-8bb5-4c1b-b5d0-431dab64e0b4",
paperName: "2018",
deep: 1
},
{
paperID: "edf48394-d0be-4ddb-adc5-fbb6b469cf71",
paperName: "2017",
deep: 1,
}
]
},
{
name: "第二部分",
paperList: [
{
paperID: "94e45b53-768f-42ff-9d7f-ddb123a654d9",
paperName: "2018",
deep: 1
},
{
paperID: "55161a98-eebc-49a2-a931-a51703ef42f0",
paperName: "2017",
deep: 1
}
]
}
]
}
第二个json文件是访问http://网址+paperID得到的,内容如下:
{
result: 1,
data: {
name: "2018",
nodeList: [
{
name: "A型",
questionLists: [
{
questionId: "869cf358-a07a-4ab0-bb7c-80370ebfd56b",
QuestionScore: "1.50",
},
{
questionId: "5a0430ba-a5f5-4510-8bef-47f9a8c33ece",
QuestionScore: "1.50",
},
]
},
{
name: "B型",
questionLists: [
{
questionId: "48bc17cf-aaec-409d-bd33-5fd14f6f33d0",
QuestionScore: "1.50",
},
{
questionId: "073282fa-e68f-4c1e-8b1d-704610f24708",
QuestionScore: "1.50",
},
}
]
}
现在我想把这两部分json文件组合成一个,在第一个json文件的paperList的值里加上第二个json文件,让其内容和paperID并列。
使用Python遇到的问题有:
问题1:我是应该先合成这个json文件再存mongoDB?那怎么合成呢?
问题2:如果先存第一个json文件到mongoDB,那第二个json文件的数据怎么添加到paperList下面的每个列表里和paperID并列?使用pyhon
for i in collection.data.paperList:
t = collection.data.paperList.i.insert(paperID_json)
这样肯定是不对的,该怎么插入呢?
附加问题:像这种在前端看到的json数据,他们的后端数据库是拼接起来存储的吗?还是分开的?