加载和解析包含多个 JSON 对象的 JSON 文件

Question

我正在尝试在 Python 中加载和解析 JSON 文件。但我一直在尝试加载文件：

 import json
json_data = open('file')
data = json.load(json_data)

产量：

 ValueError: Extra data: line 2 column 1 - line 225116 column 1 (char 232 - 160128774)

我看着 _18.2。 json — Python 文档中的 JSON 编码器和解码器_，但阅读这个看起来很糟糕的文档是非常令人沮丧的。

前几行（用随机条目匿名）：

 {"votes": {"funny": 2, "useful": 5, "cool": 1}, "user_id": "harveydennis", "name": "Jasmine Graham", "url": "http://example.org/user_details?userid=harveydennis", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 1, "useful": 2, "cool": 4}, "user_id": "njohnson", "name": "Zachary Ballard", "url": "https://www.example.com/user_details?userid=njohnson", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 1, "useful": 0, "cool": 4}, "user_id": "david06", "name": "Jonathan George", "url": "https://example.com/user_details?userid=david06", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 6, "useful": 5, "cool": 0}, "user_id": "santiagoerika", "name": "Amanda Taylor", "url": "https://www.example.com/user_details?userid=santiagoerika", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 1, "useful": 8, "cool": 2}, "user_id": "rodriguezdennis", "name": "Jennifer Roach", "url": "http://www.example.com/user_details?userid=rodriguezdennis", "average_stars": 3.5, "review_count": 12, "type": "user"}

原文由 Pi_ 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

您有一个 JSON 行格式的文本文件。您需要逐行解析文件：

 import json

data = []
with open('file') as f:
    for line in f:
        data.append(json.loads(line))

每 行都 包含有效的 JSON，但作为一个整体，它不是有效的 JSON 值，因为没有顶级列表或对象定义。

请注意，因为该文件每行都包含 JSON，所以您可以避免尝试一次性解析所有文件或找出流式 JSON 解析器的麻烦。您现在可以选择在继续下一行之前分别处理每一行，从而节省流程中的内存。如果您的文件非常大，您可能不想将每个结果附加到一个列表 然后 处理所有内容。

如果您的文件包含中间带有分隔符的单个 JSON 对象，请使用 如何使用“json”模块一次读取一个 JSON 对象？ 使用缓冲方法解析出单个对象。

原文由 Martijn Pieters 发布，翻译遵循 CC BY-SA 3.0 许可协议

Answer 2

如果您正在使用 pandas 并且您有兴趣加载 json 文件作为数据框，您可以使用：

 import pandas as pd
df = pd.read_json('file.json', lines=True)

并将其转换为 json 数组，您可以使用：

 df.to_json('new_file.json')

原文由 arunppsg 发布，翻译遵循 CC BY-SA 4.0 许可协议