将 Python DataFrame 作为 CSV 写入 Azure Blob

Question

我有两个关于从 Azure blob 存储读取和写入 Python 对象的问题。

1. 有人能告诉我如何将 Python 数据帧作为 csv 文件直接写入 Azure Blob 而无需将其存储在本地吗？

我尝试使用函数 create_blob_from_text 和 create_blob_from_stream 但它们都不起作用。

将数据帧转换为字符串并使用 create_blob_from_text 函数将文件写入 blob，但作为纯字符串而不是 csv。

    df_b = df.to_string()
   block_blob_service.create_blob_from_text('test', 'OutFilePy.csv', df_b)

1. 如何直接将Azure blob存储中的json文件直接读入Python？

原文由 AngiSen 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

1. 有人能告诉我如何将 Python 数据帧作为 csv 文件直接写入 Azure Blob 而无需将其存储在本地吗？

您可以使用 pandas.DataFrame.to_csv 方法。

示例代码：

 from azure.storage.blob import (
    BlockBlobService
)
import pandas as pd
import io

output = io.StringIO()
head = ["col1" , "col2" , "col3"]
l = [[1 , 2 , 3],[4,5,6] , [8 , 7 , 9]]
df = pd.DataFrame (l , columns = head)
print(df)
output = df.to_csv (index_label="idx", encoding = "utf-8")
print(output)

accountName = "***"
accountKey = "***"
containerName = "test1"
blobName = "test3.json"

blobService = BlockBlobService(account_name=accountName, account_key=accountKey)

blobService.create_blob_from_text('test1', 'OutFilePy.csv', output)

输出结果：

2.如何将Azure blob存储中的json文件直接读入Python？

示例代码：

 from azure.storage.blob import (
    BlockBlobService
)

accountName = "***"
accountKey = "***"
containerName = "test1"
blobName = "test3.json"

blobService = BlockBlobService(account_name=accountName, account_key=accountKey)

result = blobService.get_blob_to_text(containerName,blobName)

print(result.content)

输出结果：

希望对你有帮助。

原文由 Jay Gong 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 2

已批准的答案对我不起作用，因为它取决于 azure-storage（自 2021 年起已弃用/遗留）包。我将其更改如下：

 from azure.storage.blob import *
import dotenv
import io
import pandas as pd

dotenv.load_dotenv()
blob_block = ContainerClient.from_connection_string(
    conn_str=os.environ["CONNECTION_STRING"],
    container_name=os.environ["CONTAINER_NAME"]
    )
output = io.StringIO()
partial = df.DataFrame()
output = partial.to_csv(encoding='utf-8')
blob_block.upload_blob(name, output, overwrite=True, encoding='utf-8')

原文由 Dimiter Shalvardjiev 发布，翻译遵循 CC BY-SA 4.0 许可协议