阿里云对象存储 OSS使用 Python SDK 的 SelectObject 查询 CSV 和 JSON 文件

上传 CSV 或 JSON 格式文件

您可以根据业务需求，在 OSS 管理控制台将 CSV 或 JSON 格式文件上传到 OSS bucket 中。如何将文件上传至 OSS bucket，请参考上传文件。

调用测试

通过 put_object 中的 key、contant 参数创建并上传了一个名为 python_select 的文件。

说明 以下 JSON 与 CSV 示例需分开执行。

import os
import oss2
from itertools import islice

# 首先初始化AccessKeyId、AccessKeySecret、Endpoint等信息。
# 通过环境变量获取，或者把诸如“<yourAccessKeyId>”替换成真实的AccessKeyId等。

# 以杭州区域为例，Endpoint可以是：
# http://oss-cn-hangzhou.aliyuncs.com
# https://oss-cn-hangzhou.aliyuncs.com

access_key_id = os.getenv('OSS_TEST_ACCESS_KEY_ID', '<yourAccessKeyId>')
access_key_secret = os.getenv('OSS_TEST_ACCESS_KEY_SECRET', '<yourAccessKeySecret>')
bucket_name = os.getenv('OSS_TEST_BUCKET', '<yourBucket>')
endpoint = os.getenv('OSS_TEST_ENDPOINT', '<yourEndpoint>')

# 创建存储空间实例，所有文件相关的方法都需要通过存储空间实例来调用。
bucket = oss2.Bucket(oss2.Auth(access_key_id, access_key_secret), endpoint, bucket_name)


### CSV示例

key =  'python_select.csv'
# 文件内容
content =  'fralychen,love,china'*10
filename =  'python_select.csv'
# 上传一个名为python_select.csv文件
bucket.put_object(key, content)

# 遍历文件上传后的文件目录。
for b in islice(oss2.ObjectIterator(bucket),10):
  print(b.key)


# 通过select_object使用sql语法查询文件。
# def select_object(self, key, sql,
#                   progress_callback=None,
#                   select_params=None,
#                   byte_range=None
#                   )

result = bucket.select_object(key, 'select * from ossobject')
print(result.read())


### JSON示例

key = 'python_select.json'
#content = "{contacts:
#        [
#            {
#            "key1":1,
#            "key2":"love china"
#            },
#            {
#            "key1":2,
#            "key2":"fralychen"
#            }
#        ]
#    }"
content = "{\"contacts\":[{\"key1\":1,\"key2\":\"love china\"},{\"key1\":2,\"key2\":\"fralychen\"}]}"

# 上传一个名为python_select.json文件。
bucket.put_object(key,content)

result = bucket.select_object(key,'select * from ossobject')
print(result.read())

输出示例

您可以在OSS控制台上查看上传后的 python_select.csv 及 python_select.json 文件。

CSV 及 JSON 的示例输出如下：

• CSV 示例输出
• JSON 示例输出

常见 SQL 语句

常见的 SQL 应用场景及对应的 SQL 语句如下表所示：

更多参考

有关 Python SDK API 的更多信息，请参考GitHub。

有关 SelectObject 的更多信息，请参考SelectObject。