博客
关于我
python调用aws api操作s3
阅读量:603 次
发布时间:2019-03-12

本文共 1937 字,大约阅读时间需要 6 分钟。

首先需要配置密钥和密码

创建配置文件夹
mkdir ~/.aws
创建配置文件

vim ~/.aws/config[default]output = json   #输出格式region = ap-northeast-2  #默认区域

创建密钥文件

vim ~/.aws/credentials[default]aws_access_key_id = *****aws_secret_access_key = ****

编写上传脚本

vim

#!/usr/bin/pythonimport loggingimport boto3from botocore.exceptions import ClientErrordef upload_file(file_name, bucket, object_name=None):    """Upload a file to an S3 bucket    :param file_name: File to upload    :param bucket: Bucket to upload to    :param object_name: S3 object name. If not specified then same as file_name    :return: True if file was uploaded, else False    """    # If S3 object_name was not specified, use file_name    if object_name is None:        object_name = file_name    # Upload the file    s3_client = boto3.client('s3')    try:        response = s3_client.upload_file(file_name, bucket, object_name)    except ClientError as e:        logging.error(e)        return False    return Truedef main():    """Exercise upload_file()"""    # Set these values before running the program    bucket_name = 'test-bucket'    file_name = 'testfile'    object_name = 'testfile'    # Set up logging    logging.basicConfig(level=logging.DEBUG,                        format='%(levelname)s: %(asctime)s: %(message)s')    # Upload a file    response = upload_file(file_name, bucket_name, object_name)    if response:        logging.info('File was uploaded')if __name__ == '__main__':    main()

下载脚本

#!/usr/bin/pythonimport boto3import botocoreBUCKET_NAME = 'test-bucket' # replace with your bucket nameKEY = 'testfile' # replace with your object keys3 = boto3.resource('s3')try:    s3.Bucket(BUCKET_NAME).download_file(KEY, 'testfile')except botocore.exceptions.ClientError as e:    if e.response['Error']['Code'] == "404":        print("The object does not exist.")    else:        raise

使用aws cli上传下载

#上传aws s3 cp ./testfile s3://testbucket/   #下载aws s3 cp s3://testbucket/testfile ./

更多python操作示例

转载地址:http://qabxz.baihongyu.com/

你可能感兴趣的文章
Nginx配置静态代理/静态资源映射时root与alias的区别,带前缀映射用alias
查看>>
Nginx面试三连问:Nginx如何工作?负载均衡策略有哪些?如何限流?
查看>>
nginx:/usr/src/fastdfs-nginx-module/src/common.c:21:25:致命错误:fdfs_define.h:没有那个文件或目录 #include
查看>>
Nginx:NginxConfig可视化配置工具安装
查看>>
Nginx:现代Web服务器的瑞士军刀 | 文章末尾送典藏书籍
查看>>
ngModelController
查看>>
ngrok | 内网穿透,支持 HTTPS、国内访问、静态域名
查看>>
ngrok内网穿透可以实现资源共享吗?快解析更加简洁
查看>>
ngrok内网穿透可以实现资源共享吗?快解析更加简洁
查看>>
NHibernate学习[1]
查看>>
NHibernate异常:No persister for的解决办法
查看>>
Nhibernate的第一个实例
查看>>
nid修改oracle11gR2数据库名
查看>>
NIFI1.21.0/NIFI1.22.0/NIFI1.24.0/NIFI1.26.0_2024-06-11最新版本安装_采用HTTP方式_搭建集群_实际操作---大数据之Nifi工作笔记0050
查看>>
NIFI1.21.0_java.net.SocketException:_Too many open files 打开的文件太多_实际操作---大数据之Nifi工作笔记0051
查看>>
NIFI1.21.0_Mysql到Mysql增量CDC同步中_日期类型_以及null数据同步处理补充---大数据之Nifi工作笔记0057
查看>>
NIFI1.21.0_Mysql到Mysql增量CDC同步中_补充_插入时如果目标表中已存在该数据则自动改为更新数据_Postgresql_Hbase也适用---大数据之Nifi工作笔记0058
查看>>
NIFI1.21.0_Mysql到Mysql增量CDC同步中_补充_更新时如果目标表中不存在记录就改为插入数据_Postgresql_Hbase也适用---大数据之Nifi工作笔记0059
查看>>
NIFI1.21.0_NIFI和hadoop蹦了_200G集群磁盘又满了_Jps看不到进程了_Unable to write in /tmp. Aborting----大数据之Nifi工作笔记0052
查看>>
NIFI1.21.0_Postgresql和Mysql同时指定库_指定多表_全量同步到Mysql数据库以及Hbase数据库中---大数据之Nifi工作笔记0060
查看>>