Amazon S3云存储服务器的功能及编程接口

出处：http://blog.csdn.net/iamshaofa/article/details/7877785

 

Amazon S3是一种云上的存储服务器，其功能仅在于存储。和普通的服务器不同，它没有操作界面，连一般的SSH命令登录功能都没有。和它打交道的话，一种办法是用它的管理界面，另一种是借助其编程接口。

 

1.名词和术语

AWS Account：Amazon Web Service Account, 一般一个公司会申请一个帐户，可以认为管理员帐户。

IAM User：一般AWS只有少数人掌握，为了操作的方式，添加子帐户称为IAM帐户，每个帐户有不同的权限。无论是AWS还是IAM帐户，都有一个Access Key ID和一个Secret Key。在Amazon Web 管理界面上登录时使用帐户名，而用编程接口交互时都用的是Access Key ID和Secret Key，其中ID是16个字符，Secret是40个字节。

Bucket：    可以理解为一个很大的磁储硬盘，其容量以T为单位，当然，你肯花的钱越多就可以买到更大容易的S3。一个AWS帐户可以创建N个（N<100）个bucket。bucket的名称作为domain name的一部分，例如，如果bucket名称叫mybucket，则其全称为http://mybucket.s3.amazonaws.com/

Object：Bucket的文件，不过在这里称为资源更好些。在Bucket所有的Object呈Flat状排列，每个Object有一个唯一的Key，可以理解为URI。需要注意的是，Bucket里没有目录树的概念，虽然一个Object Key可能显示为 a/b/c/my.jpg，并不意味着有a, b, c三个目录和一个my.jpg的文件。事实上，只有一个资源，其名称Key就是一个全路径而已。

     Object Key: 表示其名称，在bucket内全局唯一，实际就是一个可带斜线/的字符串，如/a/b/c/my.jpg

     Object Meta: 描述其大小，ACL等

     Object Value: 就是Object的内容，其长度为Meta里长度

     Object Version: 默认不带版本支持的，只要显示的设置bucket之后才有Version概念

Access Control：S3上的Object默认是不能public访问的，这意味着，你上传一个Object的Key=a/my.html，并不能直接通过http://mybucket.s3.amazonaws.com/a/my.html直接访问，会提示Access Denied，只要在设置权限(ACL或Policy之后才可以访问)

 

2.常用操作

S3服务器提供了SOAP/HTTP接口，官方称为REST API。同时为了使用了方便在其上封装了一层SDK，支持Java, PHP, .Net, Ruby接口，可惜的暂时没有C++接口。一般程序员们可以用它的SDK，还是很方便的，满足大部分操作的需求。

先声明一些变量

 

    String accessKeyID = "xxxxxxxxxxxxxx";
    String secretKey = "yyyyyyyyyyyyyyyyyyyyyyyyyyyyy";
    String bucketName = "zzzzzzzzzz";

    AWSCredentials credentials;
        AmazonS3 s3Client;
        credentials = new BasicAWSCredentials(accessKeyID, secretKey);
        s3Client = new AmazonS3Client(credentials);

(1) 查看可用的bucket

 

只要给定了AWS Account / IAM User的ID和Secret，就可以直接遍例出所有该用户可以访问的bucket。当然，bucket一般是建议由管理员在页面上设置的，一般在程序里不需要对bucket进行操作。

 

List<Bucket> buckets = s3Client.listBuckets();

for (Bucket bucket : buckets)
{
    System.out.println("Bucket: " + bucket.getName());
}

(2) 查看bucket下所有的object

 

 

ObjectListing objects = s3Client.listObjects(myBucketName);
do
{
    for (S3ObjectSummary objectSummary : objects.getObjectSummaries())
    {
        System.out.println("Object: " + objectSummary.getKey());
    }
    objects = s3Client.listNextBatchOfObjects(objects);
} while (objects.isTruncated());

实际上，可以按前缀进行list操作，不然要list的东西太多了。

 

 

ListObjectsRequest listObjectsRequest = new ListObjectsRequest()
    .withBucketName(bucketName)
    .withPrefix(prefix)
    ;

ObjectListing objects = s3Client.listObjects(listObjectsRequest);
              ...

【补充 1012-08-21】

按目录层次查询：虽然S3服务器上并无目录的概念，但是在List接口上添加了按层次查询的支持，具体就是Prefix和Delimiter的结合，一般Delimiter就是斜线/。具体解释一下，就是如果存在:

china/beijing/a.txt

china/beijing/b.txt

china/anhui/c.txt

china/all.txt

想列出china/下的第一级层次，可以设置prefix="china/", delimiter="/",通过ObjectListing的getCommonprefixes()得到china/beijing/, china/anhui/共两项（子目录），通过getObjectSummaries()得到china/all.txt （叶子节点）。

 

 

ListObjectsRequest listObjectsRequest = new ListObjectsRequest()
    .withBucketName(bucketName)
    .withPrefix(prefix)
    .withDelimiter("/")
    ;


   ObjectListing objects = s3Client.listObjects(listObjectsRequest);
   do
   {
    for(String objKey : objects.getCommonPrefixes())
    {
        System.out.println("+ " + objKey);
    }

       for (S3ObjectSummary objectSummary : objects.getObjectSummaries())
       {
        String objKey = objectSummary.getKey();
        //keyList.add(objKey);
        System.out.println(objKey);
       }
       objects = s3Client.listNextBatchOfObjects(objects);
   } while (objects.isTruncated());

 

(3) 上传文件

 

需要强调的是，本地文件系统有目录的概念，但是在S3上没有目录的概念，其URI只是作为Object的key出现。这里顺便在添加的时候赋予该Object一个Public Read权限，以便可以匿名访问。

 

File file = new File(localPath);

// 默认添加public权限
s3Client.putObject(new PutObjectRequest(bucketName, s3Path, file)
    .withCannedAcl(CannedAccessControlList.PublicRead));

 

  (4) 多线程上传

在文件比较大的时候，有必要用多线程上传。

 

TransferManager tm = new TransferManager(s3Client);
TransferManagerConfiguration conf = tm.getConfiguration();

int threshold = 4 * 1024 * 1024;
conf.setMultipartUploadThreshold(threshold);
tm.setConfiguration(conf);

Upload upload = tm.upload(bucketName, s3Path, new File(localPath));
TransferProgress p = upload.getProgress();

while (upload.isDone() == false)
{
    int percent =  (int)(p.getPercentTransfered());
    System.out.print("\r" + localPath + " - " + "[ " + percent + "% ] "
            + p.getBytesTransfered() + " / " + p.getTotalBytesToTransfer() );
    // Do work while we wait for our upload to complete...
    Thread.sleep(500);
}
System.out.print("\r" + localPath + " - " + "[ 100% ] "
        + p.getBytesTransfered() + " / " + p.getTotalBytesToTransfer() );

// 默认添加public权限
s3Client.setObjectAcl(bucketName, s3Path, CannedAccessControlList.PublicRead);

(5) 删除Object

 

 

DeleteObjectRequest request = new DeleteObjectRequest(bucketName, s3Path);
s3Client.deleteObject(request);

 

(6) 重命名Object

         没有直接的命名接口，而是借用copy接口来实现。

         重命名分为2步：(1) 调用copy接口，作一个拷贝
                                       (2) 调用delete接口，删除原来的Object

 

System.out.println(s3PathOld + " -> " + s3PathNew);
S3Object obj = s3Client.getObject(new GetObjectRequest(bucketName, s3PathOld));
       s3Client.copyObject(bucketName, s3PathOld,
            bucketName, s3PathNew);
       deleteFile(s3PathOld);

 

 

 

3.Access Control权限设置

上面有个简单的ACL设置，一般也够用了。如果此篇受大家欢迎的话，我再补上更详细的说明。