如何找出哪些文件/桶最常被公开下载?

问题描述:

我通过存储静态&像css,js,图像,pdf等的可下载内容来使用Google云端存储

如何找出我的哪些文件以及正在下载哪个存储桶很多 ?

我的帐单只是显示: 云存储下载亚太地区:924.637 Gibibytes(来源:谷歌存储项目[GS-项目名称]) - US $ 110.84
这是很多了一个月,我想删除这些文件。

有没有这方面的统计资料?如何找出哪些文件/桶最常被公开下载?

当前可用的查看按存储桶或对象细分的用法的方法是为每个存储桶启用访问日志。一旦启用,GCS将导出CSV文件,其中包含有关对这些存储桶中的对象发出的所有请求的信息。该信息可被聚集到找到正在下载顶部对象/桶:

参见:https://cloud.google.com/storage/docs/access-logs

  1. 创建一个区来储存使用日志:

    gsutil mb gs://my-logs-bucket 
    gsutil acl ch -g [email protected]:W gs://my-logs-bucket 
    gsutil defacl set project-private gs://my-logs-bucket 
    
  2. 启用使用率记录您的所有存储桶:

    gsutil logging set on -b gs://my-logs-bucket gs://my-bucket1 
    gsutil logging set on -b gs://my-logs-bucket gs://my-bucket2 
    .. 
    
  3. 在月底,无论是在GS下载的CSV://我-日志桶并对其进行分析,或者它们加载到BigQuery的分析:

    wget http://storage.googleapis.com/pub/cloud_storage_usage_schema_v0.json 
    bq mk storageanalysis 
    bq load --skip_leading_rows=1 storageanalysis.usage \ 
        gs://my-logs-bucket/*_usage_* ./cloud_storage_usage_schema.json 
    
    bq shell 
    > SELECT cs_object, SUM(sc_bytes) AS sc_bytes 
        FROM [storageanalysis.usage] 
        ORDER BY sc_bytes desc LIMIT 20 
    .. 
    > SELECT cs_bucket, SUM(sc_bytes) AS sc_bytes 
        FROM [storageanalysis.usage] 
        ORDER BY sc_bytes desc LIMIT 20 
    .. 
    > QUIT 
    
+0

感谢,并感谢介绍到BigQuery的。尽管在Google Analytics(分析)中自动使用此功能会很理想。 – anjanesh