百度bosimport工具配置使用

bosimport目录结构:
百度bosimport工具配置使用
首选需要配置client/resources/client.properties,需要配置的内容如下,先判断是从什么类型对象存储导入到百度bos,比如阿里oss则取用client.properties.oss文件,然后拷贝到client的resources目录下并修改文件名为client.properties,然后只需修改下面配置:
百度bosimport工具配置使用
srcAk、srcSk、srcBucketName和src…源对象存储服务器
以及dstAk等四个参数 目标对象存储服务器
然后taskList要配置指向一个文件,taskList如下内容:
百度bosimport工具配置使用
这里面可以行任务文件,因为任务执行是依次每个文件开始执行,拆分为多个任务执行挺不错的。然后每个任务里面内容如下:
百度bosimport工具配置使用
touhao 代表源的bucketName
j6mw68ciyeercwr9ost9.jpg 代表源对象的key
shijiboxtest 代表目标bucketName
sxb/j6mw68ciyeercwr9ost9.jpg 代表即将保存为目标对象的key
没一行就代表一个从oss对象导入到bos对象
每行各个参数之间用空格 隔开 ,注意不是 TAB ,是空格
这四个参数顺序对应
resources/client.properties中的配置,默认不用改动直接能使用
listFormat=srcBucketName;name;dstBucketName;dstObjectName

最后,server目录下的配置默认不用改动,并且运行环境要在linux环境,安装jdk7环境,然后可以执行运行主目录下的start_migration.sh脚本执行,运行完了可以stop_migration.sh 结束任务
运行过程中可以使用命令:
tail -f client/logs/status.log 开查看导入的进度,如下面进度图:
百度bosimport工具配置使用
总共1886个任务,然后进度会一个一个增加,看日志能清楚看到,最后执行完会finished.
百度bosimport导入工具记录这些,或许可能帮助别人,自己也能有收获!