使用 mc (MiniIO Client) 命令行工具

# 配置源和目标MiniIO
mc config host add source http://source-minio:9000 <ACCESS_KEY> <SECRET_KEY>
mc config host add target http://target-minio:9000 <ACCESS_KEY> <SECRET_KEY>

# 迁移数据
mc cp --recursive source/bucket target/bucket

使用rclone工具

# 配置rclone.conf
[source]
type = s3
provider = Minio
access_key_id = <ACCESS_KEY>
secret_access_key = <SECRET_KEY>
endpoint = http://source-minio:9000

[target]
type = s3
provider = Minio
access_key_id = <ACCESS_KEY>
secret_access_key = <SECRET_KEY>
endpoint = http://target-minio:9000

# 执行同步
rclone sync source:bucket target:bucket

使用AWS CLI

bashCopyaws s3 sync \
    --endpoint-url http://source-minio:9000 \
    s3://source-bucket \
    s3://target-bucket \
    --endpoint-url http://target-minio:9000

安装方法

AWS CLI

使用 apt 安装（简单但可能不是最新版本）：

bashCopysudo apt update
sudo apt install awscli

rclone

sudo apt update
sudo apt install rclone

工具对比

MinIO 数据迁移工具对比

特性	rclone	AWS CLI	mc (MinIO Client)
安装复杂度	中等	简单	简单
配置复杂度	中等	简单	简单
断点续传	支持	支持（有限）	不支持
增量同步	支持	支持	支持
带宽限制	支持	不支持	不支持
并发控制	支持	有限支持	有限支持
传输速度	快	中等	中等
错误恢复	优秀	一般	一般
日志详细度	高	中等	低
过滤规则	丰富	基础	基础
常用命令	rclone sync/copy	aws s3 sync/cp	mc mirror/cp
监控进度	详细	基础	基础
存储服务支持	多种	主要是S3兼容	仅MinIO/S3
内存占用	中等	低	低
适用场景	- 大规模迁移 - 定期同步 - 复杂规则 - 需要详细监控	- 简单迁移 - AWS生态 - 基础S3操作	- MinIO日常管理 - 简单迁移 - 基础操作
特殊优势	- 功能最全面 - 性能最好 - 配置灵活	- AWS生态集成 - 命令简单 - 广泛使用	- MinIO原生工具 - 简单直观 - 管理功能全面
主要缺点	- 配置较复杂 - 学习曲线陡	- 功能相对有限 - 不支持带宽限制	- 功能较基础 - 性能一般
推荐场景	- 大规模数据迁移 - 需要精细控制传输过程 - 复杂的同步规则 - 跨多种存储服务传输	- AWS/S3生态系统内使用 - 简单的迁移任务 - 需要脚本自动化 - 团队已熟悉AWS工具	- MinIO日常管理操作 - 简单的数据迁移 - 需要MinIO特定功能 - 轻量级使用场景

实际操作

选用 rclone进行数据迁移

# 运行配置向导
rclone config

按照向导选择下面的内容

# 按照提示输入：
# n) New remote
# name> minio-source  (输入名称)
# Storage> s3        (选择 s3)
# provider> Minio    (选择 Minio)
# env_auth> false    (选择 false)
# access_key_id>     (输入 access key)
# secret_access_key> (输入 secret key)
# endpoint>          (输入 MinIO 地址，如 http://localhost:9000)
# location_constraint> 
# acl>

配置文件

生成配置文件路径

~/.config/rclone/rclone.conf
大概样子这样，可以手动编辑

[prod-60-old]
type = s3
provider = Minio
env_auth = false
access_key_id = xxxxx
secret_access_key = xxxxxx
endpoint = http://xxxxx


[prod-60-new]
type = s3
provider = Minio
access_key_id = xxxx
secret_access_key = xxxx
endpoint = http://xxxx

我的目标是将 prod-60-old数据全部迁移到 prod-60-new

同步全部桶

#!/bin/bash

# 配置
SOURCE="prod-60-old"
DEST="prod-60-new"
LOG_FILE="sync_$(date +%Y%m%d_%H%M%S).log"


# 日志函数
log() {
    echo "[$(date '+%Y-%m-%d %H:%M:%S')] $1" | tee -a "$LOG_FILE"
}

# 开始同步
log "开始全量同步"

# 获取所有桶并检查命令是否成功
bucket_list=$(rclone lsd ${SOURCE}:)
if [ $? -ne 0 ]; then
    log "获取桶列表失败"
    exit 1
fi

# 从输出中提取桶名
echo "$bucket_list" | while read -r line; do
    bucket=$(echo "$line" | awk '{print $5}')
    
    log "开始同步桶: $bucket"
    
    # 修改后的同步命令
    rclone sync \
        ${SOURCE}:${bucket} \
        ${DEST}:${bucket} \
        -P \
        --transfers 8 \
        --checkers 16 \
        --stats 30s \
        --stats-one-line \
        --retries 3 \
        --low-level-retries 10 \
        --timeout 60s \
        --contimeout 60s \
        --buffer-size 64M \
        --max-backlog 10000 \
        --size-only \
        --ignore-times \
        --no-update-modtime \
        2>> "$LOG_FILE"
    
    # 检查同步结果
    if [ $? -eq 0 ]; then
        log "桶 $bucket 同步成功"
    else
        log "警告: 桶 $bucket 同步失败"
    fi
    
    log "------------------------"
done

log "全部同步完成"

慢慢等待吧。。。