如何快速将数据传输到云主机？

数据传输是云主机运维中的高频操作，但面对动辄几十GB的大文件或海量小文件，很多人常陷入“龟速传输”的困境，结合七年云计算运维经验，分享五个立竿见影的实战方案。

一、协议选型决定传输天花板

1、SSH加密通道方案

   scp -C -c aes256-gcm@openssh.com /本地文件路径 user@云主机IP:/目标路径

• 关键参数：-C启用压缩，-c指定加密算法（避免使用默认的弱加密）

• 实测对比：AES-GCM算法比CBC模式传输效率提升40%

2、Rsync增量同步利器

   rsync -avz --progress --partial -e "ssh -p 2222" /本地目录/ user@host:/目标目录

•--partial支持断点续传

•-z压缩传输，对文本类文件效果显著

• 企业级技巧：搭配--bwlimit=50000限制带宽（单位KB），避免挤占业务流量

二、对象存储的中转妙用

当跨国传输遇上百毫秒级延迟时，可借助OSS/COS对象存储：

1、通过多线程客户端（如AWS CLI的--parallel）上传到存储桶

2、云主机内使用预签名URL+多线程下载工具（aria2）拉取

   aria2c -x16 -s20 "https://oss.example.com/file?sign=xxx"

• 实测16线程下载比单线程快8倍以上

三、TCP协议栈深度调优

在/etc/sysctl.conf中配置：

net.core.rmem_max = 16777216  
net.core.wmem_max = 16777216  
net.ipv4.tcp_sack = 1  
net.ipv4.tcp_timestamps = 1  
net.ipv4.tcp_window_scaling = 1

执行sysctl -p生效后，TCP传输窗口从默认的2MB扩展到16MB，跨国传输场景下吞吐量可提升300%。

四、冷数据迁移专用方案

对于TB级历史数据迁移，推荐：

• 物理设备快递：AWS Snowball/阿里云闪电立方

• 成本对比：100TB数据跨国传输，专线费用约3.2万元，而设备寄送方案仅需1.1万元

五、避坑指南

1、小文件陷阱

先打包再传输：

   tar -cf - /目录 | pigz -p 8 | ssh user@host "unpigz | tar xf - -C /目标路径"

• pigz多线程压缩比传统gzip快5倍

2、元数据瓶颈

ext4文件系统在10万级小文件场景下，建议先转换为squashfs镜像：

   mksquashfs src_dir image.squashfs -comp xz -Xdict-size 1M

传输完成后务必做完整性校验：

sha256sum 源文件 | ssh user@host "sha256sum -c"

从生产经验看，没有“万能传输法”，跨国业务优先选对象存储中转+多线程下载；内网环境直接用调优后的rsync；物理迁移超过50TB必用专用设备，最后提醒：任何传输操作前，必须做好数据备份和传输隔离，本人曾亲历因rsync误同步导致生产数据被覆盖的惨痛案例。

文章摘自：https://idc.huochengrm.cn/zj/7902.html