写点什么

快速复制文件 rsync、tar

用户头像
唯爱
关注
发布于: 2020 年 06 月 09 日

1、快速大量小文件复制



a. 本机不同磁盘之间复制:



  • 复制目录$ tar cvf – /home/src_dir | tar xvf - -C /opt

[root@ansible yd]# tar -cvf - /root/yd/ | tar xvf - -C /root/bak/

把/root/yd/目录复制到/root/bak/下



  • 复制文件$ tar cf – access.log |tar xf - -C /opt



Tips:快速tar打包的一些小技巧以及常用的tar使用



  • tar 快速打包(仅打包不压缩传输,耗时比较短)

  • tar 常用的一些命令



b. 跨网络不同主机之间复制 tar+nc:



思路:在网络环境中传输时,打包再结合nc命令,通过管道和tcp端口进行传输。

比如 A往B主机传输数据



i. 在机器B上,用nc来监听一个端口,任意都行,只要不被占用;并且将收到的数据用tar展开。-l代表监听模式。



$ nc -l 34183 |tar -C /data1datasets/norm/ -zxf -



ii. 接着,在A上通过nc和 tar发送data_01目录。使用一致的34183的端口。



$ tar -zcvf - data_01 |nc 192.168.0.1 34183



2、快速删除大量小文件 或者 大文件



2.1 快速删除大量小文件



rsync提供了一些跟删除相关的参数
rsync --help | grep delete
--del an alias for --delete-during
--delete delete files that don't exist on the sending side
--delete-before receiver deletes before transfer (default)
--delete-during receiver deletes during transfer, not before
--delete-after receiver deletes after transfer, not before
--delete-excluded also delete excluded files on the receiving side
--ignore-errors delete even if there are I/O errors
--max-delete=NUM don't delete more than NUM files
其中--delete-before 接收者在传输之前进行删除操作



可以用来清空目录或文件,如下:



1. 建立一个空目录
mkdir -p /del_blank
2. 确立需要清空的目标目录
/del_data
3. 使用rsync同步删除(注意目录后面的“/”),整体效率会快一个数量级的样子。
rsync --delete-before -a -H -v --progress --stats /del_blank/ /del_data/
选项说明:
–delete-before 接收者在传输之前进行删除操作
–progress 在传输时显示传输过程
-a 归档模式,表示以递归方式传输文件,并保持所有文件属性
-H 保持硬连接的文件
-v 详细输出模式
-stats 给出某些文件的传输状态
一般我们不需要显示进度,使用以下命令即可
rsync --delete-before -a -H /del_blank/ /del_data/
  这样我们要删除的 del_data目录就会被清空了



2.2 快速删除大文件



如何删除特别大的文件(数量级),比如nohup.out这样的实时更新的文件,动辄都是几十个G上百G的,也可

以用rsync来清空大文件,而且效率比较高 。



1、创建空文件
touch /data/blank.txt
2、用rsync清空文件
rsync -a --delete-before --progress --stats /data/blank.txt ./nohup.out
building file list ...
1 file to consider
blank.txt
0 100% 0.00kB/s 0:00:00 (xfer#1, to-check=0/1)
Number of files: 1
Number of files transferred: 1
Total file size: 0 bytes
Total transferred file size: 0 bytes
Literal data: 0 bytes
Matched data: 0 bytes
File list size: 27
File list generation time: 0.006 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 73
Total bytes received: 31
sent 73 bytes received 31 bytes 208.00 bytes/sec
total size is 0 speedup is 0.00



tips:



当SRC和DEST文件性质不一致时将会报错
当SRC和DEST性质都为文件【f】时,意思是清空文件内容而不是删除文件
当SRC和DEST性质都为目录【d】时,意思是删除该目录下的所有文件,使其变为空目录
最重要的是,它的处理速度相当快,处理几个G的文件也就是秒级的事
最核心的内容是:rsync实际上用的就是替换原理



用户头像

唯爱

关注

天行健,君子以自强不息~ 2018.03.22 加入

梦想还是要有的,万一实现了呢!

评论

发布
暂无评论
快速复制文件rsync、tar