皮皮网

1.Linux下rsync+sersync实现数据实时同步
2.在Linux系统中批量删除多个文件的方法总结
3.对Linux上使用LUKS加密的部分进行备份
4.大神教你：Lsyncd复制并实时同步到远程服务器

Linux下rsync+sersync实现数据实时同步

       防止数据丢失，确保数据有备份，并且实时备份，是实时同步的目的。实时同步通过检测当前目录的变化并触发同步至远程服务器，以保证数据连续性，网络在线测速源码降低维护成本。

       sersync与rsync是常用的文件同步工具，两者结合实现高效实时数据同步，尤其适合需要实时备份或同步大量数据的环境。当sersync检测到文件变化时，自动调用rsync同步至远程服务器或备份服务器，减少数据传输，提高数据一致性和安全性。

       在配置sersync和rsync实现文件同步时，需要分别在两台服务器上进行设置。mysql5.7.17 源码首先，确保服务器的防火墙已关闭，然后分别安装sersync和rsync。sersync可能不在官方软件仓库中，需从源代码或预编译的二进制文件安装。查看并修改notify参数，确保其值适当。接下来，编辑sersync的confxml.xml配置文件，设置监控目录、目标服务器信息和同步选项。配置完成后，启动sersync服务。

       对于目标服务器，确保rsync已安装。github上优秀源码若未安装，可通过包管理器安装。在目标服务器上配置rsync，编辑/etc/rsyncd.conf或创建新配置文件，定义模块和同步选项。创建密码文件，并确保其权限严格，只有所有者可读写。启动rsync守护进程，完成同步配置。

       测试同步功能时，在源服务器的/home目录下创建用户目录和新建文件，检查目标服务器上是否实时同步显示。确保一切正常工作，以实现有效数据同步。d壹电玩 源码

在Linux系统中批量删除多个文件的方法总结

       当我们在linux系统中要删除数万或者数十万甚至数百万的文件时使用rm -rf *就不太好用，因为要等待很长一段时间。在这种情况之下我们可以使用linux系统命令rsync来巧妙的处理。rsync实际上用的是替换原理，处理数十万个文件也是秒删。

       1. rsync安装，有些系统默认安装有该命令

       ubuntu系统：

       代码如下:

       sudo apt-get install rsync

       fedora 系统：

       代码如下:

       sudo yum install rsync

       其他的可以源码安装，到下面的网站下载

       /TargetHolding/bdsync.git

       $ cd bdsync

       $ make

       $ sudo cp bdsync /usr/local/sbin

       $ sudo mkdir -p /usr/local/man/man1

       $ sudo sh -c 'gzip -c bdsync.1 /usr/local/man/man1/bdsync.1.gz'

       Fedora或CentOS/RHEL

       代码如下:

       $ sudo yum install git gcc openssl-devel

       $ git clone /TargetHolding/bdsync.git

       $ cd bdsync

       $ make

       $ sudo cp bdsync /usr/local/sbin

       $ sudo mkdir -p /usr/local/man/man1

       $ sudo sh -c 'gzip -c bdsync.1 /usr/local/man/man1/bdsync.1.gz'

       对LUKS加密的设备实施非现场增量备份

       我假定你已经准备好了一个LUKS加密的块设备作为备份源(如，/dev/LOCDEV)。同时，我假定你也有一台远程主机，用以作为源设备的备份点(如，/dev/REMDEV)。

       你需要在两台系统上具有root帐号访问权限，并且设置从本地访问远程的装修戏源码之家无密码SSH访问。最后，你需要安装Bdsync到两台主机上。

       要在本地主机上初始化一个远程备份进程，我们需要以root执行以下命令：

       代码如下:

       # bdsync "ssh root@remote_host bdsync --server" /dev/LOCDEV /dev/REMDEV | gzip /some_local_path/DEV.bdsync.gz

       这里需要进行一些说明。Bdsync客户端将以root打开一个到远程主机的SSH连接，并执行带有--server选项的Bdsync客户端。明确说明一下，/dev/LOCDEV是我们的本地主机上的源LUKS块设备，而/dev/REMDEV是远程主机上的目标块设备。它们可以是/dev/sda(作为整个磁盘)，或者/dev/sda2(作为单个分区)。本地Bdsync客户端的输出结果随后被管道输送到gzip，用来在本地主机中创建DEV.bdsync.gz(所谓的二进制补丁文件)。

       你第一次运行上面的命令的时候，它会花费很长一段时间，这取决于你的互联网/局域网速度，以及/dev/LOCDEV的大校记住，你必须有两个大小相同的块设备(/dev/LOCDEV和/dev/REMDEV)。

       下一步是要将补丁文件从本地主机拷贝到远程主机。一种方式是使用scp：

       代码如下:

       # scp /some_local_path/DEV.bdsync.gz root@remote_host:/remote_path

       最后一步，是要在远程主机上执行以下命令，它们会将补丁文件应用到/dev/REMDEV：

       代码如下:

       # gzip -d /remote_path/DEV.bdsync.gz | bdsync --patch=/dev/DSTDEV

       我推荐在使用真实数据部署Bdsync前，使用一些(没有任何重要数据)小分区来做这些测试。在你完全弄懂整个设置是如何工作之后，你可以开始备份真实数据。

       尾声

       小结之，我们演示了如何使用Bdsync来为LUKS设备实施增量备份。和rsync一样，每次备份只有一小部分数据，而不是整个LUKS设备，需要被推送到非现场备份点，这样会节省带宽和备份时间。剩下来，需要通过SSH或SCP来保证所有数据传输的安全，事实上设备自身是由LUKS加密的。也可以通过使用可以运行bdsync的专用用户(而非root)来改进该配置。我们也可以将bdsync用于任何块设备，如LVM卷或RAID磁盘，也可以很轻易地设置Bdsync备份本地磁盘到USB驱动器上。如你所见，它有着无限可能性!

大神教你：Lsyncd复制并实时同步到远程服务器

       Lsyncd监视本地目录树事件监视器接口(inotify或fsevents)。它聚合并将事件组合在一起几秒钟，然后生成一个(或多个)进程来同步这些更改。默认情况下，由rsync实现同步。因此，Lsyncd是一种轻量级的实时镜像解决方案，相对容易安装，不需要新的文件系统或块设备，也不会妨碍本地文件系统的性能。

       Rsync+ssh是一种高级操作配置，它使用ssh来执行文件和目录直接在目标上移动，而不是在线路上重新传输移动目标。细粒度的定制可以通过配置文件实现。自定义动作configs甚至可以从头编写，从shell脚本到Lua语言编写的代码。这种方法简单，强大，灵活的配置可以被解决。

       Lsyncd 2.2.2要求在所有源和目标机器上rsync = 3.1。

       系统环境：

        RenwoleServer：... 服务端

        RenwoleClient：... 客户端

        OS：CentOS Linux release 7.4. (Core) x

       rsync的安装

        请参阅：《CentOS7 Configuring Rsync Server》。

       安装扩展依赖包

       $ yum install -y gcc gcc-c++ lua lua-devel cmake libxml2 libxml2-devel

       源代码编译安装lsyncd

       $ wget /axkibe/lsyncd/archive/release-2.2.2.tar.gz$ tar xvf release-2.2.2.tar.gz$ cd lsyncd-release-2.2.2$ cmake -DCMAKE_INSTALL_PREFIX=/usr/local/lsyncd$ make amp;amp; make install$ ln -s /usr/local/lsyncd/bin/lsyncd /usr/bin/lsyncd安装过程可能报错：-- Configuring incomplete, errors occurred!

       安装lua-devel即可。

       设置无密码SSH登录

       因为这里使用rsyncssh进行同步，所以还需要配置root账号无密码ssh登录。详细配置请参阅：

        《如何在Linux中设置SSH无密码登录》

       配置lsyncd

       以下是三种常用配置案例

       1.远程同步rsyncssh模式配置方案：

       $ vim /etc/lsyncd.confsettings { logfile = /var/log/lsyncd.log,

        --日志路径 statusFile = /var/log/lsyncd.status, --状态文件 pidfile = /var/run/lsyncd.pid,

        --pid文件路径 statusInterval = 1,

       --状态文件写入最短时间 nodaemon = false,

       --daemon运行 maxProcesses = 1,

       --最大进程 maxDelays = 1,

       --最大延迟}sync { default.rsyncssh, --默认rsync+ssh,rsync版本需要升级3以上版本 source = /apps/www/renwoleblog/,

        --源目录 delete = true,

       --保持完全同步

        host = root@...,

        targetdir = /apps/www/renwoleblog/bak/, --目标目录 exclude={

       .txt

        --需排除的文件 },rsync = { binary = /usr/bin/rsync, --需先安装好rsync archive = true,

        --归档 compress = false,

        --压缩 owner = true,

       --属主 perms = true,

       --权限 whole_file = false },ssh = { port = }}

       2.本地目录同步配置方案：

       sync { default.rsync, source = /apps/www/renwoleblog/, target = /apps/www/renwoleblog/bak/,}

       3.远程同步rsync-daemon模式配置方案

       sync { default.rsync, source = /apps/www/renwoleblog/, target = renwole@...::renwolecom, delete=true, exclude = { .bak* }, delay = , init = false, rsync = { binary = /usr/bin/rsync, archive = true, compress = true, verbose = true, perms = true, password_file = /etc/rsync.password, _extra = { --bwlimit=} }}

       重点参数说明：

       --

        # 注释符settings # 是全局配置sync # 定义同步参数rsync # 定义同步文件参数ssh

       # 定义服务器远程端口

       lsyncd配置文件允许多个sync互不影响。

       说明：如果是一对多，请参阅本地同步，修改目标目录即可。

       创建systemctl系统单元文件

       为了实现systemctl进行管理，请创建配置文件以及脚本启动文件，命令如下：

       $ vim /etc/sysconfig/lsyncd添加如下内容：LSYNCD_OPTIONS=/etc/lsyncd.conf创建启动文件：$ vim /usr/lib/systemd/system/lsyncd.service添加如下内容：[Unit]Description=Live Syncing (Mirror) DaemonAfter=network.target[Service]Type=simpleEnvironmentFile=-/etc/sysconfig/lsyncdExecStart=/usr/local/lsyncd/bin/lsyncd -nodaemon $LSYNCD_OPTIONS[Install]WantedBy=multi-user.target

       启动lsyncd并加入开机自启动

       $ systemctl start lsyncd$ systemctl enable lsyncd接下来你就可以往源服务器/apps/www/renwoleblog/内上传任意文件，完成后立刻就会同步到客户端 ... /apps/www/renwoleblog/bak/目录内，也可以查看服务端的lsyncd日志文件分析是否同步成功。例如：[root@RenwoleServer ~] $ cat /var/log/lsyncd.log...Fri Dec :: Normal: Calling rsync with filter-list of new/modified files/dirs/PCHunter_renwole.com.tar.gz/Fri Dec :: Normal: Finished (list): 0Fri Dec :: Normal: Calling rsync with filter-list of new/modified files/dirs/PCHunter_renwole.com.tar.gz/Fri Dec :: Normal: Finished (list): 0Fri Dec :: Normal: Calling rsync with filter-list of new/modified files/dirs/PCHunter_renwole.com.tar.gz/Fri Dec :: Normal: Finished (list): 0

       日志内容显示PCHunter_renwole.com.rar文件成功同步。

       另外lsyncd是基于inotify + rsync的开源同步软件，相对于其他同步软件更加安全可靠，占用资源更少，但配置略麻烦。

       lsyncd 还支持当监控到某个指定事件时就执行什么样的命令，由于是通过时间延迟和累计事件命中次数来触发同步，在设计上要优于inotify，另外他的同步速度完全取决于你的网络质量。