和力记易:删除重复数据 减少资源占用

现如今,硬盘的容量越来越大,数据和文件也越来越多。但很多时候,公司的硬盘的各处往往充满了重复文件,手工删除十分费劲。当我们在公司或企业里对这些数据进行备份时,会占用文件服务器很多硬盘空间,也会消耗很大的带宽和更多的硬件资源。学习重复数据的删除和实时备份将是企业的信息主管们的必修课,可以真正减轻自己的工作量,提升工作效率,也能够减少企业的开销。笔者这里给出相应的技术解决方案,供大家参考。

一、实现客户机的文件排重

一个单位、企业有很多的员工,每一位员工都使用一台客户机,员工们平时生成的文件都放在客户机上,而且重复文件很多。这些重复文件属于冗余数据,如果不删除,而是直接使用文件备份软件备份到文件服务器上,对于客户机、服务器和网络负载要求很好,也浪费这些资源。因此,我们首先要实现客户机的文件排重,之后再备份到文件服务器上。

第一步:下载软件

从http://vdisk.weibo.com/s/4h2XC处下载得到FindDump.rar压缩包,将其中的所有文件解压到一文件夹下,如f:finddump下。

第二步:设置排重文件夹

进入f:finddump文件夹,双击其中的dirlist.txt,里面填写欲排重的文件夹,如:c:Walkbox排重文件夹(如图1),表示要对“c:Walkbox排重文件夹”下的文件进行排重操作。如果有多个文件夹需要排重操作,也可以隔一行写上相应的路径即可,出现在后面的文件夹中的文件被认定为重复的文件。

图1 写上排重文件夹

第三步:暂时关闭360安全卫士

由于排重操作会调用系统底层的接口,所以会被360安全卫士误认为是木马或病毒,这时可以暂时关闭360安全卫士:右击任务栏托盘处360安全卫士图标,选择“退出”命令。在打开的窗口中选择“暂时关闭1小时”(如图2)。

图2 暂时关闭360安全卫士

小提示

如果您要进行排重操作的文件很多,那请将暂时关闭时间再延长一些,如暂时关闭3小时或暂时关闭8小时,甚至可以完全关闭退出。

第四步:生成MD5码

双击f:finddump文件夹下的makemd5.cmd文件,此时会弹出如图3所示的窗口,表明正在生成MD5码,以供后面排重操作。此时一定不能关闭这个窗口,而要等待这个窗口自行消失。

图3 正在生成MD5码

小提示

如果你在中途不小心关闭了这个窗口,请双击makemd5.cmd文件重新开始生成MD5码。

第五步:关闭回收站

右击桌面上的“回收站”图标,选择“属性”命令,选择“不将文件移到回收站中。移除文件后立即将其删除( R)。”单选按钮,再单击“确定”按钮(如图4)。

图4 关闭回收站

进行这样设置后,我们排重的文件将不会被送入回收站而是直接删除掉!

小提示

★如果您对于删除的重复文件仍想找回,可以不进行上述步骤。这样删除的重复文件将会被送至回收站,您只要不清空回收站,可以随时恢复;

★重复文件删除后,不要忘记开启回收站功能,以防止误删除的文件无法找回。

第六步:开始进行数据排重

双击f:finddump文件夹下的cleandump.cmd文件即可开始排重操作(如图5),经过此操作后,c:Walkbox排重文件夹下的所有重复文件将会被删除掉。

图5 正在进行排重操作

二、清除字节数为0的文件和文件夹

同时,我们排重后的文件(夹)有可能会出现0字节的情况,所以我们有必要清理这些文件(夹),这里我们要用到xxcopy这个免费的软件。首先从 http://www.xxcopy.com/download/xxcopy.zip处下载xxcopy.zip,然后将其中的所有文件解压到一文件夹 下,根据操作系统的类别,进入32bit或64bit文件夹,再双击install.bat文件来进行安装。当安装程序询问时,一律按下Y键可把它安装到 系统文件中,以方便调用。

接下来编写一个delfiles.cmd,内容如下:

xxcopy ./rmdir/sz:0 /yy /wv0

xxcopy*.* /sz:0 /s /h /yy /rs /wv0

将此文件拷贝到c:Walkbox排重文件夹下,然后双击delfiles.cmd则会将其下的0字节的文件(夹)全部删除掉。

三、将排重清理后的文件备份到文件服务器

以上操作,网管们可以将工具和相应的批处理文件发给员工,并教会他们如何操作,这样整个局域网内就几乎没有重复数据了。接下来,我们要将这些排重清理后的文件自动地备份到文件服务器上,并且能够进行实时备份和回退操作。这里推荐使用和力记易的“UPM数据管理仓”软件。

第一步:安装“UPM数据管理仓”服务端

先从http://vdisk.weibo.com/s/4hbLo处下载到“UPM数据管理仓”服务端,并将其安装到文件服务器上。之后,单击“开始”→“程序”→“PDM 在线存储服务器”→“服务器配置向导”开始配置向导。

一般单击“下一步”继续,在如图6所示的窗口中设置admin管理员密码。之后一路单击“下一步”按钮,直到最后一步时选中“使用监控服务器”复选框,并单击“完成”按钮(如图7)。

图6 设置管理员密码

图7 使用监控服务器功能

第二步:获取试用许可并建立更多帐号

1.安装客户端

在局域网内任意一台客户机上用IE浏览器打开http://192.168.88.1:695/地址(假设文件服务器的IP地址为 192.168.88.1),会打开如图8所示的页面,单击“下载”链接,会得到NSSetup.exe文件,这是“UPM数据管理仓”的客户端,双击它 并安装它。

图8 下载“UPM数据管理仓”的客户端

2.登录到服务端

接下来,单击“开始”→“程序”→“PDM 网络版”→“PDM 网络版”,会看到一个“有备无患”的悬浮窗口,右击它,选择“连接到存储服务器”命令,在打开窗口中应该可以找到局域网内的文件服务器。如果没有找到,可 以单击下方的“新建”按钮来新建一个,如图9所示,我们新建了一个IP地址为192.168.88.1的服务器,并输入先前创建的管理员帐号admin和 相应密码,单击下方的“连接”按钮就登录到“UPM数据管理仓”的服务端了。

图9 登录到服务器

3.获取试用许可

由于安装的是“UPM数据管理仓”试用版,因此我们要获取试用许可,否则将会造成某些功能无法使用。选择“服务器”→“服务器配置”命令,可以看到如图10所示的窗口,选择许可用用户数,再单击“在线获取”即可(如图10)。

图10 获得试用许可

4.建立更多帐号

接下来,单击“服务器”→“用户管理”,在打开的窗口中单击一一新建用户或直接单击“批量”按钮来批量生成用户名,密码初始为空。如图11所示,笔者建立了UPM1-UPM10一共10个用户。

图11 建立更多帐号

第三步:修改用户密码并实时备份文件

信息主管可以告诉员工安装并启动“UPM数据管理仓”的客户端,选择“用户”→“修改口令”来修改自己的密码,这样自己实时备份的文件就不会被别人看到了(如图12)。

图12 修改用户密码

接下来,可以将客户机上的文件夹(如c:Walkbox排重文件夹)拖放到“有备无患”悬浮窗口,在打开的窗口中选中“添加到实时监控任务”复选框,并单击“确定”按钮。这些文件(夹)就会自动上传到文件服务器。

而且,由于我们勾选了“添加到实时监控任务”复选框(如图13),所以我们在c:Walkbox排重文件夹下生成或修改文件,也会一并实时地备份到文件服务器。

图13 勾选“添加到实时监控任务”复选框

第四步:实现文件容错回退操作

接下来,员工在c:Walkbox排重文件夹下生成新文件或者修改文件,都会被“UPM数据管理仓”的服务端所截获,并会生成相应的备份文件。 如果文件有多次修改,文件服务器都会保留。在客户端中选中相应文件夹,右击,并选择“下载”命令,会看到如图14所示的窗口。在这里可以选中“时间点或以 前的文件”复选框,并设置要回退到的时间点即可。这样就算改错了文件,也不会工作和业务产生任何不良影响。

图14实现文件容错回退操作