体验:从零开始使用AWS云存储网关

2012年,AWS发布存储网关,用来打通本地和云端的存储,是照顾企业用户原有数据资产的需求而推出的产品服务,也是因为有了存储网关,云端存储和本地存储建立联系,做统一的数据存储资源池。

存储网关支持的混合云存储能干啥呢?简单而言,能让本地存储对接上云,能备份,归档,做灾难恢复,还能用来做分层存储,这是存储网关最擅长的事儿了。

AWS的存储网关支持用户本地的文件,块和磁带存储,在云端可连接S3,Glacier存储还有EBS快照,分别支持NFS,iSCSI以及磁带库接口。

文件存储网关,将本地的数据存储在云上,本地的文件以对象的形式存储在S3上,文件的元数据和对象的元数据都在云上,而且,云上可以利用多种云服务实现数据分层。

AWS的存储网关提供了标准化的存储协议,能与本地的存储设备对接,在实际使用中,有了存储网关的帮助,用户既能享受到本地的高速缓存存储,也能享受到云端存储的便利。

块存储网关,块存储卷通过iSCSI连到云端,云端备份本地的卷,本地可以从云端创建卷,AWS的云存储网关最大支持1PB。卷网关有两种使用场景:

第一种,存储主要的本地数据,按时间点将数据备份同步到EBS上,每个网关最多支持32个卷,每个卷最大16TB,所以,每个网关最大512TB。

第二种卷网关,用作Cache,将主要数据存放在AWS上,频繁的访问本地的数据,也是按时间点备份存放到EBS,每个网关支持32个卷,每个卷最大32TB,每个网关最大1PB。

磁带网关,把磁带里的备份数据存放到S2和Glacier磁带存储网关上,最大1PB,如果要做云上归档的话,容量没有限制,支持主流的磁带存储备份厂商,Veritas,DELL/EMC,Veeam等。

在各种云存储网关的帮助下,最终云上云下实现无缝跨平台的数据传输,而且用上了云也能享受到低延迟数据存储体验。既然用上了云,自然可以享受到云上各种服务提供的各种便利,比如在监控,管理和安全性等方面。


1,创建IAM role

选择账户类型:AWS services,并选择使用该角色的服务:EC2。点击创建

搜索栏里搜索s3,然后选择,AmazonS3FullAccess。

这个角色是用来管理Gateway所需要的S3存储的,所以,对应我们要创建一个S3bucket。

创建S3 Bucket

创建一个名为boxer-bucket的bucket,一路next默认完成创建。

创建VPC

然后设置访问权限,创建一个VPC,用于连接EC2和本地设备。

点击VPC服务,点击SecurityGroup安全组,命名为OUTREACH:

然后修改一下OUTREACH vpc的进栈出栈规则,打开ssh端口22的入栈,这样我们可以随意用SSH访问这个vpc下的资源。

创建EC2

然后回去创建一个全新的EC2,注意创建的时候选择你创建的IAM roles。其它设置可以选择默认。

下一步选择默认的存储就行,第六步的时候要选你之前创建的安全组:

点击创建虚拟机,记得配置好PEM文件,这个是登录过程中很重要的文件。等新的主机启动好之后用ssh连接,查看一下关联的bucket,这里有两个,其中有一个是我们新创建的。

接下来进入正题,开始设置Stroagegateway。


点击GetStarted开始……

选择默认的文件网关,FileGateWay,文件存储网关,点击Next。

为了方便起见,还是选择ESXi,下载这个大概800多兆的OVA文件,是个zip文件,顺便解压成OVA文件。

然后登陆vSphere Web Client。

点击创建VM。

用刚刚下载的OVA文件创建。

起个名字,然后选中解压的OVA文件,点击Next。

第三步,存储设置选择默认,第四步,Disk Provisioing选择Thick。

第五步,点击完成。

如果不出啥问题的话,虚拟机就会这样启动了,下图是我们新创建的虚拟机。

点击上方的Edit编辑虚拟机配置,点击添加新磁盘,add new disk,设置150GB空间,用作存储网关的cache。

创建完毕后能看见,150GB的磁盘已经挂载到了我们刚才创建的虚拟机上。

我们点击黑色的Console控制台,以账号和密码形式登录。

账号和密码是啥?我在AWS官网上找到了这个,账号是admin,密码是password。

登录AWS-Appliance的Console

这里我们能看到这个虚拟机的一些参数,比如IP地址是:192.168.1.103。

回到AWS的页面中继续创建GateWay,点击Next。输入刚才的IP地址。

设置本地的主机的IP地址

时区选择跟本地主机一个时区,东八区,最好跟本地主机在一个时区。

网关已激活,等着下面刷新出本地虚拟机上的磁盘。

额,看来找不到本地磁盘,网上查了下资料,看来还得重启一下本地虚拟机。

重启机器之后,150GB的磁盘找到了。

Storage Gateway建立完成,已经在运行当中了。


接下来我们体验一下这个云存储网关,设置一下共享文件夹。点击上方的Creata fiile share。填写对应的s3 bucket。

点击Next,Next,最后看到的配置如下图。

注意看看感叹号的内容,说是允许任何NFS客户端的访问,这有点不安全了。点击编辑改成192.168.1.0/24,仅限本地网段的访问。

好,到这里,就算AWS云存储网关的配置完毕了。

我们用本地的机器连一下这个网关,看看能不能把本地的文件存到AWS上。

笔者用的是MacOS,所以就用自带的SSH Terminal来操作吧

1,将当前目录cd到/users/wu_yuzheng/skmc;

2,键入如下命令:sudomount -t nfs -o vers=3,nolock -v 192.168.1.103:/boxer-bucket /dev

挂载成功:

此刻,我的这台小小的Macbookair后端就是存储网关了,试着创建一个文件看看效果吧。

在/user/wu_yuzheng/skmc目录下执行:vim helloAWSGateway.txt

随便打几个字儿,算是又一个HelloWorld吧。

这个txt文件应该已经通过存储网关传到S3里面了,我们可以确认一下。

找到了

所以,我们能看到本地写的文件能轻松的同步到云端,当然也可以访问到云端的数据资源。

那么,云端服务器EC2能否顺利访问这些数据呢?来试试。

 

登录我们刚刚创建的EC2主机,查看一下关联的S3存储。

键入命令:aws s3 ls boxer-bucket。

我们刚才创建的helloAWSGateway.txt出现了。

EC2的访问方式有所不同,本地因为有网关的存在,操作起云端S3就像操作本地一样,EC2查看S3的文件,方式有所不同,我们需要把文件下载下来。

1,创建一个下载目录叫downloads3

2,从aws下载文件到这个目录里面:awss3 cp s3://boxer-bucket/helloAWSGateway.txt downloads3

3,查看一下下载的文件

Hello Nice to meet you AWS Gateway storage,I am boxer~

好的,以上就是这次体验AWS存储网关的全部内容了。需要注意的点还是很多的。


花絮:这次体验,环境搭建是最费时间了:

1,为了这次体验,我先是在本地机器上安装VMware的ESXI,版本上最新的是6.7,因为知道VMware的这套东西很麻烦,新东西的兼容性一般会差点,而且出问题,想百度都很难,所以选择了ESXi6.5。

2,手头也没有物理服务器,首先想在PC上安装一下,为了防止启动项的干扰,我就想装在U盘上算了,后来因为缺少网卡驱动而作罢,最后还是用VMwareworkstation安装出来了。

3,VMware以前有个vSphereClient来着,这次还想下载个这个软件,结果找了半天没有找到vSphere Client 6.5,网上也有很多人在找这个,调查了解后发现,VMware现在不更新这个Client了,现在用webclient更简单,直接在浏览器里敲出来服务器地址就好了。

4,默认的虚拟机给ESXi的容量是40GB,这次测试最好让磁盘大一点,我设置的是400GB,够用了。