随着全世界数据量逐渐呈现出爆炸性的增长趋势,数据保护领域的产品层出不穷,人们对大数据存储、备份和恢复重要性的认识也逐渐增强。在对市场需求现状作出精准把握的基础上,公司利用自身团队优势和技术优势等,积极开展大数据高速存储和备份系统的研发工作。公司自主研发的爱科赛尔大数据高速存储和备份系统(去了解一下>>)产品利用原始数据去重(Dedup)、文件级远程备份和恢复、虚拟机备份和恢复等国际先进水平的关键技术,可实现将海量数据在短时间内从一个用户端高速备份到一个或多个存储系统上,之后若在用户端上的数据由于各种原因丢失或损坏,可以通过我们的这一系统将已保存的数据从存储系统上高速恢复到用户端供用户使用。

处在互联网社会,无论是日常工作、学习、社交、理财还是娱乐,我们每天都在与数字、文档、图片、音频、视频……这些非机构化数据打交道。人类每天都在创造无数数据,据IDC报告显示,全世界的数据量正在以指数级增长,每两年翻一番。预计到2020年全球数据总量将超过40ZB(相当于4万亿GB),这一数据量是2011年的22倍。互联网的本质和核心其实就是 “数据化”。因此从某种角度我们可以断言,随着信息时代的演变和发展,整个人类的历史将以数据的形式被记录和保存下来,数据是静态的历史,历史是动态的数据。后人可以通过大量丰富的数据来分析、解构人类历史的进步与发展,在迷雾中看清问题、发现盲点,从而更好地把握未来。

那么全世界这么多的数据量,未来都将存放在哪里呢?答案是存储系统。若企业自己购买服务器也并非不可以,然而对于业务量、数据量庞大的企业或机构来说,这种方式从长远来讲显然无法满足不断激增的数据的存储需求,并且有以下几个明显缺点:1. 存取速度慢、影响工作效率;2.成本高,数据没有经过压缩和去重;3. 可靠性差;4. 服务器、磁盘阵列等硬件设备需要占据的物理空间也会越来越庞大。

随着互联网+的兴起,传统行业与IT行业进行了完美融合,社会和经济的转型升级使人类由IT时代逐步走向了DT(Data Technology,数据处理技术)时代,而数据显然已经成为一种资产。既然是资产,就必然要有一种安全妥善的储存方式,就像现金保险柜一样,保护财产不受损失。爱科赛尔大数据高速存储和备份系统提供的就是这样一种高速、高可靠、高容量的数据存储和保护服务,银行、医院、政府部门、数据中心、科研院所……等众多机构都有着大量数据存储和备份需求,并且这种需求随着时间的推移和社会的发展会越来越强烈,我们的系统和服务将直接对接这种需求,为用户的数据资产提供安全保障。

与一般的大数据存储和备份系统供应商相比,除了对原始数据运用Dedup去重技术之外,我公司的主要创新技术还包括:用普通SSD做高速缓冲控制器、磁盘阵列写漏洞消除、系统最低运行网速仅低至256KBPS、通过互联网的文件级远程备份和恢复、虚拟机备份和恢复、远程高速镜像以及高可用(HA)系统Cluster、基于Hadoop的网络存储系统等。

公司以技术研发和产品创新为主线,以服务客户为宗旨,以客户需求为导向,自成立以来一直在数据存储、备份和恢复领域耕耘不辍,为有数据保护需求的企业或个人提供存储和备份的定制产品和服务。我们将站在客户角度,根据他们的自身情况并结合其特定需求,为客户定制一套妥善解决其数据存储、备份和恢复需求、同时性价比最高的系统解决方案。

下面介绍我们产品和服务的使用情况、系统解决方案以及对应的工作示意图。

 

 
一、亿级像素超高清复眼视觉感知AI系统

杜克大学计算机成像中心与我公司就“分布式存储”、“流媒体服务器”和“人工智能检测算法”展开深度研发合作。所开发的亿级像素超高清复眼视觉感知AI系统以超高清阵列相机作为前端采集硬件,可实现100米范围内超高清人脸识别、300米车牌识别,1公里移动物体识别,2公里肉眼清晰可见。

本系统利用TensorRT深度学习框架,运行自主研发的人脸监测CNN网络,充分使用前端摄像头的GPU来完成实时的人脸检测分析。此外,通过阵列相机采集的监控录像文件通过爱科赛尔视频云存储系统进行压缩去重处理之后储存在服务器上,系统内部采用最新H.265压缩算法,大大降低系统内部存储及网络传输数据量,并且服务器可以灵活放置于靠近相机就近机房或监控中心。

不同于传统监控系统下细节不清晰、覆盖成本高、操作太复杂等缺陷,产品采用多种智能算法对接方式,实现对人脸,车牌亿级像素清晰回放,大场景大画面保证完美提升客户智能应用体验,提供满足识别的清晰度优势,是到目前为止世界上唯一的亿级像素视频安防系统,将对现有安防格局产生重大影响。

 
二、数据备份和恢复

数据包括文件、目录和数据库文件,备份和恢复作为信息化的最后一道防线,是数据保护领域不可或缺的手段。首先介绍以下3种基础备份方式:

2.1 基于源文件系统的本地备份

基于源文件系统产生多个定时和实时备份,只有源文件系统,没有目标文件系统,其优点是节省了存储目标文件系统和对应快照的磁盘空间。

2.2 从源文件系统到目标文件系统的本地备份

这种备份方式一般是把同一台存储系统上的一个源文件系统备份到另外一个不同的目标文件系统,因为有源文件系统,目标文件系统和它们对应的快照,所有占用磁盘空间是1备份方式的2倍,但多了一层保护。

在关键业务环境中,用户需要对其有价值的数据实施强有力的保护。借助于这两种备份方式强大的本地复制功能,包括快照和卷复制/镜像,能极大的帮助用户更有效率地保护数据。通过节省空间的快照图像,用户可以在需要时非常方便地恢复数据;并且利用全数据备份,当数据卷发生损坏时,用户也可以快速地恢复业务。

2.3 从源文件系统到目标文件系统的远程备份

把一台存储系统上的一个源文件系统通过广域网备份到另外一个不同存储系统上的目标文件系统,因为有源文件系统、目标文件系统和它们对应的快照,所有占用的磁盘空间是1备份方式的2倍,但多了一层可靠的保护。

由于远程备份是通过广域网进行的,所以速度比前两种方式都慢。

然而,它的优点也很明显:节约成本,使信息共享更方便,数据易管理、搜索、获取和传输,提高运营和管理效率。

三、虚拟机备份和恢复

虚拟化所带来的前所未有的敏捷性、灵活性和业务弹性,使数据备份与恢复技术也进入了虚拟机时代。资源池的建立和调度使备份手段更加丰富,高效进行计算、管理和调度的同时还可以节省成本。目前我们已经实现虚拟机支持快照,我公司的数据高速备份和恢复系统软件不仅能够恢复细颗粒度的文件或应用数据,还能够快速还原整个虚拟机和虚拟化应用程序,完成高度优化备份和快速恢复功能。

3.1 本地虚拟机备份

服务器虚拟化可以将资源消耗集中在较少的物理服务器中,支持快速、灵活且可靠地备份和恢复应用程序和数据,减少大多数IT服务器架构都存在的空闲周期,从而解决服务器扩张、资源消耗、高可用性等相关问题。

我们可以把多台虚拟机通过局域网备份到一台存储系统上,有定时和实时备份两种方式。之后我们对备份的虚拟机快照进行高压缩和高去重,这样可以极大地节省存储空间。

3.2 远程虚拟机备份

把多台虚拟机通过局域网备份到一台存储系统上,再通过文件系统的远程备份把这些虚拟机备份到另外一个远程的存储系统上。

我们的大数据高速存储和备份系统软件完美集成到虚拟机备份过程中,使这种备份方式能够实现高可靠和自动化,并方便用户加以使用。

目前国内领军的存储系统厂商如华为、华三、同有、爱数等品牌尚未能提供虚拟机备份和恢复服务,不谦虚地说,我们的产品在国内乃至国际上的存储系统领域都走在技术的前沿。随着虚拟化应用的深入,备份恢复也要与时俱进,从功能、性能到内涵都发生了深刻变化。因此对用户来说,应该时刻关注技术的发展和变化,选择最优秀、最先进的产品,让自己的业务网络和信息资产安全无误,从而高枕无忧。

 
四、私有云存储系统

我们可以用一套或多套存储系统为用户构建一个内部的私有云存储系统,私有云存储系统相对于阿里云和百度云这样的公有云存储系统具有如下优点:

1)在单位内网运行,更加安全和可靠;

2)上传和下载文件速度较快;

3)每个用户的存储空间可以根据需要自己定义;

4)可以存储多个文件的版本;

5)用户端使用浏览器,不用安装用户端软件,并且同样能实现断点续传,大大提高办公效率。

私有云存储是我们为某一个企业客户单独使用而构建的,它的核心属性是专有资源。不同于公有云,私有云是建立在企业自有设施的基础之上的,它能够提供对数据、安全性和服务质量的最有效控制。企业拥有基础设施,并可以控制在此基础设施上部署应用程序的方式。尤其是对自身已经建立了较为完善的硬件设施的成熟企业而言,只要通过我们的技术和资源进行必要的升级改造,这些原有的硬件资源可以在私有云的建设中被充分利用起来。

我们将在企业内部的机房内架设一组云存储服务器,置于企业防火墙之内,也可以部署在一个安全的主机托管场所,且受企业安全策略及管理制度的防护,将数据真正撑控在自己手中。企业员工依然可以像访问熟知的互联网网盘一样,使用企业内部的私有云存储。

他们可以在自己的私有云数据中心内安全放心地享有以下权利:

1) 在网络覆盖的范围内手机、平板、电脑可以随时实现文件同步;

2) 部门之间可以安全地进行文件共享;

3) 所有人对文件的操作行为均可以被记录;

4) 登录身份认证机制与企业现有管理机制相结合;

5) 存放于数据中心的文件具备高强度的加密。

企业建立属于自己的私有云数据中心(Private Cloud Data Center)可以确保公司内部数据得到安全的存储和备份。我们为用户构建和提供能处理庞大数据量的云数据中心系统,快速合理地组织和存储海量系统数据。用户根据数据的性质和需要,可以选择以每10分钟、半小时、1小时或1天等频率自动备份一次。日后一旦需要,用户就可以从自己的数据中心系统中快速把存储的数据调用出来。

此外,在云计算环境下服务器利用率的提高将大大改善数据中心的工作效能,更灵活的应用部署也将带来管理效能的提升。

根据不同用户的实际需求和现有资源,我们将搭配最适合他们的高效存储平台解决方案,让用户轻松应对爆炸式增长的存储需求,整合其目前已有的存储设备,统一存储资源管理,降低管理复杂度,减少存储成本,提高存储设备的整体使用效率。

 
五、高可用系统(HA)

5.1 基于LAN的高可用双活系统(Active-Active)

双活系统作为存储系统架构中的重点解决方案,早已跨越概念阶段,成为了很多重要客户保障其业务连续性的基础。

主从HA系统只有一台服务器提供服务,双活系统的高可用性在于两台主机可同时提供服务;当其中一台主机宕机时,另一台主机将接替它(Fail-over),继续为用户提供数据服务。

当两台服务器为用户提供服务时,整体系统性能比主从服务群(Cluster)性能更好;当一台主机宕机、另一台主机继续为用户提供服务时,整体系统性能与主从服务群(Cluster)性能一样好,因此这种配置总体上优于下面的主从系统配置。

双活系统架构的重要组成和硬件配置是负载均衡器(Load Balancer), 它可以把网络请求分散到一个服务器集群中的可用服务器上去,管理进入的Web数据流量和增加有效的网络带宽。每个磁盘框可装12块3.5寸8TB硬盘或24块2.5寸2TB硬盘。

这种存储系统解决方案的常用客户案例是银行的核心业务区域,基于银行的业务需求和对存储管理的要求,无论是在存储架构的成熟稳定性方面,还是系统性能、可靠性、易维护性方面,双活系统都是其不二选择。

5.2 基于LAN的高可用主从系统(Active-Passive)

基于LAN的高可用主从系统方式可以最大程度解决主机故障情况。用户数据一般存放在磁盘阵列上,当主机正常工作时,从机处于未激活状态,不能访问磁盘阵列;若主机发生宕机,从机代替主机为用户提供服务,继续从磁盘阵列上取得原有数据,保证存储设备的正常访问和运行。

每个磁盘框的配置同上,可装12块3.5寸8TB硬盘或24块2.5寸2TB硬盘。

5.3 基于WAN的高可用多系统(HA)

简单说,集群就是一组计算机或存储系统为一个整体为用户提供网络资源,单个计算机或存储系统就是集群的节点(Node)。一台主存储系统通过WAN最多可以与15台从存储系统组成高可用多系统群(High Availability Cluster),用户通过Web接口只能使用主存储系统上的数据。这种结构方式可提升系统调用性,使集群的整体服务尽可能可用,从而减少由计算机硬件和软件易错性所带来的损失。如果某个节点失效,它的备援节点将在几秒钟的时间内接管它的职责。因此,对于用户而言,集群永远不会停机。

高可用多系统的主要作用就是实现故障检查和业务切换的自动化。只有两个节点的高可用集群称为双机热备,即使用两台服务器互相备份。当一台服务器出现故障时,可由另一台服务器承担服务任务,从而在不需要人工干预的情况下,自动保证系统能持续对外提供服务。双机热备只是高可用集群的一种,我们的高可用集群系统可支持两个以上的节点,提供比双机热备更多、更高级的功能,更能满足用户不断变化的需求。

六、基于LAN和WAN的高速镜像(Mirror)

通过LAN或WAN把Apache服务器、数据库(MS SQL、 Oracle和MySQL等)和磁盘阵列从一台存储系统高速镜像到另一台存储系统上。

此方案可以提高数据备份和数据恢复可靠性及效率,可同时进行多份拷贝操作,并且在进行单一备份时不会对主系统性能产生任何影响。

七、本系统与其它系统间的数据交换

本存储系统可以通过Samba、NFS或SAN Share与Windows服务器、Linux服务器、Mac服务器和其它存储系统进行数据交换。

需要注意的是,本存储系统与服务器、其他存储系统之间的数据交换必须在局域网下进行

八、数据库运行在SAN Share上

配置任何一个文件系统为SAN Share,这样用户可以安装并运行整个数据库在这个SAN Share上,存储系统可以对在这个SAN Share上的数据库文件进行压缩和去重,从而极大地节省了数据库占用的磁盘空间。

九、两种分布式网络存储系统架构

传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。随着互联网的兴起,数据创造的主体由企业逐渐转向个人用户,而个人所产生的绝大部分数据均为图片、文档、视频等非结构化数据,企业办公流程更多通过网络实现,表单、票据等都实现了以非结构化为主的数字化存档。结构化与非结构化数据量加速爆发,云计算、大数据时代的到来对存储空间的需求呈指数级上升,传统集中式存储在成本、可扩展性等方面存在的劣势日益显著,于是分布式存储逐步兴起,广泛应用于泛互联网化应用领域。

分布式存储系统,是将数据分散存储在多台独立的设备上。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。

我们为用户提供以下两种分布式网络存储系统架构。

9.1 以本系统为节点的SAN网络存储系统

SAN是一个用在服务器和存储资源之间的、专用的、高性能的网络体系。它为实现大量原始数据的传输而进行了专门的优化。

用光纤通道构建的SAN由以下三个部分组成:1)存储和备份设备:包括磁带、磁盘和光盘库等;2)光纤通道网络连接部件:包括主机总线适配卡、驱动程序、光缆、集线器、交换机、光纤通道和SCSI间的桥接器;3)应用和管理软件:包括备份软件、存储资源管理软件和存储设备管理软件。

SAN架构的优势如下:1)网络部署容易;2)易于存储和备份;3)高性能:因为SAN采用了光纤通道技术,所以它具有更高的存储带宽,存储性能明显提高;4)非常好的扩展性:由于SAN采用了网络结构,扩展能力更强。光纤接口提供了10公里的连接距离,这使得实现物理上分离、不在本地机房的存储变得非常容易。

我们的一体机最大可用存储空间为800TB,以它为单个节点,用100台一体机构建的SAN网络存储系统可用存储空间为80000TB,约80PB,可以称得上是大数据存储系统。其中一台是主机,其余是从机,用户通过主机可以存取所有一体机上的数据。

这种存储架构可以方便地根据存储需求来动态配置网络存储系统,每增加一个节点,可以增加800TB的可用存储空间。

9.2 以本系统为节点的Hadoop大数据分布式存储系统

我们的一体机最大可用存储空间为800TB,以它为单个节点,用100台一体机构建的Hadoop分布式存储系统可用存储空间为80000TB,约80PB,可以称得上是大数据存储系统,这样的系统与用普通服务器作节点构建的Hadoop分布式存储系统相比,速度和数据压缩去重率是后者的3倍,是目前世界上性能最好的基于Hadoop的大数据分布式存储系统。

这种系统还可以方便地根据存储需求来动态配置网络存储系统,每增加一个节点,可以增加800TB的可用存储空间。