全国免费服务电话:400-788-1068
东莞市创通宝通信科技有限公司
您现在的位置:首页 > 新闻中心 > 行业资讯
东莞监控安装阐述云存储系统难点技术解析
发布时间:2016-11-10 浏览:3212 次

东莞监控安装阐述云存储系统难点技术解析

        云存储在系统架构和设计上,充分考虑大规模集群环境下软硬件发生故障的现实,采用先进的管理思想和软件系统,实现对大量普通存储服务器存储空间资源进行虚拟化整合,实现软硬件故障高度容错,搭建高度稳定可靠的存储集群。系统整体为应用提供统一命名空间,使得系统具备极好的数据共享能力。系统将负载均衡到集群内的各节点上,充分利用集群各节点性能,以获得很好的性能聚合能力以及保证了系统的稳定。集群采用高度灵活自组网技术,提供简易部署和维护功能,系统在数据可靠方面,采用智能冗余重建技术,保证较高磁盘利用率的前提下,提供最佳冗余策略。另外,系统在节点软硬件故障容错方面,也进行充分考虑,具备屏蔽所有可屏蔽错误能力。

         快速文件索引技术

         云存储系统可以支持上亿级的文件,同时还需要支持上千个用户同时访问。这么大规模的元数据和并发访问量,采用传统的内存加盟磁盘多级存储,以及多级索引方式,寻址的开销将非常大,直接影响到系统的可用性。为了提高系统的响应速度,云存储一般采用粗粒度的管理方式,以64M作为典型的块大小进行索引,大幅减少元数据的数量,即使如此,系统的元数据规模还是会达到GB级别。基于这种情况,系统采用全内存态的元数据访问模式,可以将文件寻址时间降到毫秒级别。

        负载自动均衡技术

        采用中心服务器模式来管理整个云存储文件系统,所有元数据均保存在元数据服务器上、文件则被按块划分存储在不同的数据节点上。元数据维护了统一的命名空间,同时掌握整个系统内数据节点的使用情况,当客户端向元数据服务器发送数据读写的请求时,元数据服务器根据数据节点的磁盘使用情况、网络负担等情况,选择负担最轻的节点服务器对外提供服务,自动调解集群的负载状态。数据节点内同时有提供磁盘级的负载均衡,根据磁盘的10负载,空间容量情况,自动选择负载最轻的磁盘存储新的数据文件。另外对故障的数据节点上的数据快速恢复,只需将数据节点上的硬盘拨出,插入到其他数据节点,这样即减少集群对数据恢复的压力,又不对客户端读写产生影响。

         高速并发访问技术

        客户端在访问云存储时,首先访问元数据服务器,获取将要与之进行交互的数据节点信息,然后直接访问这些数据节点完成数据存取。客户端与元数据服务器之间只有控制流,而无数据流,这样就极大地降低了元数据服务器的负载,使之不成为系统性能的一个瓶颈。客户端与数据节点之间直接传输数据流,同时由于文件被分成多个节点之间直接传输数据流,同时由于文件被分成多个节点进行分布式存储,客户端可以同时访问多个节点服务器,从而使得整个系统的I/O高度并行,系统整体性能得到提高。通常情况下,系统的整个吞吐率与节点服务器的数据呈正比。

         高可靠性保证技术

         对于元数据,通过操作日志来提供容错功能。主要服务器本地SSD盘组建高可靠RAIDI,提供高可靠容错能力。当元数据服务器发生故障时,在磁盘数据保存完好的情况下,可以迅速恢复以上元数据。且操作日志在主备元数据服务器之间实时同步,实现更高程度的可靠性。对于节点服务器,采用Erasure Code冗余方式实现容错,数据冗余分布存储在不同的数据节点上。任一数据节点的损坏,不会导致任何数据丢失,不会影响任何的数据访问和写入过程。之后,通过灵活数据恢复机制,进行数据重建过程。集群规模越大,恢复速度越快。

        以上文章来源由东莞监控安装http://www.chtonb.com.cn创通宝科技整理提供。

公司简介|联系我们|项目合作|友情链接|网站地图
Copyright © 2014广东创通宝通信科技有限公司 All Rights Reserved.       粤ICP备12034587号          技术支持:光速东莞网站建设
创通宝科技致力于为客户提供全方位的弱电智能化工程服务
电话:0769-83736568 13380121669   |   传真:0769-22305978   |   邮箱:0769@chtonb.com
点击这里给我发消息 东莞公司
点击这里给我发消息 惠州业务
点击这里给我发消息 中山业务
点击这里给我发消息 佛山业务