• 欢迎光临本网站,有人模仿我的站 注意:本站唯一域名:www cnit5 com(原创稿件投递)请联系:QQ442727852期待与您的合作!
  • 设为首页 设为首页 收藏 收藏本站
  • 首页
  • IT行业
  • IT新闻
  • IT资讯
  • 数码产品
  • IT人物
  • 科技资讯
  • IT财经
  • 手机资讯
  • 游戏新闻
  • 区块链
  • IT资讯网
    主页 > IT行业 >
  • 还在用Ceph吗?不如试试性能更好的碧海存储

  • 发布时间:2019-03-26 17:23  来源:www cnit5 com 作者:IT行业资讯网
  • 4.09K
  • 对于分布式存储产品,朋友们第一反应总是:基于Ceph的吗?

    Ceph、HDFS、Glusterfs、Lustre、BeeGFS都是优秀的分布式文件系统,是我们学习的榜样。但碧海存储系统是坚持近十年、一次自主研发的尝试。碧海存储系统具有良好的扩展能力,业界领先的优异性能,在重负载时系统运行稳定,IO性能波动小。

    1.系统架构与可扩展性

    碧海存储采用无中心架构,基于分布式NoSQL数据库方式管理名字空间,目录访问具有更好的性能,并支持搜索功能;基于一致性hash算法实现数据定位,彻底消除传统存储中元数据服务器所带来的可扩展性瓶颈;系统从3节点起步,可轻松扩展至上千个节点。

    碧海存储支持块、文件、对象多种存储方式。

    碧海存储系统属于软件定义存储,可部署在标准的x86、ARM、飞腾、申威、龙芯等服务器上。   

    2.数据保护

    碧海存储系统无单点故障,实现了磁盘级、节点级、机架级的容错。支持多副本、纠删码、RAID,以及RAID+多副本等多种容错方式,可针对不同的数据安全和存储成本需求选择不同的容错方式。多副本之间使用强一致性协议。

    碧海存储系统以自适应速率方式修复受损数据:既可避免修复流量影响业务负载,又可以在系统空闲时全速率修复,降低数据丢失风险。

    1.jpg

    3.性能优化技术

    分布式存储系统的IO路径很长,从客户端的消息编码、发送,到数据存储服务器端的消息接收、解码,从磁盘读写数据,再发回应答。每个环节处理不好都会拖慢整体的性能。只有处理好每一个细节,才能取得优异的性能。

    在所有影响性能的因素中,并发性是第一重要的因素。

    目前计算机系统中应用程序级别实现并发的方法,主要有进程池、线程池、基于非阻塞IO的事件驱动等方式。学术界和工业界对这些方法的优劣存在长期的争论,新编程语言的出现也使得这一选择更加难以分辨。实践是检验真理的标准。碧海存储系统在开发过程中,尝试比较了所有的方法,最终选择“进程池+事件驱动”的并发模型,每个CPU启动一个IO进程,每个进程内部使用事件驱动模型。这样既能够发挥多核CPU的性能,又消除了多线程并发方式导致的调度开销和锁开销,为优异性能奠定了基础,程序的容错性也更好。当然,事件驱动模式使得程序的开发和调试更加困难,这是其代价。

     

    其它面向性能优化的措施有:

    ● 通信协议设计大量使用复合过程,减少IO交互次数

    使用二进制编解码方式;

    使用类似于Slab、复杂度为O(1)的缓存管理算法;

    基于零拷贝方式在不同模块间传递数据,避免数据拷贝;

    在处理大数据量时,使用高效的算法和数据结构。

    4.流控与IO公平性

    分布式系统中,流控可能是最具挑战性的问题之一。既要高吞吐量、低延迟,又要避免网络拥塞和存储系统IO Hang,这也是TCP协议发展几十年,还需要不断研究和发展的原因。

    碧海存储系统并没有设计新的流控算法和机制,而是充分利用了TCP的流控机制,实现了端到端的流控。在具体实现中,流控问题转换为缓冲区的分配问题。在收到读请求时,立即为其预留缓存区,而不是在执行读操作时因缺乏缓冲区而返回失败;写请求也采取同样策略;只有当可用缓冲区大小超过设定阈值时才接收新的读写请求,否则不再接收新的请求。这样就可以从全局避免类似于“receive-livelock”问题。

    在分布式存储系统中,多副本的推送会形成环状的依赖关系,相互等待,导致性能剧烈波动。碧海存储系统采用数据写入磁盘后才发送确认的方式,抑制发送方过快发送数据。

          碧海存储系统实现了针对TCP连接的IO公平性调度。在多个业务共享存储系统时,运行更稳定。在VDI场景中,能够实现多个虚机同时显示登录界面的效果。

     

    5.易用性

    碧海存储系统的易用性,源自对用户体验的极致追求,每个菜单和交互过程,都力求符合用户的直觉。用户无需编写任何配置文件,部署实施简单快速,20节点1PB容量的存储系统可在15分钟内创建完成;Web界面简洁,运维管理轻松直观,集群、节点、磁盘实时性能状态一目了然。长达一年的历史性能记录,为业务负载分析、故障排错提供强有力的支持。

          6.性能测试

    2.png

    3.png

     

    在使用固态盘和native客户端时,碧海存储系统的随机读IOPS达到ceph的3倍,随机写性能达到Ceph的4倍;读写延迟分别为Ceph的1/3和1/4(对比版本为:Ceph 12.2.5)。碧海存储系统的性能也超越了优异的同类产品Scaleio。

    7.客户体验

    目前碧海存储已经广泛应用于虚拟化与私有云、海量文件存储、高性能计算等业务领域,客户覆盖金融、教育、医疗、政府等行业。其优异性能、稳定可靠、易于使用等优点得到了客户的肯定和好评。

    有人模仿我们的网站请记住我们的唯一地址(www cnit5 com)为您提供以上文章内容。郑重声明:IT行业资讯网站刊登/转载此文出于传递更多信息之目的 ,并不意味着赞同其观点或论证其描述。本站不负责其真实性。
    上一篇:积极推动5G应用生态建设,一加5G App畅想创新马拉松活动圆满落幕
    下一篇:夏普多款8K电视率先获得国内权威机构认证
  • 图说天下
  • 物联网如何优化工业部门的成本 物联网如何优化工业部门的成
  • 您的网站可以从AR或VR功能中受益吗? 您的网站可以从AR或VR功能中
  • “提速降费”落在实处,广州联通释放科技创造新活力 “提速降费”落在实处,广州
  • 工业互联网已进入大发展时代 工业互联网已进入大发展时代
  • 2018年我国动漫产业市场概况分析 2018年我国动漫产业市场概况
  • 58同城10亿入住我爱我家 房产中介风起云涌? 58同城10亿入住我爱我家 房
  • 新风口下 新风行业的破局之路如何走? 新风口下 新风行业的破局之
  • IT行业有前景么?一个10年行内人的6点看法 IT行业有前景么?一个10年行
  • 现在IT行业中学什么最有发展前景? 现在IT行业中学什么最有发展
  • 论IT行业发展前景 论IT行业发展前景
  • 首页 | IT行业 | IT新闻 | IT资讯 | 数码产品 | IT人物 | 科技资讯 | IT财经 | 手机资讯 |
  • Copyright @ 2012 {dede:global.cfg_basehost/, Copyright © 2002-2014 CNIT5. IT资讯网 IT新闻网 IT行业网 版权所有
    欢迎广大网友来本网站投稿,网站内容来自于互联网或网友提供,有人模仿我的站(本站唯一域名地址:www cnit5 com)