设为首页收藏本站

小牛社区-大数据学习交流社区|大数据免费学习资源

 找回密码
 立即注册!

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 169|回复: 0

大数据、云计算,聊一聊分布式存储,每天学习深入一点点 ...

[复制链接]

124

主题

0

帖子

6

积分

吃土小白

Rank: 1

积分
6
发表于 2018-1-6 08:06:39 | 显示全部楼层 |阅读模式
存储一直是个非常让人头痛的事情,很久以前大家就在提摩尔定律,晶体管数量18个月翻1倍,然后看到CPU这些年飞速的发展,买个手机不是8核都不好意思;网络从百兆,到千兆,到万兆,再到Infiniband,提升不可谓不快;然而,谈到存储,却又慢了下来,全内存价格太高,容量不够大,SSD也没有本质的飞跃。
但是,存储真的非常重要,数据库需要存储;视频推流,CDN需要存储;文件归档需要存储,大数据环境更不用多提存储的重要性。

传统存储是这样用的
传统存储存在的问题(SAN、NAS这类)

存储伸缩:应用负载持续的变化,需要存储能够动态的伸缩,这一点是传统存储不具备的,机头、前后端网络都很难支持;
容错和可靠性:从存储到机头,即使搞所谓的HA,但也几乎不能做到跨多个数据中心的异地可靠性;
策略的配置欠缺:SATA、SAS、SSD等都是资源,根据使用场景不同进行策略配置,才能符合云计算的套路。

分布式存储应该是这样的
什么是分布式存储

分布式存储基于X86服务器,通过软件构建出存储系统,能够很好的解决传统存储存在的问题。主要具备这样几个特点:
高性能:解决了各环节的瓶颈问题,采用了分布式的理念,能够获得很高的性能;
高可靠:不再是单一的硬件设备,而是分布式的集群系统,数据存在多副本,并且能够快速完成数据重建;
易扩展:这个就不多说,没有单一的机头,分布式,可平滑扩展。
易管理:都是X86,没有专用的硬件了,软件管理,UI界面配置。

可以对应一下AWS
分布式存储的分类

分布式存储主要包括分布式块存储、分布式文件存储、分布式对象存储三类。在网上搜了一下,大概对应Amazon AWS是,AWS S3-对象存储,AWS EBS-块存储,AWS EFS-文件存储。
分布式块存储,理解起来类似于SAN块存储,可以进行卷划分,然后装文件系统;
分布式文件存储,理解起来类似于NAS,之前也提过HDFS,用起来就像是普通的文件系统,目录->文件就ok了;
分布式对象存储,OpenStack的Swift也是这个东东,底层也是普通服务器,但接口层用了REST更方便,同时采用Erasure Code让存储成本更低。

深入学习可以学习阿里云,文档全
存储已经进入到了分布式的时代,当然分布式存储的安全加密、数据一致性、QOS保证等也都存在着很强的技术复杂度。(头条号:博识科技 原创首发,总有人不打招呼抄袭,打个标记)

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册!

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册!

本版积分规则

快速回复 返回顶部 返回列表