时间:2023-07-09|浏览:169
从远古时期原始人以龟甲刻字、结绳记事,再到计算机出现后陆续出现的软盘、硬盘、U盘等,以适应存储数据量的增长。随着人工智能、大数据、云计算等技术的发展,人们与数据的关系越来越密不可分:4K、8K等超高清视频带来更好的视觉体验;移动支付、实时导航、智能音箱等让生活更便捷轻松。
这就导致数据量呈指数级增长。传统的存储方式无法满足需求,存储系统架构需要变革,高效、易于扩展的分布式存储平台应运而生。
根据IDC的数据,到2025年,全球新创建的数据量将达到175ZB,而目前已存储的数据只有1%左右。预计2018-2023年,企业级存储装机容量将以25.1%的复合年增长率增长,其中约40%的存储系统将采用分布式存储架构。
一、分布式存储是什么?
我们先来讲个小故事:
从前有个小村庄,村庄里有个不大不小的人工湖,村民们从几公里外的山上挑水装进桶里。这样自给自足地过了十几年,由于村庄发展壮大,人口增加了,人工湖也越来越大。湖区扩张占用了耕地,每次扩建还要耗费村民的时间和精力,村民们很不满。
终于,村长请教了邻村的智多星先生,他要解决用水问题。
在智多星的帮助下,村里家家户户都打了水井。每口水井有不同的功能,有些可以用来洗衣沐浴,有些可以用来灌溉农田。每当有需要时,村民只需向村长咨询,就能马上找到符合自己需求的水井。
家家户户都有水井
地下水的多样性满足了村民对水量和质量的需求,村民们又过上了安居乐业的生活。
在这个故事中,智多星先生通过分布式架构解决了村民的用水问题。人工湖代表传统的集中式存储,可以不断增加的水井则相当于分布式存储中的节点。传统存储随着数据增多,扩展的代价和支持不同访问方式的难度也在增加,还需要复制方案以确保数据安全。分布式存储的特点则直接解决了这些问题。
二、分布式存储的特点
分布式存储利用多台存储服务器分担存储负荷,并通过位置服务器定位存储信息。它不仅提高了系统的可靠性、可用性和存取效率,还易于扩展,将通用硬件的不稳定因素降到了最低。
1. 支持分级存储以保障高性能
分布式存储通过将热点数据映射到高速存储中,提高系统的响应速度。当这些数据不再是热点时,存储系统会将它们移出高速存储。
可以将高速存储和低速存储分开部署,或者以任意比例混合部署。在不可预测的业务环境或敏捷应用场景中,分层存储能够发挥最佳效果。写缓存技术可以与高速存储配合,明显改善整体存储的性能。
2. 多副本一致性和故障定位来实现高可靠性
分布式存储通常采用一写多读的多副本强一致性技术,保证多个数据副本之间的一致性。当读取数据失败时,系统可以从其他副本读取数据,重新写入故障副本进行恢复。
多时间点快照技术保存了一定时间间隔内的多个数据版本,支持同时提取多个时间点样本用于恢复。如果有多台服务器或虚拟机可以用于系统恢复,通过比较和分析,可以快速确定需要回复的时间点,降低了故障定位的难度和时间消耗。还可以设定数据恢复的带宽规则,最小化对业务的影响。
3. 弹性扩展和异构存储的整合
只需将新节点和原有集群连接到同一网络,旧数据会自动迁移到新节点,实现负载均衡,避免单点过热。当节点添加到集群后,全局容量和性能也会线性扩展,新节点的资源将由管理平台接管,用于分配或回收。
分布式存储首选使用行业标准接口(如SMI-S或OpenStackCinder)进行存储接入,通过将异构存储资源抽象化,将传统的存储设备级操作封装成面向存储资源的操作,实现集中管理存储资源,并自动执行创建、变更、回收等存储生命周期过程。
在当前智能时代,数据呈现出海量、多元和非结构化的特点,企业的IT基础设施正从云+边的双层架构向云-边-端的三层架构进化。存储系统已成为需求响应、软件定义、智能化和多云部署的重要趋势。
分布式平台也将通过闪存等新型介质对系统架构产生重要影响,进一步推动存储领域的变革。
用戶喜愛的交易所
已有账号登陆后会弹出下载