互联网存储解决方案

近些年来,随着网络技术的快速发展和网络基础设施的不断完善,各种基于互联网的应用层出不究。人们中不出户就可以享受到丰富的娱乐、购物、交友。相对于传统方式,这不仅给人们的生活带来更大的便利,也带来了前所未有的体验。庞大的用户群体产生了更旺盛的需求,和技术进步一起推动互联网保持高速发展。同时,海量的数据也随之而来,需要庞大的储存设备来支撑。今天,服务器解决方案专家天下数据带领大家一起了解互联网行业存储解决方案

常见的DAS、NAS、SAN存储系统在互联网行业中都有较多应用,但一般的NAS和SAN架构存储系统无法胜任互联网行业管理海量数据的要求。随着存储技术的发展和互联网应用的促进,集群存储系统具备良好的扩展性,可以管理海量数据并满足高并发下的聚合处理能力的要求。如果针对某些应用进行适当的调节,可以满足互联网企业几乎全部应用的要求。

方案架构

互联网应用中的数据可心笼统地归为结构化数据、非结构化数据和半结构化数据。结构化数据如用户信息,交易信息和物品的描述信息等一般存放在MySQL数据库,甚至是Oracle RAC数据库集群中。非结构化的数据,如图片、音视频等均以文件形式直接存储在集群文件系统中。某些可以归为使用关键字进行操作的数据,即key-value类型的数据保存在半结构化存储系统中。这些数据包括短小的文本内容,采用URL索引的网页数据等。由于几乎所有的应用都需要存储非结构化的数据,而且某些应用文件数量和尺寸都很大,全系统对于文件存储的要求很高。

上图是大型互联网企业的服务结构,它分为存储,服务和缓存三层,每一层次都可以按需访问下一层的数据。存储层对外提供数据库存储、key-value存储和文件系统三类存储形式,上层的各种应用共享所有这些存储子系统。其中所有的文件均可直接存储在ParaStor并行存储系统中。服务层运行在一组Web Server上,对外提供静态和动态的数据访问服务。一种应用可以运行在若干台Web Server组成的负载均衡集群上。缓存层缓存静态数据,如图片、静态页面、音视频文件等。

用户的请求通过全局智能DNS负载平衡后,找到一个最近的缓存服务器并向它发出请求。如果数据是静态的且已经被缓存,缓存服务器直接应答,否则将请求直接转发给Web Server。Web Server将动态数据请求的应答直接发给客户端,静态数据则发给缓存服务器保存。