负载均衡和集群 CDN负载均衡系统的研究与优化
摘要:随着计算机网络技术的快速发展、互联网应用的广泛普及,出现了网络拥塞、服务器负载高、响应慢等严重影响互联网业务开展的现象,同时互联网用户群的扩大与分布的广泛性对服务质量也提出了新的挑战?眼1?演。CDN技术的出现极大地缓解了以上问题,有助于提高互联网服务质量和用户体验。全局负载均衡技术与集群负载技术是CDN的核心技术之一,是实现资源合理配置、保证服务质量的关键技术。本文从CDN原理出发,讨论CDN负载均衡技术,详细描述网宿CDN负载均衡系统的实现方案。
关键字:CDN,全局负载均衡,集群负载均衡
1.绪论
随着Internet技术和多媒体技术的不断发展,宽带业务(特别是图像、音频、视频业务)得到广泛的开展,所占的比重越来越大[2]。加之互联网的普及,网民数量激增且分布得越来越广,网络访问距离过长,导致网络负载及服务器负载迅速增加,从而使用户的访问质量受到严重影响。通过增加硬件建立服务集群或使用传统的缓存技术,都已经无法满足互联网发展的需要。另外,通过研究我们发现互联网上的信息具有不对称性、突发性[3]等特征。因此,迫切需要一种新的传输结构来解决以上各种迫切的问题。CDN技术可改善网络中带宽、响应、服务质量等,可以从整体上优化网络结构、提高资源的利用率、整合应用内容、提供稳定高效的服务,并能提高网站的安全性[4]。
2.CDN技术
CDN的全称是ContentDeliveryNetwork,即内容分发网络。其目的是通过在现有的Internet中增加一层新的网络架构,将网站的内容发 ……此处隐藏3582个字……
基于IP的负载均衡技术,可以根据真实机器的服务能力转发请求,但无法根据用户访问的内容进行负载均衡,因而不利于文件的分布式存储。目前比较成熟基于访问内容进行负载均衡的技术有Haproxy方案[8]。这类方案集群负载均衡的实现方式主要有2种:代理和重定向。由于需要在应用层对内容进行分析,这类方案的服务承载能力相对较差。
另外一些负载均衡产品是基于硬件实现的,如F5的BIG-540[9]。这类产品服务能力较强,但价格很高且可扩展性不好。
内容的分布式存储是大规模CDN应用的必要技术,因而要求集群负载技术支持分布式存储。从实践来看,采用NAS等专用存储方案服务效能并不好且成本比较高。因而,网宿自主研发同时支持四层和七层负载均衡的技术,这个技术首先在IP层上进行判断,并分析请求的内容,根据自定义策略选择合适的服务器提供服务。从而实现了集群内服务能力的均衡和内容的分布式存储,目前,使用该负载均衡方案的集群已经可管理数十TB的数据,并能提供高效、稳定服务。
4.结语
传统的CDN技术主要考虑客户请求的来源,将其请求按区域重定向到选定的CDN节点上,无法根据网络状况、节点的负载能力动态地选择最优的节点给客户提供服务。本文介绍了网宿自主研发的基于全局负载均衡和集群负载均衡技术的优化的CDN系统。该系统能根据资源、请求和服务状况确定由哪个节点为用户提供稳定、高效的服务,同时也能整合和优化资源。其集群负载均衡方案同时支持IP层及应用层的负载均衡,实现了对分布式存储的优化支持。该CDN系统明显优于传统CDN方案的实现。
