天猫浏览型应用的CDN静态化架构演变

　　在天猫双11运动中，商品详情、店肆等浏览型系统，通常会蒙受超出一样平常数倍甚至数十倍的流量打击。随着历年来双11流量的大幅增添，每年这些浏览型系统都要面临容量评估、硬件扩容、性能优化等各种手艺挑战。因此，架构方面的重点在于，怎样能够使用合理成本应对瞬间飙高的峰值请求，并确保运动完整周期中系统容量的可伸缩性、用户响应时间的稳固性，以及外部依赖系统泛起问题时的高可用性。此外，作为最主要的页面流量承载系统，架构方面还需思量防爬攻击、流控容灾等宁静、稳固的需求，并综合权衡网络带宽、硬件成本、缓存效率等各方面要素，找准平衡点，从而到达以稳定应万变的理想效果。

　　演进

　　为此，自2011年起，以天猫商品详情系统为代表，天猫浏览型系统在架构上的主要事情之一就是通过静态化手艺实现了消息态信息分散、使用缓存手艺存放静态化内容、使用少量动态数据异步加载填充。整个历程历经单机静态化、统一缓存接入，到2002年双11前彻底CDN化三个阶段（如图1所示），有用解决了缓存掷中率、流量自然漫衍、系统扩容简化、用户端响应速率等要害问题。

图1  CDN化的三个阶段

　　现在，天猫浏览型系统最新使用的这套基于CDN的静态化架构，可以知足高可用连续伸缩的原始预期，并包罗如下特征。

消息分散：HTML静态化和热门分散。漫衍式缓存系统：使用CDN节点漫衍式缓存。多级缓存机制：CDN两级+应用一级。统一服务静态化集群。一致性维持：自动失效&自动失效缓存机制。动态内容填充：能支持多种时效性动态内容填充方式。监控预警机制：流量、失效、掷中率等要害参数实时监控报警。

　　本文将针对这一优化历程，就主要手艺挑战、架构革新计谋、沈阳软件制作最终优化结果做一个总览式的先容，并重点对CDN化历程中整体架构的演进、缓存失效机制、动态内容填充等详细要点举行叙述。

　　第一阶段：系统静态化

　　早期天猫浏览型系统大多接纳简朴架构，实现一层很薄的前台应用。以天猫商品详情系统为例，针对商品、用户等会见量较大的数据中央接口模式革新为应用Client端缓存前置，同时普遍使用页面高速缓存（PageCache）来降低后端系统压力，使得整体可支持应用水平扩展不受限制。这一阶段系统面临的主要问题和挑战包罗以下几点：

应用服务器瓶颈，页面渲染带来的CPU开销庞大。单纯基于Java端的缓存已基本笼罩，整体性能提升空间有限。水平扩容只能支持容量线性提升，难以知足大促井喷式流量增加，扩容成本高。

　　从问题看，基于原有动态浏览型系统模式而优化的瓶颈很难规避，例如以下几点：

Java应用服务器端须要开销，包罗：涉及页面内容的字符串查找、替换、拼接等；元数据获取的网络开销；Servlet自己的性能瓶颈。Web服务器端，包罗：模块过滤，例如会见日志、Cookie打点、繁简转换；大HTML页面自己的GZIP压缩等。突发流量的抵御，例如攻击、秒杀、大促，等等。已用优化手段到达了界限，包罗：可使用缓存的地方已经使用；服务端CPU能力已优化完毕（模板剖析、压缩）。

　　总体来看，必须从架构着手彻底解决。架构优化的偏向上，思量以下3个方面：

改变缓存方式，直接缓存HTTP响应效果。改变缓存位置，直接基于Web服务器，屏障营业逻辑。基本原则，缓存空间足够大、无单点、易于维护。

　　为此，2012年起正式汇海了动态浏览型系统的革新项目，通过静态化手段解决上述问题。即基于营业把原动态系统中的内容做消息分散，对浏览者无关部门做缓存，动态内容做CSI填充。详细思量从三方面重点着手睁开：消息信息分散、静态化缓存方式，以及缓存失效机制。图2为一期静态化整体架构。

图2  一期静态化整体架构

　　消息分散

　　将原页面内容按营业举行区分，从浏览用户、信息公布者、时间、地域、私有（Cookie等）信息等维度剖析，抽取出页面中相对公共不依赖以上因素，且转变频度较低的内容作为基础，天生静态化内容。静态化后页面URL牢固，差别URL表现差别内容，服务器返回的请求与URL相关，其他动态内容则通过异步接口挪用，通过CSI方式填充。以商品详情系统为例，静态化后商品基本信息如题目、商品详情、销售属性组合等信息均直接进入缓存，其他如优惠、库存、物流、服务等动态信息则通过异步伐用方式填充至静态化后的页面框架内。

 1/4    1 2 3 4 下一页 尾页