淘宝技术专家谈大型网站架构

导读:本文作者是淘宝技术部技术专家陈康贤(花名龙隆),他是《大型分布式网站架构设计与实践》一书的作者,在本文中他分享了他对大型网站架构的理解,优优分享之,希望对你有帮助。

大型网站架构从来都不是一个预先定义的架构,而是一个演进式的架构。很少有一个网站从建站开始,就能够因具备大型网站的所有属性而一成不变的,从最简单的LAMP架构,再到基于IOE的大型集中式应用架构,再演变成时下的分布式应用架构,随着网站用户规模的扩大,架构也在不断演进。

从实体机到虚拟机再到当前流行的Docker技术,从单机房到同城多机房再到异地多活,从LAMP到J2EE再到各种分布式中间件如服务框架、分布式消息队列、配置管理中间件、分布式数据访问层,由简至繁的艰难蜕变,也正是一个网站从小变大由弱变强的成长历程,哪里有挑战,哪里才会有变革,这正是作为技术人建功立业的时刻。

规模不断扩大,但成本不可能随之线性增长,因此,如何利用规模效应降低资源成本,抽取公共部分,避免重复造轮子,提高开发效率和响应速度,成了必须思考的问题。技术存在的核心价值就是为了生产力的提高,当技术架构制约了生产力发展,就需要进行技术变革。当前支撑大型网站的几大核心技术,分布式、服务化、虚拟化,其中分布式解决的是规模化带来的问题,所谓的规模化即包括数据规模越来越大,访问量越来越高,也包括开发团队规模越来越大,工程代码规模越来越大。

单机的存储能力以及负载能力必然有限,从PC到小型机再到中型机、大型机,成本将成指数级升高,而成百上千人开发同一个工程,则导致系统臃肿,开发、发布效率极低,互联网将丧失了赖以生存的灵活性,回到以前传统软件的开发模式。通过应用垂直拆分,集群分布式水平扩展,不仅使系统容量得到提升,存储和负载将分配到大规模的廉价集群上,以降低成本,开发效率和开发模式也得到改变。通过公共业务抽取,将诞生一批处于系统底层的基础服务,避免相同的内容重复造轮子,提高开发效率。作为大型网站架构中最重要的中间件,服务化框架简化了服务调用所涉及的对象序列化与反序列化,通信协议,服务路由等操作,以及到后来诞生的一个新名词—服务治理,去梳理服务的依赖关系、调用链路、强弱依赖等等更复杂的问题。除此之外,在架构师的武器库中,还有众多不同应用场景下使用的中间件,如消息中间件、 分布式数据访问层、配置管理中心、数据迁移工具、分布式文件系统等等,这些都是日常系统架构中的粘合剂。

大型网站的另外一个核心技术就是资源的虚拟化,从实体机到Xen、KVM再到基于LXC的轻量级虚拟化方案,再到Docker,技术的更新换代使得资源的利用率越来越高,集群的运维、部署和管理越来越方便。另外不同的场景下如何选择存储也十分重要,高并发和大数据往往都不会单独出现,到底是采用磁盘、SSD还是采用内存,到底是采用分布式文件系统,关系数据库,还是NOSQL,还是采用内存分布式缓存,不同的场景下方案会大相径庭,分布式文件系统存储容量几乎可以理解为无限,但是吞吐低,关系型数据库有严谨的schema以及功能强大的SQL语句,可以满足各种复杂的查询条件,但无奈扩展太麻烦,为了应对高并发读写访问,master-slave、读写分离、分库分表一折腾,不仅工作量大增,且查询维度受限,还需要引入垂直化搜索引擎来扩展查询维度,NOSQL虽然能自动分区扩容,但无奈不支持SQL,而缓存虽快,内存条又太贵,架构就是要不断的权衡取舍。

大公司之所以不如小公司响应速度快,原因在于大公司有太多积累,有时候积累多了也会成为包袱,现有的模型会使得新业务难以快速融入。当遇到问题和挫折的时候,就是思考改进和系统变革的时候,从来没有哪个系统在设计好之后就封存代码永不改变的,技术永远是不断发展,需求和市场也是不断变化的,因此不要指望用一种架构满足所有的需求,系统设计需要满足一段时间内的可扩展性,但千万不要过度设计,因为过了半年之后你回过头来重新review,你会发现需求早已改变,这就是互联网的快节奏。

对于系统的架构来说,一段时间之内架构的演变,常常会经历从清晰,再到模糊混乱,再重构,再清晰,然后又变得模糊的过程,市场环境总是瞬息万变的,因此,系统的设计要遵循对扩展开放,对修改封闭的原则,做到这点即可方便及时的接入新流程,又能够不影响既有的流程。从宏观来看,各个系统间的关系一定不是烟囱与烟囱的关系,而是犹如城市里的高楼大厦,通过公路连接起来,因此,要提高建房子的速度,就要充分利用已有的基础设施,已有的中间件,来降低系统构建的成本和风险。

架构设计的几个层次,没有架构也是架构,专注于解决现有问题也能称为架构,而好的架构应该是即能够约束开发者又能够解放开发者使其专注于功能的设计。尽量将复杂的事情变的简单,而不要将简单的事情变的复杂,技术从来都不是用来炫的,而是用来解决实际问题的,因此我们不需要花拳绣腿,洛克希德·马丁公司的著名飞机设计师凯利·约翰逊所提出的KISS原则,就是最好的诠释。风险驱动的架构理念告诉我们,避免失败是所有工程技术的核心,架构也是技术,运用架构技术去缓解风险,避免走极端,是架构师的最根本职责。

作者介绍:陈康贤(花名龙隆, 博客),淘宝技术部技术专家,著有《大型分布式网站架构设计与实践》一书,在分布式系统架构设计、高并发系统设计、系统稳定性保障等领域积累了较为丰富的实践经验,对新技术有浓厚的兴趣 。

来源:CSDN

原文:http://www.csdn.net/article/2015-12-17/2826505

转载文章,向原作者致敬!如有侵权或不周之处,敬请劳烦联系数通畅联(QQ:299719834)马上删除,谢谢!

更多相关文章
  • 浅谈大型网站架构技术进化
    短短几十年国内互联网发生了翻天覆地的变化,特别是国家支持互联网发展,提出了“互联网+”行动计划,国内各行各业的互联网更是日新月异.作为一个九零后小白没有亲身经历互联网的演变历程,如今看的像淘宝.京东.腾讯这样的大型网站充满了无数的好奇心,这些网站是怎么运作的,如何处理大量用户的请求,如何解决海量的数 ...
  • 转发淘宝网采用什么技术架构来实现网站高负载的
    淘宝网采用什么技术架构来实现网站高负载的 2012-11-15 12:30 佚名 转载字号:T|T 下面就结合淘宝目前的一些底层技术框架以及自己的一些感触来说说如何构建一个可 伸缩,高性能,高可用性的分布式互联网应用. AD:2013云计算架构师峰会课程资料下载 时间过得很快,来淘宝已经两个月了,在 ...
  • 浅谈大型网站动态应用系统架构动态应用,是相对于网站静态内容而言,是指以c/c++.php.Java.perl..net等服务器端语言开发的网络应用软件,比如论坛.网络相册.交友.BLOG等常见应用.动态应用系统通常与数据库系统.缓存系统.分布式存储系统等密不可分.大型动态应用系统平台主要是针对于大流 ...
  • 学习是技术人员成长的基础,本次分享20本技术方面的书籍,这些书不是每一本都是经典,但是每一本都有其特点.以下20本大部分本人都看过,因此推荐给大家.(本次推荐的20本只是一个参考,比如像Head First,Java编程思想等经典书籍是大家都知道,因此不在推荐之列) 本次分享大纲 大型网站架构系列 ...
  • [转载]http://www.cnblogs.com/chy2055/p/5181352.html 学习是技术人员成长的基础,本次分享20本技术方面的书籍,这些书不是每一本都是经典,但是每一本都有其特点.以下20本大部分本人都看过,因此推荐给大家.(本次推荐的20本只是一个参考,比如像Head Fi ...
  • 大型网站架构演化
    本文内容 应用服务和数据服务分离 使用缓存改善网站性能 使用应用服务器集群改善网站的并发处理能力 数据库读写分离 使用反向代理和 CDN 加速网站响应 使用分布式文件系统和分布式数据库系统 使用 NoSQL 和搜索引擎 业务拆分 分布式服务 本文来自李智慧的<大型网站技术架构--核心原理与案例 ...
  • 大型网站技术架构读书笔记一:大型网站架构演化
    此篇已收录至<大型网站技术架构>读书笔记系列目录贴,点击访问该目录可获取更多内容. 一.大型网站系统特点 (1)高并发.大流量:PV量巨大 (2)高可用:7*24小时不间断服务 (3)海量数据:文件数目分分钟xxTB (4)用户分布广泛,网络情况复杂:网络运营商 (5)安全环境恶劣:黑客 ...
  • 大型网站架构系列:负载均衡详解下
    大型网站架构系列:负载均衡详解(下): " <大型网站架构系列:负载均衡详解(上)> 一.软件负载均衡概述 硬件负载均衡性能优越,功能全面,但是价格昂贵,一般适合初期或者土豪级公司长期使用.因此软件负载均衡在互联网领域大量使用.常用的软件负载均衡软件有Nginx,Lvs,HaP ...
一周排行
  • 做技术到底可以做到哪种地步-技术为什么越走越窄
    尽管做技术已经有不少年头了,不管是犹犹豫豫还是坚定不移,我们走到了现在,依然走在技术这条路 ...
  • 嵌入式开发中的常用工具gcc已经做了一定的总结,但是并不是只有gcc一个有用的工具,其中比较重要的工具有:1.addr2line用于地址翻译,可以采用该工具判断某一个地址所在的函数,这样便于在出现错误时进行核对,检查 ...
  • 菜单   case    select从/etc/init.d/httpd里拷的一段case "$1" in  start)        start        ;;  stop)       ...
  •   05年在电脑城打工的时候,有次一个学生进来问有IE 3.0吗?我当时不知道是微软的一款鼠标,就顺嘴说道:“现在都出IE 6.0了,你从网上下载一个吧”.那个学生听完浑身颤抖了一下就走了.
  • 技术仅仅是一个工具,是你在人生一个阶段生存的工具,你可以一辈子喜欢他,但最好不要一辈子靠它生存. 我现在是自己做,但我此前有多年在从事软件开发工作,当回过头来想一想自己,觉得特别想对那些初学JAVA/DOT.NET技 ...
  • 这学期的新课——设计模式,由我仰慕已久的老师传授,可惜思维过快,第一节就被老师挑中上去敲代码,自此在心里烙下了阴影,都是Java基础欠下的债 这学期的新课——算法设计与分析,虽老师不爱与同学互动式的讲课,但老师讲的挺 ...
  • 日前,[email protected],"这周开始寻找始终支持的老朋友,下周邀请对新手机感兴趣的新朋友们,一场,新老朋友席地而坐,把酒畅谈的聚会. "新手机什么时候发布[#相逢的人会再相逢# ...
  • 如何软件和系统都会对输入的数据类型进行限制.Ext提供了多种数据类型的组件,比如NumberField限制只能输入数字,ComboBox限制只能输入备选项,DateField限制只能选择日期,CheckBox则限制从 ...
  • 一.结构 倒序显示经历,第一行是时间与公司,第二行是行业,第三行是工作内容,这里也是用了flex布局,图表是用个canvas画布画出来的.下图是大屏幕下的显示方式: 移动端的显示如下: <article cla ...
  • Linux学习之建立yum源、yum命令的使用及rpm包编译安装
    一.什么是Yum    Yum的全称为 Yellowdog Update Modifier ...