有名网站的手艺成长进程
Google今朝Alexa排名第1。它降生于1997年，那时是一个研讨性项目，每个月build一次索引，build出来的索引经由进程sharding(shard by doc)的体例涣散到多台办事器(Index Server)上，详细的网页数据一样经由进程sharding的体例涣散到多台办事器(Doc Server)上，当用户提交恳求时，经由进程前端的一台办事器将恳求提交给Index Server获得打了分的倒排索引，然后从Doc Server提取详细的网页信息(比方网页题目、搜索环节词婚配的片段信息等)，终究闪现给用户。
随着索引的北京网站制造(www.sino-web.net)增加，这个结构可经由进程增加Index Server和Doc Server来存储索引和网页的数据，但依旧会面临其他很多方面的成果，因而在这以后的十多年的工夫里，Google做了很多事情来改良下面的结构。
1999年，Google增加了一个Cache Cluster，用来Cache查询的索引后果和文档片段信息，同时将Index Server和Doc Server经由进程Replicate的体例酿成了Cluster。这两个改造带来的利益是网站的呼应速率、可撑持的拜候量和可用性(Availability)失掉了晋升。这个变革组成了成本的增加，Google在硬件方面的作风一直是不必高贵的高端硬件，而是在软件层面来包管零碎的靠得住性及高机能，因而同年，Google起头接纳自行设想的办事器来下降成本。2000年，Google起头自行设想DataCenter，接纳了各种要领(比方接纳其他的制冷要领来替换空调)来优化PUE(动力利用率)，同时对自行设想的办事器也做了很多化。2001年，Google对Index的花式中止了批改，将一切的Index放入内存， 此次改造带来的利益是网站的呼应速率和可撑持的拜候量失掉了极大的晋升。2003年，Google颁发了文章Google Cluster Architecture，其Cluster结构组成为硬件LB+Index Cluster+Doc Cluster+大批便宜办事器(比方IDE硬盘、性价比高的CPU等)，经由进程并行处置惩罚+sharding来包管在下降对硬件恳求的同时，呼应速率依旧很快。同年Google颁发了关于Google文件零碎的论文(GFS在2000年就曾经上线)，这篇论文很大水平也表现了Google不必高贵硬件的作风，经由进程GFS+大批便宜的办事器便可存储大批的数据。2004年，Google再次对Index的花式中止了批改，使得网站的呼应速率连续晋升。同年Google颁发关于MapReduce的论文，经由进程MapReduce+大批便宜的办事器便可疾速完成从前要利用高贵小型机、中型机乃至是大型机才干完成的较量争辩义务，而这明白关于Google疾速地构建索引供给了很大的扶助。2006年，Google颁发了关于BigTable的论文(2003年起头上线)，使得海量数据的剖析可以或许达到在线零碎的恳求了，这关于Google晋升网站的呼应速率起到了很大的扶助。
以上3篇论文完全转变了业界关于海量数据的存储、剖析和检索的要领(小道新闻：Google内部已完成了GFS、MapReduce、BigTable的变更)，也奠基了Google在业界的手艺引诱位置。
在一些场景中，Google也接纳MySQL来存储数据。一样，Google对MySQL也做了很多批改，它利用的MySQL信息可以或许从https://code.谷歌.com/p/谷歌-mysql/理解。
2007年，Google将build索引的工夫延长到分钟级，当新网页呈现后，几分钟后便可在Google搜索到，同时将Index Cluster经由进程Protocol Buffers对外供给Service，以供Google各种搜索(比方网页、图片、旧事、书本等)利用，除Index Cluster供给的Service外，另有很多其他的Service，比方告白、词法反省等。Google的一次搜索或许需要挪用内部50个以上的Service，Service重要用C++或Java来编写。2009年，Google的一篇《How Google uses Linux》文章，展现了Google在晋升机械利用率方面也做了很多的自动，比方将分歧成本斲丧范例的运用铺排在同一台机械上。
在以后，Google又研发了Colossus(下一代类GFS文件零碎)、Spanner(下一代类BigTable海量存储和较量争辩架构)、及时搜索(基于Colossus完成)，重要都是为了晋升搜索的及时性和存储更多数据。除在海量数据相关手艺上的改革外，Google也不竭对业界的传统手艺中止立异，比方进步TCP的初始堵塞窗口值、改良HTTP的SPDY协定、新的图片花式WebP等。
在Google的成长进程中，其手艺的改造重要环抱在可伸缩性、机能、成本和可用性4个方面，Google不接纳高贵硬件的作风和抢先其他网站的数据量决议了其手艺改造根本都是对传统的软硬件手艺的改革。
Facebook今朝Alexa排名第2。它接纳LAMP构建，随着业务的成长，它也在手艺上做了很多改造。
作为改造的第一步，Facebook首先在LAMP结构中增加了Memcached，用来缓存各种数据，从而大幅度晋升零碎的呼应工夫和可撑持的拜候量，以后又增加了Services层，将News Feed、Search等较通用的成效作为Service供给给前端的PHP零碎利用，前端的零碎经由进程Thrift拜候这些Service。Facebook接纳了多种言语来编写各种分歧的Service，首如果针对分歧的场景遴选符合的言语，比方C++、Java、Erlang。
大批利用Memcached和拜候量的不竭下跌，导致拜候Memcached的网络流量太大，交换机没法撑持，Facebook经由进程改造接纳UDP的体例来拜候Memcached，以下降单毗连上的网络流量。除此之外，另有其他一些改造，详细信息可以或许检察http://on.fb.me/8R0C。
PHP作为剧本言语，上风是开辟简略、易上手，优势是需要斲丧较多的CPU和内存。当Facebook的拜候量促进到了一定范围后，这个优势就对照凸起了，因而从2007年起，Facebook就测验考试多种要领来办理这个成果，末了降生于Facebook Hackathon的HipHop产品胜利地脱颖而出。
HipHop可以或许自动将PHP转化为C++代码，Facebook在利用HipHop后，同等设置装备铺排的机械，可撑持的恳求量是之前的6倍，CPU的利用率匀称下降了50%，从而为Facebook节俭了大批主机。将来Facebook还会对HipHop中止再次改良，
营销型做网站公司，经由进程HipHop将PHP编译为bytecode，放入HipHop VM中履行，再由HipHop VM来编译为机械代码，体例与JIT相似。
2009年，Facebook研发了BigPipe，借助此零碎，Facebook胜利让网站的速率晋升了两倍。随着Facebook拜候量的下跌，网络浩瀚办事器上的履行日志也起头面临挑衅，因而Facebook研发了Scribe来办理此成果。关于存储在MySQL中的数据，Facebook接纳垂直拆分库和水平拆分表的体例来撑持不竭促进的数据量。作为Facebook手艺系统中重要的一环，Facebook也对MySQL中止了很多优化和改良，比方Online Schema Change等，更多信息可见http://www.facebook.com/MySQLAtFacebook。
成长之初的Facebook接纳了高端的存储装备(比方NetApp、Akamai)来存图片，随着图片不竭增加，成本也大幅进步，因而2009年Facebook开辟了Haystack来存储图片。Haystack可接纳便宜的PC Server中止存储，大幅度下降了成本。
Facebook除利用MySQL存储数据外，近几年也起头探索接纳新的体例。在2008年Facebook开辟了Cassandra，在Message Inbox Search中作为新的存储体例。不内涵2010年，Facebook又抛却了Cassandra，转为接纳HBase作为其Messages的存储，并在2011年将HBase运用在了Facebook更多的项目上(比方Puma、ODS)。听说，今朝Facebook更是在测验考试将其用户和相关数据从MySQL迁徙到HBase。
从2009年起头，Facebook测验考试自行设想DataCenter和办事器，以下降其运转成本，并对外开放了其构建的PUE仅1.07的DataCenter的相关手艺。Facebook在手艺方面的根本准绳是：“在能用开源产品的景遇下就用开源，根据景遇对其中止优化并反应给社区”。从Facebook的手艺成长进程上可以或许看到这个准绳贯彻一直，Facebook的手艺改造也首如果环抱在可伸缩、机能、成本和可用性4个方面。
Twitter今朝Alexa排名第8。在2006年降生之时是接纳Ruby On Rails+ MySQL构建的，2007年增加了Memcached作为Cache层，以晋升呼应速率。基于Ruby on Rails让Twitter享遭到了疾速的开辟才能，但随着拜候量的促进，其对CPU和内存的斲丧也让Twitter苦楚不胜，因而Twitter做了很多改造和自动，比方编写了一个优化版的Ruby GC。
2008年Twitter决议慢慢往Java迁徙，遴选了Scala作为主力的开辟言语(来由是“难以向一屋子的Ruby法式员倾销Java”)，接纳Thrift作为其重要的通讯框架，开辟了Finagle作为其Service Framework，可将后端各种成效表露为Service供给给前端零碎利用，使得前端零碎无需关怀各种分歧的通讯协定(比方关于利用者可以或许用一样的挪用办事的体例去拜候Memcache、Redis、Thrift办事端)，开辟了Kestrel作为其新闻中央件(替换之前用Ruby写的Starling)。
Twitter的数据存储一贯接纳MySQL，成长进程中呈现的小插曲是，当Facebook开源了Cassandra时，Twitter本筹划利用，但终究仍是抛却，依旧保持了利用MySQL，Twitter的MySQL版本已开源(https://github.com/twitter/mysql)。Twitter也是接纳分库分表的体例来撑持大数据量，利用Memcached来Cache tweet，timeline的信息则迁徙为用Redis来Cache。
2010年，Twitter在盐湖城具有了第一个自建的DataCenter，首如果为了增加可控性。从Twitter的成长进程看，6年来它的手艺改造重要环抱可伸缩和可用性。
作为一家电子商务网站的员工，请批准我在此先容这个Alexa排名21的有名电子商务网站的手艺演化。
1995年，eBay降生，那时接纳CGI编写，数据库接纳的是GDBM，最多只能撑持5万件在线商品。1997年，eBay将支配零碎从FreeBSD迁徙到Windows NT，另外将数据库从GDBM迁徙为Oracle。1999年，eBay将前端零碎改造为Cluster(之前只需一台主机)，接纳Resonate作为负载平衡，后端的Oracle机械晋级为Sun E1000小型机，同年给数据库增加了一台机械作为备库，晋升可用性。前端机械随着拜候量不竭增加还可以或许凑合，但数据库机械在1999年11月时曾经达到了瓶颈(曾经不克不及再加CPU和内存了)，因而在11月起头将数据库按业务拆分为多个库。2001-2002年，eBay将数据表中止了水平拆分，比方按类目存储商品，同时铺排Oracle的小型机换为Sun A3500。2002年，将全部网站迁徙为用Java构建，在这个阶段，做了DAL框架来屏障数据库分库分表带来的影响，同时还设想了一个开辟框架以供开辟人员更好地上手中止成效开辟。从eBay的全部成长进程来看，手艺改造重要环抱在可伸缩性和可用性两点。
腾讯今朝Alexa排名第9。最后QQ IM接纳的是单台接入办事器来处置惩罚用户的登录和形态保持，但在成长到一百万用户同时在线时，这台办事器曾经没法撑持。因而QQ IM将一切单台办事器改造为了集群，并增加了形态同步办事器，由其完成集群内形态的同步，用户的信息存储在MySQL中，做了分库分表，石友相关存储在自行完成的文件存储中。为了晋升进程间通讯的效力，腾讯自行完成了用户态IPC。以后腾讯将形态同步办事器也改造为同步集群，以撑持愈来愈多的在线用户。在经历了后面几回改造后，已根本能撑持万万级另外用户同时在线，但可用性对照差，因而腾讯对QQ IM再次中止改造，完成了同城跨IDC的容灾，加强了监控和运维零碎的建立。今后腾讯决议对QQ IM架构完全重写(或许是2009年连续到今朝)，首如果为了加强天真性、撑持跨乡村的IDC、撑持万万级的石友。在此次大的手艺改造进程中，腾讯的数据都不再存储于MySQL中，而是扫数存储在了自己设想的零碎里。
从QQ IM的手艺演化来看，其手艺改造首如果环抱在可伸缩性和可用性上。
2003年，淘宝降生，直接购买了一个商业的phpAuction的软件，在此根底上改造发生了淘宝。2004年，将零碎由PHP迁徙到Java，MySQL迁徙为Oracle(小型机、高端存储装备)，运用办事器接纳了WebLogic。2005-2007年的成长进程中，用JBoss替换了WebLogic，对数据库中止了分库，基于BDB做了散布式缓存，自行开辟了散布式文件零碎TFS以撑持小文件的存储，并建立了自己的CDN。2007-2009年对运用零碎中止垂直拆分，拆分后的零碎都以Service的体例对外供给成效，对数据接纳了垂直和水平拆分。
在中止了数据的垂直和水平拆分后，Oracle发生的成本愈来愈高，因而在以后的几年，淘宝又起头将数据慢慢从Oracle迁徙到MySQL，同时起头测验考试新型的数据存储计划，比方接纳HBase来撑持汗青买卖定单的存储和检索等。近几年淘宝起头中止Linux内核、JVM、Nginx等软件的批改定制事情，同时也自行设想了低能耗办事器，同时在软硬件上中止优化，以更好地下降成本。
从淘宝的全部成长进程来看，手艺改造重要环抱在可伸缩性和可用性两点，今朝也起头慢慢将精神投入在了机能和成本上。今朝淘宝的Alexa排名为第14。
总结
从下面这些Alexa排名靠前网站的手艺成长进程来看，每家网站因为其所承当的业务分歧、团队人员组成份歧、干事作风相异，在手艺的分歧成长阶段中会接纳分歧的要领来撑持业务的成长，但根本都邑环抱在可伸缩性、可用性、机能和成本这4点上，在成长到对照大范围后，各网站在手艺结构上有了很多的相似点，并且这些结构还将连续中止演化。
原作者林昊，就任于淘宝，2007-2010年担任设想和完成淘宝的办事框架，此办事框架在淘宝大面积利用，每天承当了150亿+的恳求；2011年起头担任HBase在淘宝的落地，今朝淘宝已有20个以上的在线项目在利用HBase。
别的: Cassandra
设想Cassandra存储的时候，书中提议要环抱着查询建模，而不是最早对数据中止建模。有人否决这个，觉得查询的范例变革太快了。作者是这样辩驳的：查询范例和数据自身都有变革的。Cassandra最根本的模子是简略的kv，以是，仍是得尽能够的环抱查询建模。这里怎样更好的调和，是一个有挑衅的事情。
Cassandra的column family就像一个表结构，批改了要重启，一个cf零丁一个文件，一行数据可以或许有多个column family。user是一个family, user_ext一个family, row key 为uid, 感觉cassandra用起来会更像db，
Youtube的交际趋向司理Kevin Allocca注释最火的youtube视频的三个共同点。1、Tastemakers － 达人的保举。 2、Community － 志气相投的群体。 3、Surprise － 意想不到的惊异。
Cassandra在360的运用，用户保藏夹、图床、垂直搜索等在线业务有大批存储需求，推敲到MySQL不克不及知足需求，然则HBase有Availabilty的瑕玷，以是遴选了Cassandra，今朝范围是600~700台，年末估计1500摆布，今朝没有出过大的毛病。估量是环球最大范围Cassandra集群
Key-Value，Column oriented，Document oriented三个观点的差异和联络谁能帮我注释清晰。看了图中的分别，我完全胡涂了。我一贯觉得三者是一回事
：息行列传输：kafka，timetunnel，kestrel，scribe；列存储数据库范畴hbase；kv型数据库：cassandra，riak，voldemort，tair；文档数据库：mongodb，couchdb；图形数据库：neo4j，pregel，flockdb；流式较量争辩：storm，iprocess；及时较量争辩：prom；图形较量争辩：pregel，apache hama；离线较量争辩：hive，spark。
facebook 局部kv过时用庞杂的中央层办理
mysql上没有join查询，并接纳高贵的Fusion IO。nginx好于lighttpd。scribe是个好东西
本文发布于北京网站制造公司尚品中国http://www.sino-web.net/