Netflix架构

视频巨头NetFlix云存储

使用亚马逊的公有云，两者形成公有云生态环节，互相促进，亚马逊将在Netflix成功方案推广给其他客户服务，Netflix则通过每晚占据全美60%网络下载量的巨大流量检验亚马逊云平台。

---

Netflix几个功能块

分发 CDN
存储 包括内存存储和磁盘存储
消息 效率协调。
计算 包括同步计算和异步并发计算
支付 各种支付接口
分析 数据挖掘分析

---

Netflix遭遇关系数据库瓶颈：

• 内容 用户资料 产品模型等等都有存储，防止当机丢失。随着用户规模扩大，用户写入数据巨大，需要巨量存储
• 传统的集中式关系数据库无法水平扩展，分布分区能力很差。
• 一旦表结构改变，导致停机重启。

---

Netflix视频数据模型特点：

• 用户资料 AAA
  多种格式媒体描述,flv MP4
  本地差异化内容
  中心统一推送内容
  用户本地触发内容
  特点：数据的主键比较容易获得。主要是用户主键和视频主键。
  

---

需要解决巨量登录Session

• 用户登录后，必须在服务器保留Session，以确认其已经登录。
  Session数据在服务器间复制，效率差，影响服务器处理正向处理能力
  过去使用负载平衡器将用户发往其Session创建后的服务器，负载实际不均衡。
  容易导致集中式过程编程，一个服务干很多事情

云存储Session

• Cassandra保存Session，易于修改。
  跟踪终端用户每次操作事件，记录在Session中，可作为其回放缓存。
  Cassandra前端再添加memcached，提高Seesion快速就近读取能力。
  最前端通过负载平衡球进行请求级别的分发。

---

迁移到健壮的协议

• 云服务协议：REST + JSON
  支持单个请求包含复杂的数据类型。
• Apache Avro：数据序列化更加快速，适合在http上更快交换数据。
• REST结合OAuth

---

NetFlix持久化方案

• 将Avro保存在memcached。包括定义
  节省空间，降低延迟(zigzag编码减少一半)
• Avro能够使用JSon表达，由POJO产生。但是比较难，需要专门工具。

---

SQS消息中间件

• 消息异步中间件，提供异步分布式处理能力。
• 事件监听模式。发布者-订阅者。类似JMS，有Topic和Queue两种。
• 可实现cron类型 繁重 巨大计算任务。

---

消息在视频制作流程应用

异步后弹性易于扩展

消息的订阅提醒服务

---

Amzon EC2

• 弹性 多租户系统，可评估内存和CPU。
  底层使用IAAS虚拟化
  Eucalyptus, OpenNebula, OpenStack, OpenQRM, XenServer, Oracle VM, CloudStack, ConVirt 比较
  Map/reduce计算开源工具：GridGain；GigaSpace 和Hadoop。

---

Netflix重点自己整合运维监视管理工具

Netflix的监视界面AppDynamics

性能线程实时监视和评估

 

建立大规模的真实世界推荐系统Building Large-scale Real-world Recommender Systems - Recsys2012 tutorial
解剖了Netflix的个性化特点（“一切都是个性化”），在这篇PPT中谈了Netflix的数据模型（包括物流/线性回归，弹性网，矩阵分解和马尔可夫链），消费数据科学（用户离线和在线测试），

Netflix hystrix入门教程

Netflix是如何用大数据捧火《纸牌屋》的 | 36氪

Netflix基于AWS的大数据平台Hadoop架构解析-CSDN.NET

IBM的WebSphere实施案例使用了大半netflix oss工具

NetFlix源码开放中心

如何基于开源构架设计一个视频平台？

 NetFlix测试Cassandra:-每秒百万次写 

美国视频巨头Netflix的云存储方案 

Netflix开源Hystrix

开源真正分布式实时大数据分析仓库Druid

Blitz4j - 可伸缩的日志框架

Apache Curator :让ZooKeeper使用更容易 

FaceBook大数据架构

集群专题

伸缩性scalable

大数据BigData

云计算Cloud

 

http://www.jdon.com/artichect/netflix.html