资讯频道 → 互联网
阅读更多

3顶
1踩

互联网

转载新闻 Facebook为何选择云计算开源Hadoop

2011-06-15 11:01 by 见习记者 lihuapi 评论(1) 有5849人浏览
云计算 Hadoop Facebook
前段时间Facebook的新版消息系统发布，Facebook对HBase的成功使用也使得很多的HBase案例得以出现，下文是Facebook的Hadoop工程师Dhruba Borthakur发表的Hadoop系列文章中的一篇，对Facebook选择Hadoop和HBase的原因做了一个说明。

Dhruba Borthakur首先总结了Hadoop和HBase的优势。他认为HBase横向扩展性强。对Facebook这种少量数据存储场景来说，扩容几乎是家常便饭，HBase能够使数据扩容非常容易。并且支持很高的写吞吐。Facebook的消息数据很庞大，每天的写量也很大。同时在同一个数据中心，能够保证有较强的一致性。Facebook用HBase来存储消息数据，业务上需要一个能够保证一致性的数据存储（这也是Facebook并没有采用Cassandra的原因之一）。HBase还具有良好的随机读性能。消息系统的业务逻辑导致会有很多穿透缓存层的随机读操作。

由于数据量大，分布的机器也可能很多，出故障或者进行一些日常升级工作会比较频繁。所以高可用性和故障可恢复性也显得极其重要。错误隔离性是指一个结点的错误不会影响到其它结点，磁盘故障只会对相应的小规模的数据产生影响。同时提供原子性的read-modify-write操作。原子性的increment或者对比后修改的操作，对很多业务上的处理非常方便。最后提供获取某个范围的数据的功能。比如像获取某人最近100条消息这样的功能，在消息系统里也是很常见的需求。

当然，下面几个Hadoop和HBase不太擅长的方面也值得一说。首先是同一个数据中心网络割裂下的容灾性。同一个数据中心的网络出现问题了，导致各结点之间无法正常沟通，这种情况通常可以通过配置一些备用的网络设备来避免。其次某个数据中心故障不会影响服务。这个情况更是少之又少。最后在多个数据中心间的实时数据交换。这个不太现实，通常这一点是用Cache层来实现用户对无端数据的实时访问的。
来自: 中国IDC圈
3
顶
1
踩
评论 共 1 条 请登录后发表评论
1 楼 nbkangta 2011-06-18 12:22
果然需要根据具体需求来选择相应的产品，在根据实际测试结果下决定啊

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • Tomcat之服务管理页面manager部署

    Tomcat的管理页面Manager是一个Web应用程序，用于管理Tomcat服务器的部署和操作。它提供了一个易于使用的界面，可以通过Web浏览器访问。通过Manager，管理员可以轻松地管理Tomcat服务器的多个Web应用程序，并且可以根据需要添加、删除或更新这些应用程序。它还提供了一些有用的工具，如日志查看器和Web应用程序监视器，可以帮助管理员更好地了解Tomcat服务器的性能和运行情况。

  • JavaWeb篇_06——配置Tomcat Manager

    Tomcat Manager是Tomcat自带的、用于对Tomcat自身以及部署在Tomcat上的应用进行管理的web应用。默认情况下，Tomcat Manager是处于禁用状态的。准确的说，Tomcat Manager需要以用户角色进行登录并授权才能使用相应的功能，不过Tomcat并没有配置任何默认的用户，因此我们需要先进行用户配置后才能使用Tomcat Manager。

  • 解决tomcat（manager ）管理界面403（关于安装tomcat，借鉴上一篇文章《部署tomcat》）

    我们点击tomcat管理界面，就会提示我们403，关于这个问题接下来我们详细看看：（这个页面提示的是我们没有权限访问tomcat管理页面）

  • tomcat manager使用

    在无需关闭或重启整个容器的情况下,部署新的Web应用或取消现有应用的部署或者,在Tomcat配置文件中没有指定reloadable的情况下,也可以请求重新加载现有应用。

  • Tomcat manager 配置

    Tomcat manager 配置 概述： 因需要经常进行应用发布，应用服务为tomcat。每次发布时，都需要远程登录到应用服务器，将升级文件拷贝到指定目录，然后重启tomcat，感觉太麻烦了，尤其是服务器版本为windows 2003更是抓狂。 通过研究发现，关于升级文件的更新，可以通过架设ftp服务器方式解决，但是重启tomcat，就有点麻烦了。通过研究官方文档，终于实现通过命令行方

  • Tomcat开启manager和host-manager界面详细步骤

    Tomcat的安装好了之后，会默认带几个web应用程序，默认会提供host-manager和manager的管理界面。但是我们无法直接访问这两个程序。设置本地能访问则只需要修改tomcat安装目录下conf/tomcat-users.xml文件，加入完成 ctrl+s保存。然后关闭Tomcat，重新启动Tomcat服务器。将下列代码cc，cv到文件tomcat-users.xml里面。再次去访问manager项目和host-manager。

  • tomcat中manager配置

    <br />运行tomcat当启动后点击：<br />http://localhost:8080/manager/html 出现登陆界面要求输入用户名和密码<br />用户名和密码在以下文件中修改：<br />（1）在tomcat的安装目录中找到E:/tomcat6.0.26/conf文件<br />（2）使用文本编辑器打开conf下的tomcat-users.xml文件<br />（3）添加用户角色，名称和登陆密码：<br />  改动前：<br /><?xml version='1.0' encodi

  • Tomcat在服务端Manager App无法打开

    Manager App无法打开，主要有2个原因 没有设置登录账号。解决方法：进入到你自己的tomcat安装目录下，在conf找到tomcat-users.xml文件 ，添加如下内容：<role rolename="tomcat"/> <role name="role1"/><role rolename="manager-gui"/> <role rolename="admin-gui"/>

  • Tomcat Manager服务启用

    Tomcat Manager服务启用 必须在Tomcat服务器3.x和4.x中部署Applications Manager代理。更多 Tomcat 3.x和4.x不需要用户名和密码。对于Tomcat 5.x及更高版本，必须在其中运行名为Manager的应用程序，Applications Manager才能监控Tomcat服务器。默认情况下，此应用程序将在服务器中运行。如果您已自定义管理应用程序（例如，\ qamanager），则可以在客户端中使用选项Tomcat Manager Application U

  • Tomcat中manager详解

    Tomcat Manager是Tomcat自带的、用于对Tomcat自身以及部署在Tomcat上的应用进行管理的web应用。Tomcat是Java领域使用最广泛的服务器之一，因此Tomcat Manager也成为了使用非常普遍的功能应用。在默认情况下，Tomcat Manager是处于禁用状态的。准确地说，Tomcat Manager需要以用户角色进行登录并授权才能使用相应的功能，不过Tomcat并

  • 两步解决Tomcat进入manager管理页面

    1、conf/tomcat-users.xml添加如下内容 &lt;role rolename="admin-gui"/&gt; &lt;role rolename="manager-gui"/&gt; &lt;role rolename="manager-jmx"/&gt; &lt;role rolename="manager-script"/&gt; &lt;role rolenam...

  • tomcat的manager功能的试验与体会

     使用tomcat4的manager功能的试验与体会。 一）启用manager功能。 在测试Struts的时候，修改了struts-config.xml文件，需要重启tomcat进行测试。 每次重启感觉很麻烦，突然想起以前使用过的tomcat的manager功能，可以很方便的对web application进行启动、停止、重启、移除等操作，可省却频繁重新启动整个容器服务器的麻烦。 可输入地址：ht

  • tomcat使用managerapp可视化界面管理应用

    Tomcat使用 Manager App可视化界面管理应用 在没有配置的情况下 点击managerAPP按钮是不能使用的 会出现下图这种情况 这个时候我们需要进行一些简单的配置 就可以使用了 首先修改 tomcat-users.xml vim tomcat/conf-tomcat-users.xml 在users中加入用户和角色 &lt;role rolename="manager-gui"/&gt; &lt;user username="tomcat" password="tomcat" ro

  • tomcat 404错误 原因_应用程序加固Tomcat篇

    1 检查是否禁止Tomcat列表显示文件将web.xml文件中listings配置false2 检查是否禁止超级用户启用tomcat使用普通用户启动tomcat3检查是否配置Tomcat错误页面重定向1. web.xml文件中是否存在Tomcat错误页面404,403,500重定向error-code配置示例：404,XML路径：web-app/error-page/error-code...

  • 推荐一款功能强大的Tomcat 管理监控工具，可替代Tomcat Manager

    我们在本地启动Tomcat服务器后，用localhost：&amp;lt;默认端口&amp;gt;访问： 再点Manager App，即可进入Tomcat自带的Manager这个应用，此处可以单独部署/卸载每一个应用。可以看到在Manager应用里提供的功能是很有限的。 最近我在github上找到一个功能强大的Tomcat 管理监控工具，可以用来替代Tomcat默认的Manager应用： https...

  • tomcat的默认程序发布路径的使用与修改

    打开tomcat/conf/server.xml，有如下代码： <Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true"> SingleSignOn valve, share authentication between web applicat

  • tomcat manager 禁止外网访问 只容许内网访问

    参考：http://tomcat.apache.org/tomcat-7.0-doc/manager-howto.html A default Tomcat installation includes the Manager. To add an instance of the Manager web application Context to a new host install t

  • Tomcat8.5 不能进入Manager App

    有时候需要进入Tomcat管理界面（比如Jenkins用Tomcat热部署的时候），但点击如下图中的Manager App 出现错误 错误提示： You are not authorized to view this page. By default the Host Manager is only accessible from a browser running on the

  • Python学习——模块的基本知识

    http://www.cnblogs.com/alex3714/articles/5161349.html# 定义# 模块：用来从逻辑上组织python代码（变量，函数，类，逻辑：实现一个功能），本质就# 是.py结尾的python文件（文件名：test.py，对应的模块名：test）# 包：用来从逻辑上组织模块的，本质就一个目录（必须带有一个_init.py文件）# 2.导入方法# import...

Global site tag (gtag.js) - Google Analytics