资讯月刊下载
[开源软件]
bboss 大数据抽取工具 v4.0.9 发布
bboss 大数据抽取工具 4.0.9 发布 相较上一版本（v4.0.8），v4.0.9增加了以下特性： 按照按日期字段切分任务，抽取db数据到hdfs，可以在第一次切分任务的基础上，将日期范围任务块进一步切分为更小的任务块 在数据库表分区的基础上，可以按照分区字段类型将分区切分为日期范围任务块或者数字范围任务块，同时可以将已经切分的任务快进行二次切分 增加为作业处理节点中的作业添加指 ...
[企业架构]
LinkedIn架构进化简史
LinkedIn创建于2003年，主要目标是连接你的个人人脉以得到更好的的工作机会。上线第一周只有2700个会员，之后几年，LinkedIn的产品、会员、服务器负载都增长非常快。 今天，LinkedIn全球用户已经超过3.5亿。我们每天每秒有上万个页面被访问，移动端流量已占到50%以上。所有这些接口请求都从后台获取，达到每秒上百万级。 那么，我们是怎么做到的呢？ 早些年 - Leo LinedIn ...
[研发管理]
Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)
一.概述 1.1 hadoop1.0的单点问题 Hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现。如下图所示，便是hadoop1.0的架构图； 1.2 hadoop2.0对hadoop1 ...
[数据库]
前谷歌员工推出类 Spanner 数据库项目
斯宾塞·金博尔（Spencer Kimball）在离开谷歌之后，突然觉得不便，因为手头缺少了很多曾在公司内部使用的定制软件。于是，他携手其他谷歌离职者，决心打造自己的版本。现在，他们决心公开自己的工作成果，帮助有志者创办下一个谷歌或Facebook。 金博尔特别想打造属于自己的谷歌数据库系统Spanner。Spanner 的设计目的是为了与数以百万计数据库服务器上的数据打交道，该工具让谷歌的服 ...
[开源软件]
开源力量128期公开课-varnish入门与适用场景介绍
开源力量128期公开课-varnish入门与适用场景介绍 时间： 2015-06-02 20:00 2小时，在线直播 形式： 线上公开课，近距离和大牛交流 报名： http://www.osforce.cn/openclass/169/show 课程背景 Varnish是一款高性能、开源的反向代理服务器和缓存服务器,但是其配置和使用相对nginx,squid等要难一些,正好我们在vanrish 上 ...
[开源软件]
开源力量公开课-基于solr实现suggest自动提示
开源力量公开课-基于solr实现suggest自动提示 时间： 2015-06-09 20:00 2小时，在线免费直播 形式： 线上公开课 报名： http://www.osforce.cn/openclass/170/show 课程背景 suggest自动提示功能能很好的增加用户的体验，并能指引用户在海量的信息当中获取有效的资源。 课程目标 让学员能够根据个性化需求完成搜索自动提示功能。 课程大 ...
[开源软件]
开源力量125期公开课：提升3D游戏品质-GPU编程开发技 ...
开源力量125期公开课：提升3D游戏品质-GPU编程开发技术 时间： 2015-05-07 20:00 2小时，在线直播 形式： 线上公开课 直播地址：http://www.osforce.cn/openclass/166/show 课程背景 当前从事游戏开发的人员越来越多，不管在PC端还是在移动端3D游戏已经成为主流开发，随着硬件的提升，一般的游戏画质已经不能满足玩家的需求,提升游戏画质已成为 ...
[互联网]
系统管理员：容器时代下的“悲剧”
本篇来自Vitavonni的一篇博文，作者为一名慕尼黑大学研究教学助理（PostDoc），精于数据和信息系统的研究教学。 没有人可以告诉你如何构建Hadoop吗？随意的下载无身份验证的Docker容器？容器简单易用，解放了系统管理员的双手，但这也让有些管理员过于依赖和信赖这项技术，忽视了对技术细节的把控能力，也忽视了安全。这是容器时代下的“悲剧”，还是系统管理员未尽其责？你赞同哪方呢： 系统管理 ...
[移动开发]
通讯云资深从业者的实战经验分享( 万人公开课）
开源力量公开课 - 即时通讯SDK开发之深入浅出 免费报名：http://www.osforce.cn/openclass/165/show?fr=iteye 课程背景 IM（即时通讯）功能作为移动端/web端应用黏住客户的最重要的手段之一，作为网络游戏内不可或缺的重要功能部件，其重要性不言而喻。 随着云时代的到来，越来越多的云厂商开始提供IM SDK，对开发者来说，这确实是云时代的福利之一， ...
[数据库]
2015年有关Hadoop的10个预测
计算及商业评论杂志给出了2015年Hadoop的10个预测。既包括了企业端的Hadoop（增长率，整合），也包括了技术整合，像Spark vs Hadoop和SQL for Hadoop。 这是你需要了解的2015年大数据分析工具的指南。 1.市场份额增长至$2.2bn 根据MarketAnalysis.com的分析，在未来的五年内， Hadoop-MapReduce市场预计将达到22亿美元， ...
[数据库]
如何挑选合适的大数据或Hadoop平台?
IBM、Oracle、SAP、甚至Microsoft等几乎所有的大型软件提供商都采用了Hadoop。然而，当你已经决定要使用Hadoop来处理大数据时，首先碰到的问题就是如何开始以及选择哪一种产品。本文讨论了不同的选择，并推荐了每种选择的适用场合。 Hadoop平台的多种选择 下图展示了Hadoop平台的多种选择。你可以只安装Apache 发布版本，或从不同提供商所提供的几个发行版本中选择一个，或 ...
[互联网]
为什么现实世界是大数据的下一个重大契机
Matt Ocko是风投公司Data Collective的全权合伙人，曾在Uber公司2011年第二轮融资活动中参与投资。他还是Facebook的早期投资人。在2012年与正式启动Data Collective风险投资之前，Matt Ocko已经针对数据库公司进行了若干年的投资。2012年合作开始后，他们的天使投资遍及几乎所有领域的热门初创企业，囊括了从MemSQL这样的数据库公司到Planet ...
[互联网]
Apache Nutch v2.3发布，Java实现的网络爬虫
Apache Nutch v2.3已经发布了，建议所有使用2.X系列的用户和开发人员升级到这个版本。这个版本提供了一个基于Apache Wicket的Web管理界面，解决了143个问题，提供了Maven依赖，升级到Gora v0.5，支持的底层存储为： Apache Hadoop 1.0.1 & 2.4.0 Apache Cassandra 2.0.2 Apache HBase 0.94 ...
[互联网]
Coursera数据工程师董飞：硅谷大数据的过去与未来
董飞，Coursera数据工程师。曾先后在创业公司酷迅，百度基础架构组，Amazon 云计算部门，LinkedIn担任高级工程师，负责垂直搜索，百度云计算平台研发和广告系统的架构。董飞本科毕业于南开大学，硕士毕业于杜克大学计算机系。他在知乎上分享过多个引起强烈反响的问答，其中包括《哪些硅谷创业公司能给拜访者留下深刻印象》、《美国大数据工程师面试攻略》、《Coursera 上有哪些课程值得推荐》等。 ...
[互联网]
大数据时代引发安全问题，应增强身份管理
【编者按】2014年，虽然大数据应用还没有深入普及，但是已经有越来越多的行业用户尝试引入大数据相关技术解决如何管理、利用日益增长的各类数据，而往往随之的安全问题也日益受到关注，为了确保防止黑客盗 窃数据信息的风险，企业应该在转移到充分利用大数据的优势的同时，也相当有必要采取相关的安全措施来保护他们数据资产的完整性。国外著名的SSH通信安全专家Matthew bring日前撰文分析当前存在安全问题现状 ...
[开源软件]
Kylin正式发布：面向大数据的终极OLAP引擎方案
日前，eBay公司隆重宣布已经正式向开源业界推出分布式分析引擎：Kylin（http://kylin.io）。作为一套旨在对Hadoop环境下分析流程进行加速、且能够与SQL兼容性工具顺利协作的解决方案，Kylin成功将SQL接口与多维分析机制（OLAP）引入Hadoop，旨在对规模极为庞大的数据集加以支持。 背景信息 eBay公司当前面临的主要挑战在于，数据规模正随着用户群体的多样化拓展而水涨 ...
[数据库]
eBay开源新数据库技术Kylin，支持TB到PB级数据量
【编者按】eBay开源了一种名为 Kylin 的数据库技术，eBay在周三的一篇博客上分享了Kylin 的诸多细节，基于 Hadoop 提供 SQL 接口和 OLAP 接口，支持 TB 到 PB 级别的数据量，Kylin旨在减少Hadoop在10亿行以上数据级别的情况下的查询延迟。这些都表明eBay在使用Hadoop技术等方面取得了不俗的成绩。 以下为译文： 在线拍卖网站eBay开源了一种名为 ...
[开源软件]
开源力量公开课第七十一期-浅析HBase原理、应用和新 ...
开源力量公开课第七十一期-浅析HBase原理、应用和新特性 时间： 2014-08-25 20:00 2小时，纯干货 形式： 线上公开课 现场地址：http://www.osforce.cn/openclass/98/show 课程背景： 随着互联网数据的日益增多，传统的数据库在存储非结构化数据和可扩展性方面就显得捉襟见肘。而HBase作为开源的BigTable解决方案，依托Hadoop生态圈的蓬 ...