资讯月刊下载
[行业应用] 像Apache Storm一样简单的分布式图计算
原文:distributed-graph-computation-as-simple-as-it-gets-with-apache-storm 作者:Kobi Hikri 翻译:无阻我飞扬 摘要:本文从计算机领域的“祖师爷”艾伦·图灵提出的图灵机概念开始,介绍了图形计算的概念,并以示例介绍了apache storm,基于apache storm如何进行分布式图形计算。apache stor ...
[研发管理] 这些优秀的国产分布式任务调度系统,你用过几个?
分布式调度在互联网企业中占据着十分重要的作用,尤其是电子商务领域,由于存在数据量大、高并发的特点,对数据处理的要求较高,既要保证高效性,也要保证准确性和安全性,相对比较耗时的业务逻辑往往会从中剥离开来进行异步处理。 接下来,推荐几款优秀和极具潜力的国产开源分布式任务调度系统,希望能对大家有所帮助。 1、opencron opencron 是一个功能完善且通用的开源定时任务调度系统,拥有先进可靠的 ...
[行业应用] 大数据和区块链之间的比较分析
大数据和区块链两者之间有个共同的关键词:分布式,代表了一种从技术权威垄断到去中心化的转变。 分布式存储:HDFS vs. 区块 大数据,需要应对海量化和快增长的存储,这要求底层硬件架构和文件系统在性价比上要大大高于传统技术,能够弹性扩张存储容量。谷歌的GFS和Hadoop的HDFS奠定了大数据存储技术的基础。另外,大数据对存储技术提出的另一个挑战是多种数据格式的适应能力,因此现在大数据底层的存储层 ...
[数据库] 京东分布式数据库系统演进之路
引用作者:张成远,京东云资深架构师,《Mariadb原理与实现》作者,开源项目speedy作者,2012年加入京东数据库研发团队,负责京东分布式数据库系统的架构与研发工作,主导了京东分布式数据库系统在公司的落地及大规模推广,擅长高性能服务器开发、分布式缓存/数据库/存储等大规模分布式系统架构。 责编:钱曙光,关注架构和算法领域,寻求报道或者投稿请发邮件qianshg@csdn.net,另有「CSDN ...
[企业架构] 分布式系统设计的求生之路
引用 声明:本文来自腾讯质量开放平台WeTest原创投稿文章,未经许可禁止任何形式的转载。 作者: Simon,腾讯后台开发高级工程师。 责编:钱曙光,关注架构和算法领域,寻求报道或者投稿请发邮件qianshg@csdn.net,另有「CSDN 高级架构师群」,内有诸多知名互联网公司的大牛架构师,欢迎架构师加微信qshuguang2008申请入群,备注姓名+公司+职位。 导读: 分布式系统理念渐渐 ...
[企业架构] 分布式架构2.0发布 企业级分布式架构
核心技术:Dubbo, ZooKeeper,Redis,FastDFS,KafKa,Nginx,Maven,Springmvc mybatis shiro, Druid, Restful,数据库读写分离,proxy代理机制,多数据源切换 1. 项目核心代码结构截图 <modules> <!-- jeesz 工具jar --> <module>je ...
[企业架构] 专访阿里陈康贤:我所理解的网站架构
【编者按】CSDN在日前策划了架构主题月活动:《互联网应用架构面面观》,就架构的方法面面进行各种形式探讨交流。今天,我们就网站架构这一话题,线上专访了阿里淘宝技术部技术专家陈康贤,著有《大型分布式网站架构设计与实践》一书,请他分享他的技术之道、架构之解、大型网站知识和职场心得等。 陈康贤(花名龙隆,博客),淘宝技术部技术专家,著有《大型分布式网站架构设计与实践》一书,在分布式系统架构设计、高并 ...
[互联网] 云时代的分布式数据库:阿里分布式数据库服务DRDS
随着互联网时代的到来,计算机要管理的数据量呈指数级别地飞速上涨,而我们却完全无法对用户数做出准确预估。我们的系统所需要支持的用户数,很可能在短短的一个月内突然爆发式地增长几千倍,数据也很可能快速地从原来的几百GB飞速上涨到了几百个TB。如果在这爆发的关键时刻,系统不稳定或无法访问,那么对于业务将会是毁灭性的打击。 伴随着这种对于系统性能、成本以及扩展性的新需要,以HBase、MongoDB为代表的 ...
[数据库] 分布式数据库 RethinkDB 2.0 发布
RethinkDB在官网宣布,经过五年的发展,RethinkDB 2.0 正式发布,用于实践!RethinkDB团队表示,该项目有着2000多个改进、16个重要版本迭代而成,以及在GitHub资源库有着3000+的commits…… 引用RethinkDB 2.0致力于简化创建过程,用户可以操作RethinkDB 来持续更新应用程序汇中的现场查询。同时还可以采用 RethinkDB 的分布式架 ...
[数据库] Manhattan:Twitter的下一代分布式数据库
作为世界上使用最广泛的微博客服务,Twitter月活跃用户如今已经达到了2.183亿人,每天大约有5亿条推文被发送,几乎每秒钟就产生了超过6000条推文。 在最初Twitter还没有这么大数据量的时候,该公司主要使用一些主流的技术来处理这些数据,比如开源数据库MySQL和Cassandra等,但随着用户量的飞速扩增,这些技术逐渐显示出了一些瓶颈,已经达不到Twitter实时、低延迟的需求,Twit ...
[开源软件] 分布式计算系统 Spark 成为 Apache 顶级项目
Apache软件基金会今天宣布,Spark项目已从孵化器毕业,成为Apache软件基金会的一个顶级项目。 Spark是一个高效的分布式计算系统,发源于美国加州大学伯克利分校AMPLab的集群计算平台。 Spark被称为“Hadoop的瑞士军刀”,拥有非凡的速度和易用性。Spark立足于内存计算,相比Hadoop MapReduce,Spark在性能上要高100倍,而且Spark提供了比Had ...
[开源软件] Apache Kafka 0.8.0发布,高吞吐量分布式消息系统
Apache Kafka 0.8.0版本近日发布。Apache Kafka是源自LinkedIn的一种分布式日志服务,主要用Scala语言开发(少量Java),其实质是高吞吐量而功能简单的消息队列。由于架构设计独特,Kafka与传统消息队列相比,内置分区、复制和容错功能,适合大规模系统。曾有数据表明,Kafka能够每秒发布超过40万条消息。 目前Kafka已经被众多互联网公司如Twitter、Pi ...
[数据库] Apache CouchDB注入新鲜血液,整合分布式技术
Cloudant(一家数据库作为服务公司)之前曾承诺将其深度优化的BigCouch数据库代码合并到CouchDB中,来为CouchDB注入新鲜血液。经过几个月的开发,如今新的合并版本(暂时也称为BigCouch)已经可用。 Apache CouchDB是一个面向文档的数据库管理系统,但自从其创始人Damien Katz在2012年1月份放弃该项目之后,该项目便开始不稳定起来。Damien Ka ...
[开源软件] Netflix开源Hystrix,分布式系统的延迟和容错库
Netflix(一家在线影片租赁商)近日开源了其Hystrix库,这是一个针对分布式系统的延迟和容错库。 Netflix称,在分布式环境中,不可避免会造成一些服务的失败。Hystrix库旨在控制分布式服务中提供更大容限和服务失败之间的相互关系。Hystrix通过隔离访问远程系统、服务和第三方库的点,阻止级联故障,从而使复杂的分布式系统更具弹性。 Hystrix源于Netflix API团队在去 ...
[企业架构] Sapphire Cache 1.1.9 发布,高性能 Java 分布式缓存 ...
Sapphire Cache 1.1.9 beta 已经发布,下载站点:http://code.google.com/p/sapphire-cache/downloads/list 新增: 1. 新增TCP单播集群(NIO模式); 2. 简化Sapphire配置文件,更多缺省支持; 3. 提升约30%分布式并发性能。 Sapphire是一个高并发、高缓存吞吐性、高性能的Java分布 ...