资讯月刊下载
[企业架构]
常用的几种大数据架构剖析
数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、业务发展有着举足轻重的作用。随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI系统为主的数据分析，已经有了非常成熟和稳定的技术方案和生态系统，对于BI系统来说，大概的架构图如下： 可以看到在BI系统 ...
[非技术]
面向大数据的分布式调度
引用作者：梁福坤，百度外卖大数据首席架构师。 责编：魏伟 本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅《程序员》，给我们投稿，请联系邮箱weiwei@csdn.net。 前言：大数据的分布式调度是在进行数据ETL过程中起到了总体的承上启下的角色，整个数据的生产、交付、消费都会贯穿其中，本文从调度、分布式调度的特征展开，再对大数据调度个性化特征的一些阐述，由满足大数据使用的架构和业务 ...
[行业应用]
如何快速全面建立自己的大数据知识体系？
引用作者经过研发多个大数据产品，将自己形成关于大数据知识体系的干货分享出来，希望给大家能够快速建立起大数据产品的体系思路，让大家系统性学习和了解有关大数据的设计架构。 很多人都看过不同类型的书，也接触过很多有关大数据方面的文章，但都是很零散不成系统，对自己也没有起到多大的作用，所以作者第一时间，带大家从整体体系思路上，了解大数据产品设计架构和技术策略。 大数据产品，从系统性和体系思路上来做，主要分 ...
[行业应用]
【收藏】全球100款大数据工具汇总
引用来源：CSDN程序员人生公众号 1、 Talend Open Studio 是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talend的下载量已超过200万人次，其开源软件提供了数据整合功能。其用户包括美国国际集团（AIG）、康卡斯特、电子港湾、通用电气、三星、Ticketmaster和韦里逊等企业组织。 2、DYS ...
[行业应用]
大数据平台架构技术选型与场景运用
引用导读：本文将大数据的工作角色分为三种类型，包括业务相关、数据科学相关和数据工程。大数据平台偏向于工程方面，大数据平台一般包括数据源、数据采集、数据存储、数据分析等方面。 讲师从数据来源、数据源结构、数据变化程度和数据规模等4个维度对数据源进行分类，数据源分类维度的不同决定最后的技术选型。讲师还对数据源分类的定义及选型方式进行详细讲解，最终联系到大数据的应用场景，让数据应用方式更加直观。 一、大 ...
[行业应用]
腾讯QQ社交网络的四度分离
引用作者：黄俊，腾讯QQ社交网络事业群数据挖掘工程师，主导或参与过社交关系链挖掘，LBS挖掘，推荐系统等多个项目。负责对千亿QQ社交关系链的计算、分析和挖掘工作，历经腾讯图计算从Hive到Spark的演变。 责编：郭芮，欢迎大数据领域技术投稿、约稿、给文章纠错，请发送邮件至guorui@csdn.net。 本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅《程序员》 在社会学领域有一个六 ...
[企业架构]
日处理20亿数据，实时用户行为服务系统架构实践
携程实时用户行为服务作为基础服务，目前普遍应用在多个场景中，比如猜你喜欢（携程的推荐系统）、动态广告、用户画像、浏览历史等等。 以猜你喜欢为例，猜你喜欢为应用内用户提供潜在选项，提高成交效率。旅行是一项综合性的需求，用户往往需要不止一个产品。作为一站式的旅游服务平台，跨业务线的推荐，特别是实时推荐，能实际满足用户的需求，因此在上游提供打通各业务线之间的用户行为数据有很大的必要性。 携程原有的实时 ...
[数据库]
探讨数据时代构建高可用数据库的新技术
引用作者：崔秋，PingCAP 联合创始人，重度开源爱好者，曾任职于搜狗、豌豆荚，长期从事广告系统基础组件相关的研究，现主要从事开源NewSQL 数据库 TiDB/TiKV 相关的设计和研发工作。 责编：郭芮（guorui@csdn.net），关注大数据领域。 本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅2017年《程序员》。 近几年，随着移动互联网的发展、云计算的普及和各种新业务 ...
[行业应用]
大数据和区块链之间的比较分析
大数据和区块链两者之间有个共同的关键词：分布式，代表了一种从技术权威垄断到去中心化的转变。 分布式存储：HDFS vs. 区块 大数据，需要应对海量化和快增长的存储，这要求底层硬件架构和文件系统在性价比上要大大高于传统技术，能够弹性扩张存储容量。谷歌的GFS和Hadoop的HDFS奠定了大数据存储技术的基础。另外，大数据对存储技术提出的另一个挑战是多种数据格式的适应能力，因此现在大数据底层的存储层 ...
[行业应用]
解析阿里云分布式调度系统伏羲
引用作者：陶阳宇，花名举水，阿里云高级技术专家，飞天分布式系统早期核心开发人员，开发和优化过伏羲系统中多个功能模块，参加了飞天5K、世界排序大赛等多个技术攻坚项目。在分布式计算、高并发系统的设计和开发方面有较丰富的经验。 责编：郭芮（guorui@csdn.net），关注大数据领域。 本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅《程序员》 本文涉及阿里云分布式调度团队在分布式调度系 ...
[行业应用]
从大数据到深度学习，这些年度开源“新秀”你可用过？ ...
开源如今已渗透到多个领域，从流行应用，到在线服务，再到高新技术，有许许多多的新兴项目出现，也有活跃多年的经典项目随着技术的演变进入新的领域。 国外开源软件管理供应商 Black Duck Software 在2月底发布了第九期年度“开源新秀”报告，显示了在过去一年中在多个领域的全新 top 开源项目。涉及到的领域有：区块链、数据库、深度学习、SDN、容器、网络安全和教育。 1、区块链 —— Sa ...
[数据库]
图数据库——大数据时代的高铁
引用作者：董小珊，姚臻 责编：仲培艺（zhongpy@csdn.net） 本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅《程序员》 如果把传统关系型数据库比做火车的话，那么到现在大数据时代，图数据库可比做高铁。它已成为NoSQL中关注度最高，发展趋势最明显的数据库。 简介 在众多不同的数据模型里，关系数据模型自20世纪80年代就处于统治地位，而且出现了不少巨头，如Oracle、My ...
[互联网]
甲骨文预测：2017年大数据的变化趋势
2017年已然来临，大数据技术仍然保持着飞速发展。无论是物联网、云计算领域乃至企业技术都开始将其引入自身并作为新的变革方向。 众多企业已经在积极接纳大数据技术，并作为提升自身市场竞争力的核心因素。在今天的文章中，我们将基于甲骨文给出的预测结论，总结2017年十项大数据变化趋势。 1.机器学习时代来临 以往的机器学习仅限于数据科学家群体之内，但2017年将成为机器学习进入主流的元年。无论是谷歌的最 ...
[行业应用]
推荐系统中基于深度学习的混合协同过滤模型
近些年，深度学习在语音识别、图像处理、自然语言处理等领域都取得了很大的突破与成就。相对来说，深度学习在推荐系统领域的研究与应用还处于早期阶段。 携程在深度学习与推荐系统结合的领域也进行了相关的研究与应用，并在国际人工智能顶级会议AAAI 2017上发表了相应的研究成果《A Hybrid Collaborative Filtering Model with Deep Structure for Re ...
[行业应用]
饿了么推荐系统：从0到1
引用本文由携程技术中心投递，ID：ctriptech。作者：饿了么数据运营部资深算法工程师陈一村，在携程个性化推荐与人工智能Meetup上的分享。陈一村2016年加入饿了么，现从事大数据挖掘和算法相关工作，包括推荐系统、用户画像等。 随着移动互联网的发展，用户使用习惯日趋碎片化，如何让用户在有限的访问时间里找到想要的产品，成为了搜索/推荐系统演进的重要职责。作为外卖领域的独角兽, 饿了么拥有百万级的 ...
[数据库]
Apache Beam：下一代的数据处理标准
引用声明：本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅2017年《程序员》。 作者：李呈祥，万达网络科技集团大数据技术专家，Apache Hive Committer，Apache Flink Committer，超过6年的分布式数据处理系统开发经验，有丰富的开源社区工作经验。 责编：郭芮，关注大数据领域，寻求报道或投稿请联系guorui@csdn.net。 Apache Beam ...
[数据库]
百分点“数据隧道”玩转大数据平台实时数据复制
引用实时数据复制技术在银行、电信、保险、政务和电商等领域应用非常广泛。 比如银行领域的收单业务涉及收单行、银行卡组织及发卡行的数据同步。收单行的数据需要传输到银行卡组织，再由银行卡组织传输给发卡行。 如果收单业务不能做到这几点，则会出现建设银行的POS机只能刷建设银行的卡，招商银行的POS机只能刷招商银行的卡的情况。或者用户刷卡完毕后，商家需要电话询问收单行用户是否有足够余额，收单行再去询问银行 ...