`
Francis.D
  • 浏览: 2595 次
文章分类
社区版块
存档分类
最新评论

我看到的在线广告解决方案演化-广告数据分析基础

阅读更多

3.广告数据分析基础

 

既然DSP平台产生大量数据,这些数据我们希望得到分析结果或者预测趋势,使这些数据变得更有价值,更能服务在线广告业务,例如构建自有的DMP

 

 

3.1 整合实时和异步计算思考

 

 

 

3.1.1 整体设计

 

我们对于广告行业的计算任务进行分类,有两种可能使用:

第一类型就是流处理的模式,例如侦测可疑的广告请求,我的想法设定一个侦测模式,DSP接入处放置这种侦测,通过实时引擎发现有问题的广告请求。对这种业务,可能希望在1分钟内发出warning,这种数据放在内存计算就可以了,速度是关键,而且不用太考虑持久化的问题。

 

第二类型就是异步批处理,例如业务要求获得每天各个地区的点击分布情况,这种业务特点就是延迟可能在2小时到1天左右,通过读取存储异步运行,像Hadoop这种计算框架比较适合这类型的业务。

 

View可以看成用户关注的视角,批处理的view和实时view可以合并成一种整合的view提供给最终用户或者用户程序使用。

 

 

3.2计算管理过程

 

 

 

3.2.1.业务组件

 

针对与Hadoop的计算使用,我们设计了几个组件:Computation Controller, Computation Executor, Observation window和待接入现有的计算框架Hadooop,Spark等等.

 

Computation Controller作为一个指令发布的控制台,它发出计算或者传出信号,Computation Executor来准备就绪,并且通知计算框架时行计算.

 

Observation Window负责把最终的结果传送到一些存储里,cache或者mysql,然后用户程序会读取这些计算的结果

 

 

3.3 接入Hadoop的开发结果

 

 

 

3.3.1 Hadoop接入

 

在这里提到一下,我们没有直接使用Hadoop来进行计算,而是使用基于Pig作为执行语言,在上面包装一层中间的计算业务逻辑表达式,在运行时进行翻译,在系统内部就称之为Pig+表达式。

 

 

  • 大小: 13.6 KB
  • 大小: 15.3 KB
  • 大小: 14.2 KB
分享到:
评论

相关推荐

    Winterberry Group-2021年协作数据解决方案报告-2021.03-38页.pdf

    - 报告旨在通过数据分析,提高人们对当前快速变化市场的理解,这个市场正由技术革新、隐私演化、品牌和媒体所有者的转型以及数据可用性所驱动。 2. 报告的贡献者与赞助商 - 报告的完成离不开行业领导者的贡献,...

    ES在AdMaster社会化 数据分析系统中的⼤大规模实践-宋兵强

    - **ELK栈的应用**:利用Logstash收集日志数据,Kibana 4进行可视化展示,从而构建完整的日志管理和分析解决方案。 #### 思考与展望 - **大规模扩展**:探讨如何在数百甚至上千个节点的环境中进行扩展,包括领导...

    基于深度学习建模多行为动态演化的转化率预估.pdf

    在计算广告和移动应用推广中,...总之,这篇研究论文为计算广告领域提供了一个新的解决方案,通过深度学习建模用户行为的动态演化,有助于提高广告转化率预估的精确度,对提升广告投放效果和优化用户体验具有积极意义。

    汇量VS微盟VS万咖VS爱点击VS赤子城科:第三方精准营销产业链深度梳理.pdf

    汇量科技2019年的收入全部来自移动广告,2020年虽然新增了云计算和数据分析业务,但主要收入仍旧来自移动广告,占比超过99.5%。赤子城科技以自有应用流量变现业务(62.53%)为主,移动广告平台收入(37.47%)为辅。 ...

    百度沙龙-互联网应用服务扩展

    MRM负责管理视频广告的权利,解决内容提供方与广告商之间的权利匹配问题。它通过复杂的商业逻辑,满足用户体验、内容限制、排他性等约束条件,实现广告资源的优化分配。 四、服务扩展实践 服务扩展实践包括对应用...

    Web Analytics 2.0

    Kaushik认为,尽管互联网、在线营销和广告在过去几年中经历了革命性的变革,但数据分析的方法与十年前相比并未发生显著变化。他通过书籍提供了一套从点击流工具演化到整合定性数据、实验测试以及竞争情报工具的具体...

    SIMPLEX-project-开源

    3. 数据库和后台应用:OpenX BDD(数据库)存储所有广告数据,而后台应用程序负责处理广告逻辑、日志管理和收入优化。 在技术实现上,SIMPLEX项目采用了以下策略: - 使用SQL直接查询数据库而非API,以提高数据...

    电子商务和某科技.pptx

    - **B2B(Business to Business)**:企业间交易,未来将注重产品和服务的创新,提供更个性化的解决方案。 - **B2G(Business to Government)**:企业与政府间的业务,电子政务是其中一个重要方向,提高了政府...

    hadoop完整安装流程

    对于新手来说,安装过程中可能会遇到各种问题,如依赖库缺失、端口冲突、配置错误等,因此建议在安装时详细阅读官方文档,或者参考社区的教程和解决方案,以确保安装过程顺利。同时,安装完成后进行简单的测试,例如...

    2021年中国零售数字化转型研究报告:用户数据化价值及企业数智化升级.pdf

    这些案例揭示了零售企业在转型过程中可能会遇到的问题以及解决方案。报告还对零售企业数智化发展的趋势进行了展望,认为全渠道运营和用户中心将是未来零售业发展的主要方向。 综上所述,2021年中国零售数字化转型...

    2013澳门特别行政区事业单位招聘考试公共基础知识一点通科目一.docx

    在IT领域,尤其是在数据分析和机器学习中,这种现象非常常见。例如,一个网站的流量下降可能是因为竞争对手的广告活动、搜索引擎算法变化、网站自身的技术问题等多种因素共同作用的结果。 #### 2. 矛盾的普遍性和...

    互联网公司技术架构资料.淘宝.数据库架构演进历程

    淘宝数据库架构的演变过程反映了互联网技术从无到有、从简单到复杂、从单一到分布式的发展趋势,这其中涉及到一系列的技术挑战和解决方案。本文将深入探讨这个主题,围绕“架构”和“Java”这两个关键词,解析淘宝...

    Communications of the ACM论文题目翻译

    - **主要内容**:提供了一系列常见问题的解决方案和参考资料,旨在帮助读者解决问题。 ##### 25. **Q&A: What Women Want** - **中文翻译**:问答:女性想要什么 - **主要内容**:通过问答形式,探讨了女性在...

    2019美妆短视频KOL营销报告.pdf

    随着互联网技术的发展和媒体形态的演变,短视频成为了当下内容营销的重要平台。短视频平台上的KOL(Key ...随着技术的发展和市场的变化,美妆短视频KOL营销将会继续演化,为品牌提供更加丰富和精准的营销解决方案。

    2016继续教育网络效应参考答案详解详解.docx

    利用大数据分析,企业可以发现潜在的市场趋势和消费者行为模式,从而优化决策,提高利润。精确性低或非结构化的大数据通常更具有挖掘潜力,因为它们能揭示出常规数据难以捕捉的信息。 【互联网的特性】互联网的即时...

    Dissecting Android Malware: Characterization and Evolution

    这些数据强烈表明,急需开发新一代的移动反恶意软件解决方案。 #### 结论 本研究通过对大量Android恶意软件样本的收集与分析,揭示了它们的特征及其快速演变的趋势。实验结果强调了当前移动安全软件在面对不断进化...

    互联网行业:2019年度中国异常流量报告.zip

    总的来说,《互联网行业:2019年度中国异常流量报告》全面剖析了当年中国互联网面临的异常流量挑战,为行业提供了宝贵的数据支持和解决方案。它提醒我们,面对不断演化的网络安全威胁,企业和个人都需要持续关注并...

    bSoft标准版.zip

    综合来看,bSoft标准版提供了全面的托利多电子秤管理解决方案,涵盖了秤的控制、数据管理、用户配置等多个方面。通过这些组件,用户不仅可以实时获取电子秤的测量数据,还可以进行数据记录、分析和报告生成,以满足...

    联邦学习应用场景报告.pdf

    这种方法解决了数据隐私和数据孤岛的问题,特别是在高度敏感的数据领域,如医疗、金融和政府服务。联邦学习的主要作用在于促进跨组织的合作,提高模型的准确性,同时保持数据的安全性和合规性。 联邦学习的技术优势...

Global site tag (gtag.js) - Google Analytics