`
zhousheng29
  • 浏览: 150829 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

2014年总结

 
阅读更多
今天是2014年最后一天,年三十,做个总结,总结一下2014年做过的事。

1.数据仓库计算平台升级
a.将数据表格式改为LZO压缩模式,历史数据压缩,数据压缩比为30%,节省了大量的存储空间
b.Hive整体升级至0.11版本
c.数据仓库服务器集群升级,增加几十台服务器
d.实时计算平台做了一些研究,包括Spark/Shark,Impala,Presto,不过都还在测试环境,要上生产环境,还需要一些时间
程序员要时刻保持钻研的精神

2.数据仓库自动化建模
根据建模文件,a.自动新增数据抽取,数据仓库自动建hive表,数据仓库导入任务;b.数据集市自动建表,数据集市任务。节省了人力,减少了重复工作
程序员要学会偷懒

3.服务器精简,EMC存储下架一套,通过系统整合,服务器下架几十台,节省了IDC费用
只会做加法,不会做减法,不是一个好程序员

4.实时数据服务
a. 实时统计框架体系搭建完成,基于Flume,Kafka,storm,ElasticSearch架构;
b. 提供syslog,http,tcp方式数据,
c. 也基于数据库开发了实时数据抓取系统(Sqlserver, Mysql),并提供实时数据服务
互联网实时是王道


5.原有系统优化
对原有的调度系统,数据仓库管理系统,监控系统做了一些新功能和bug修复
老的系统要时常注入新血,才能保持活力

6.新的分布式搜索服务系统
基于ES分布式搜索系统得到了广泛应用,单表甚至到了1t~2t,为了更加方便使用,还开发了灵活方便的配置管理系统
好的利器,事半功倍啊,项目组经常说原来需要几十分钟做的查询,现在立等得结果,心理也美滋滋的,得到了承认。

其他还有一些零碎的小系统,也不多说了。祝自己在新的一年工作顺利,事事顺心。
也祝各位奋斗在第一线的程序员们来年顺顺利利,开开信息。
分享到:
评论

相关推荐

    组织部2014半年总结.docx

    以下是组织部2014年上半年的主要工作内容和总结: 1. 团员档案管理和团费收缴:组织部对全体学生的团籍进行有序管理,确保新生的转入和老生的注册工作顺利进行。同时,定期进行团费的收取,确保团组织的正常运行。 ...

    《万能数据库查询分析器》创作人之2014年总结

    2014年,这款软件得到了广泛的关注和推广,马根峰通过在CSDN、新浪博客、QQ空间和搜狐博客等多个平台发布共计28篇文章,其中27篇专门介绍了《万能数据库查询分析器》,并在这一年荣获CSDN的“博客专家”荣誉。...

    2014年总结:5大华尔街最佳投资——商品、汇市、债市、股市、…….doc.pdf

    总结来看,2014年的华尔街投资市场虽然复杂多变,但每个领域都蕴含着投资机会。关键在于投资者是否能够洞察市场动向,制定合适的策略。从商品期货到股市交易,从汇率波动到债券选择,华尔街在这一年里不仅展现了市场...

    “迎挑战、稳发展、促提升”2014年总结(义络).doc

    文档标题和描述中提到的是2014年义络煤业公司进行的“迎挑战、稳发展、促提升”活动的年度工作总结。该活动旨在通过加强党的群众路线教育实践活动,提高企业的安全生产能力和效率,降低消耗,提升公司的整体运营水平...

    简洁2014年终总结报告ppt模板.rar

    标题中的“简洁2014年终总结报告ppt模板.rar”是指一个压缩文件,其中包含了一个设计简洁的2014年年终总结报告的PowerPoint(PPT)模板。这种模板通常用于个人或团队在年度结束时,对过去一年的工作进行梳理、评估和...

    2014年末总结极简大方ppt模板.rar

    标题中的“2014年末总结极简大方ppt模板.rar”指的是一个压缩文件,其中包含了一个设计简洁、大气的PPT模板,适用于2014年年终总结的制作。这样的模板通常包括了一系列预设的幻灯片布局,帮助用户快速构建专业且具有...

    极简扁平风2014年终总结汇报ppt模板.rar

    标题中的“极简扁平风2014年终总结汇报ppt模板.rar”表明这是一个压缩文件,其中包含了2014年年终总结报告的PowerPoint(PPT)模板,采用了极简主义和平面设计风格。这种风格通常以简洁的布局、清晰的线条、有限的...

    2014年工作总结.rar

    标题和描述中提到的是“2014年工作总结”,这通常指的是个人或团队在2014年度的工作回顾、成绩展示、问题分析以及未来规划。虽然没有具体的工作内容,但我们可以根据一般的工作总结格式和教育行业的特点来探讨可能...

    简洁大方2014年终总结报告ppt模板.rar

    随着2014年的落幕,各行各业都开始着手进行年终总结,回顾一年来的成绩与不足,展望新一年的发展方向。在这个过程中,一份精心制作的年终总结报告显得尤为重要,它不仅是对过去一年工作的回顾,更是对未来发展的一种...

    oracle支持服务2013年总结及2014年计划

    oracle支持服务2013年总结及2014年计划

    2014年终总结汇报ppt模板.rar

    随着2014年的落幕,职场人士开始着手准备这一年度的总结汇报工作。年终总结不仅仅是对过去一年工作成绩的简单回顾,更是一次展现个人和团队价值、反思经验教训、规划未来方向的重要时刻。为了让总结汇报更具吸引力和...

    2014年高考英语试题解析(精编版)全38套打包.rar

    【标题】:“2014年高考英语试题解析(精编版)全38套打包....总结起来,这个压缩文件是2014年高考英语复习的重要参考资料,无论是考生还是教师,都能从中受益匪浅,通过深入学习和理解,提升英语水平,应对高考挑战。

    2014年终部门工作总结报告ppt模板.rar

    标题中的“2014年终部门工作总结报告ppt模板.rar”是一个压缩文件,通常包含用于年度工作总结的PowerPoint演示文稿模板。这样的模板旨在帮助用户快速创建具有专业外观的报告,以便在部门或公司会议上呈现。工作总结...

    蓝绿双色系扁平2014年终工作总结报告ppt模板.rar

    标题中的“蓝绿双色系扁平2014年终工作总结报告ppt模板.rar”表明这是一个设计精良的PPT模板,适用于制作2014年度的工作总结报告。模板的特点是采用了扁平化的设计风格,结合了蓝色和绿色两种色调,旨在提供一个专业...

    学校基层工会2014年工作总结.docx

    学校基层工会2014年工作总结.docx

    XX学校工会2014年工作总结.docx

    XX学校工会2014年工作总结.docx

    铁塔厂质量管理部2014年工作总结及2015年工作计划.doc

    铁塔厂质量管理部2014年工作总结及2015年工作计划.doc

    20P精美图表简约大气2014年终总结宽屏ppt模板.rar

    对于2014年的年终总结来说,一份精心设计的PPT模板能够帮助人们更好地整理和展现一年来的工作成绩。而“20P精美图表简约大气2014年终总结宽屏ppt模板.rar”就是这样一个为年终工作总结量身打造的工具。它不仅体现了...

    2014工作总结ppt模板.rar

    描述中的“工作总结报告ppt,2014工作总结ppt模板”进一步确认了这个模板是专门设计用于创建2014年工作总结的。PPT模板通常包括预设的布局、色彩方案、图表样式和图形元素,可以帮助用户快速制作出专业且视觉吸引力...

    2014年apple官网演示首页

    总结来说,"2014年apple官网演示首页"代表了当时苹果公司的技术成就、产品生态和市场策略,体现了苹果在设计、硬件、软件和服务方面的综合优势。通过这个首页,我们可以窥见苹果如何通过其产品和用户体验塑造品牌...

Global site tag (gtag.js) - Google Analytics