`
idning
  • 浏览: 138793 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

程序员2010-06期总结

阅读更多

数据库高可用分布式架构 - 阿里,张瑞

基于MySQL 的高可用可扩展架构 - 阿里,简朝阳

两篇文章讲的内容差不多,总结如下:

  • Oracle RAC集群.
    • 架 构最大的特点是共享存储( Shared-disk, Share-everything)
  • Mysql Cluster
    • 大有前途
    • 特点是Shared-nothing
    • NDB 引擎需要将数据全部加载到内存. (现在改为只有索引必须加载到内存)
    • 目前性能还不理想
  • 数据分片 (Sharding)
    • 可扩展性高
    • 水平切分,
      • Sharding 架构 会损失部分 关系数据库的特性,比如join,导致关系数据库退化为Key-Value store
    • 垂直切分
      • 按 功能模块切分
  • 读写分离
    • 通过Mysql Replication技 术, Master接受写,并将数据变化复制到多个Slaver 上.
    • 写>>多的时候适用

  • 双 A ->提高可靠性,可用性
  • 点看全图



NoSQL综述  --- Robbin

(原文:http://robbin.iteye.com/blog/524977 NoSQL数据库探讨之一 - 为什么要用非关系数据库?
此 文非常精湛
  • BDB是key-value结构
  • 传统关系数据库面临的挑战 (主要是在SNS类应用中)
    • 高 并发读写要求, 大容量,可扩展,高可用.
  • 而关系数据库的 强一致性,写实时性,多表关联查询却无用武之地.
  • NoSQL 代表:
    • Redis (github & Engine yard)
      • 优 点:
        • 性能非常好,10万读写/秒
        • 支持List和Set数据结构,(可以作消息队列) 杀手!
      • 缺 点
        • 数据库容量受物理内存限制
        • 不具备可扩展能力,依赖客户端实现分布式读写.
      • 整 个数据库加载在内存
      • 定期flush到硬盘
    • Tokyo Cabinet 和 Tokyo Tyrant (日被最大SNS mixi)
      • 优点
        • 支持基于column的查询,分页和排序.(简单替代关 系数据库)杀手!           
        • 支持HashTable格式和B+树格式???这是内部格式,还是外部格式??
        • 性能很好 5万读写/秒
      • 缺 点
        • 数据量上亿后,并发写入性能急剧下降 。
        • 不具备分布式扩展能力
      • 持 久化
      • 豆瓣基于TC写的BeansDB, xiaonei基于TC写的Nuclear, Flare(文档较少)等,是对TC的包装,提供分布式能力.
    • MongoDB
      • 优 点
        • 介 于关系数据库和NOSQL之间,查询语言非常强大,可以建索引,可以直接替换Mysql
        • 性能非常好, 数据量50GB以上,访问速度为MySQL 的10倍以上.
        • json格式
        • 0.5-1.5 万读写/秒 - 不如前面的产品
        • Map Reduce
    • CouchDB
      • js,map reduce
    • Cassandra(Facebook/Amazon Dynamite/ Twitter/ digg.com)
      • 它不是一个数据库,而是分布式网络存储,对Cassandra的一个写操作,会被复制到其它节点 上.
      • 分布式/java
      • 易扩展



MapReduce 和并行数据库 朋友还是敌人

提到两篇文章:
TODO1  《MapReduce 一个灵活的数据库处理工具》
TODO2《MapReduce 一个巨大的倒退》
TODO3《大 规模数据分析方法对比》

并行数据库 架设很难!! 但是并行数据库性能比MR好得多!! ????并行数据库指什么? Oracle
  • grep
  • web日志分析(2T)
  • Join任务
MapReduce问题:
  • MR 没法使用索引,总是对数据完全扫描
  • MR输入和输出,总是文件系统中的简单文件 。
  • MR需要使用不高效的文本数据格 式.

其他:


我的成长故事 -潘爱民

很牛的人.
从 高中接触BASIC,到Apple II ,
南开大学, Fortran, C,
实习过程中 接触了清华计算机的一群学生!!

接口测试


CODERS AT WORK - Knuth采访

文 学编程 ,不懂


我 的工具箱 -徐宥

Vimperator,
htop  - 快捷键不熟悉,慢慢来
mutt  email client,我用Gmail吧
apvlv
Awesome
ack :更好的grep  不错
ipython, 不错!!!
sshfs,
zsh  - 我还是bash吧


CAP与数据库

传 统数据库:保证了强一致性(ACID模型),所以扩展能力有限。
NoSQL: 牺牲强一致性,关注可用性和扩展性.  (保证最终一致性)


腾讯soso团队采访

    感觉腾讯soso的团队分为不错.不过现在可能团队过大了
    2007封闭开发在海边.

王兴采访

感觉王兴也是一个异 类..可能是被记者写成异类了..


mysql Proxy
分享到:
评论

相关推荐

    程序员2002- 9期

    ### 知识点总结 #### 微软教育论坛——2002年教育高峰会 - **背景与目的**:此次论坛在北京举办,其目的是为了搭建一个国际化的教育交流平台,促进亚太地区高校间的交流与合作,特别是针对软件人才的培养进行广泛的...

    程序员2002- 11期

    ### 总结 面向对象方法的发展经历了从多样化到统一的过程,最终形成了UML这一标准化的建模语言。Ivar Jacobson等人的贡献对于面向对象方法的发展起到了关键作用。此外,尽管软件开发行业的薪资水平在2000年时表现...

    非程序员2001-18

    - **争议焦点**:2002年第5期《程序员》杂志发表了一篇文章《UML三大“硬伤”》,声称UML存在“上不着天、下不着地、一盘散沙”等重大问题,即无法有效获取真实需求、无法直接指导程序员编程、模型之间缺乏清晰联系...

    非程序员2001-25

    ### 非程序员2001-25关键知识点总结 #### 1. 软件以用为本的理念 - **核心理念**:“软件以用为本”强调软件开发应紧密围绕用户需求展开,确保软件能为客户创造真正的价值。传统上,开发者往往自视为专家,忽视了...

    非程序员2001-21

    ### 非程序员杂志2001-21期核心知识点总结 #### 一、软件以用为本的概念 - **定义与理解**:“软件以用为本”是指软件开发应紧密围绕用户的需求和实际使用场景展开,确保软件能够真正为用户提供价值。这涉及到软件...

    非程序员2001-4

    ### 非程序员2001-4:用例的使用误区 #### 一、用例的使用误区 **背景介绍** 《非程序员》是一份诞生于2001年的电子杂志,它与《程序员》同期诞生,但在内容上保持了自己的独特风格。该杂志每月发行一期,提供...

    java程序员试用期转正工作总结.doc

    Java 程序员试用期转正工作总结 Java 程序员试用期转正工作总结是 Java 程序员在试用期内的工作总结报告。该报告主要总结了 Java 程序员在试用期内的工作经验、收获和教训,并对下一阶段的工作进行展望和目标设定。...

    java程序员试用期个人工作总结.doc

    【Java程序员试用期工作总结】 作为一名Java程序员,试用期是一个关键阶段,它不仅涉及到技能的磨练,还包括对工作流程、团队协作和公司文化的适应。以下是对试用期内所涉及的重要知识点的详细阐述: 1. **面向...

    php程序员试用期工作总结.doc

    "php程序员试用期工作总结" php程序员试用期工作总结报告为我们提供了一个详细的关于php程序员在试用期的工作经验和总结。以下是我们从报告中提取的关键知识点: 一、php程序员试用期工作总结的重要性 * 试用期是...

    程序员面试评语-优秀范文 (14页).pdf,这是一份不错的文件

    2. 转正自我鉴定的重要性:转正自我鉴定是程序员在试用期结束时的一份重要的文件,能够体现出程序员在试用期中的工作情况和自我总结。 3. 工作总结的重要性:工作总结是程序员在工作中的一份重要的文件,能够体现出...

    2021年程序员试用期工作总结试用期总结_2.docx

    ### 2021年程序员试用期工作总结关键知识点 #### 一、个人成长与适应 1. **加入新环境的挑战与适应:** - 作者于2021年9月11日成为一家公司的.NET程序员。 - 在初入职场时,面对不熟悉的环境和比之前更快的工作...

    JAVA程序员试用期转正工作总结.doc

    【JAVA程序员试用期转正工作总结】 这篇文档主要是一位JAVA程序员在试用期结束后对自己工作的总结,涵盖了他在试用期间的学习、项目经验、个人技能提升和未来发展规划。 1. **项目经验与技能提升**: - 程序员在...

    2019年java程序员试用期转正工作总结.doc

    2019年java程序员试用期转正工作总结.doc

    2021程序员试用期转正工作总结.doc

    2021程序员试用期转正工作总结.doc

    2021年程序员试用期工作总结试用期总结_4.docx

    2021年程序员试用期工作总结试用期总结_4.docx

    2021年程序员试用期工作总结试用期总结_3.docx

    2021年程序员试用期工作总结试用期总结_3.docx

    java程序员试用期个人工作总结范文.doc

    java程序员试用期个人工作总结范文.doc

    最新程序员试用期工作总结android程序员试用期工作总结WORD格式范本.docx

    【最新程序员试用期工作总结】 在程序员的试用期中,个人的工作总结是对这段时期学习、成长和工作表现的全面回顾。以下是从给定内容中提炼出的关键知识点: 1. **适应新环境**:新员工要快速融入团队,尊重领导,...

Global site tag (gtag.js) - Google Analytics