google的存储为GFS(Google file system)分布式存储文件系统,多读少写的数据如大索引文件,google map地图文件,静态网页等采用bigtable来存储,bigtable是一种弱关系型存储系统,建立在GFS之上,字段并不满足关系数据库范式中的原子性等,而是可根据时间戳来存储单个数据的多版本,列分为列簇(column family),可把一系列相关的列定义为一个列簇。GFS的数据存储是分块(block)存储的,一个文件被分成64M/block的若干块,可同时往多个数据服务器插入,而下载时,可同时从多个数据服务器拿一个文件的不同部分,这就提高了数据的吞吐效率。此外GFS的文件采用分段压缩机制,即若干block作为一个压缩单元进行压缩,而非整个文件进行全压缩,这样可以在读取文件时边读边解压缩。bigtable中也可以建立列的索引,理想情况下一次I/O预先加载索引,然后再一次I/O定位磁盘中的数据,然后作顺序读来载入数据。这样比一般关系数据库的载入速度要快,如果我没有记错的话,一般关系数据库定位数据至少需要4次左右的磁盘I/O。
GFS适合海量数据存储,而bigtable适合弱关系型数据的存储。
至于百度,百度在数据操作上,网站方面用的mysql,但百度在mysql的源码基础上做了一些特定的优化。
在数据存储介质上,百度有些地方用的是SD卡,但SD卡同样只适合于多读少写的应用场合,否则SD卡寿命很快耗尽,这样比物理操作的磁盘要高效很多。
任何东西要看具体应用来讲,关系型数据库适合于逻辑,业务复杂的企业级系统。对稳定性,可扩展性,安全性,容错性,事务性要求比较高的场合采用oracle,sqlserver等绝对没错。
XML是一种自描述文件格式,并非适合高效,高性能系统,应用在企业级系统上的消息传递比较适合,另外作为配置文件而用绝对是首选。
万事万物都是适度的。
加一链接:http://hideto.iteye.com/blog/130815
分享到:
相关推荐
谷歌/腾讯/百度地图纠偏数据库,精确到0.01度,中国陆地地区,SQL SERVER 2005备份文件,由于受允许上传的文件大小限制,只能传60M以内的,故拆分成2个文件,这是part1,使用方法参见:...
谷歌/腾讯/百度地图纠偏数据库,精确到0.01度,中国陆地地区,SQL SERVER 2005备份文件,由于受允许上传的文件大小限制,只能传60M以内的,故拆分成2个文件,这是part2,使用方法参见:...
这个压缩包很可能包含百度和谷歌的纠偏数据库文件,可能以某种格式(如CSV、JSON或数据库文件)存储了纠偏参数和规则。这些数据可以直接用于开发定位应用,或者集成到现有系统中,以提升GPS定位的准确性。 总的来...
istributed relational databases是指具有分布式架构的关系数据库系统,例如Google的Spanner、Amazon的Aurora等。这些系统可以提供高性能和高可用性,支持大规模数据处理和高并发访问。 NoSQL databases是指不遵守...
在本案例中,我们讨论的是百度和谷歌的POI数据库,它们提供了全国范围内的详细信息。 百度和谷歌的POI数据库是地图开发和移动互联网应用的基础。这些数据库包含了丰富的地理信息,如名称、地址、电话号码以及经纬度...
7. **大数据与云计算**:随着技术的发展,数据库工程师也需要了解大数据处理框架(如Hadoop、Spark)和云数据库服务(如Amazon RDS、Google Cloud SQL)。 通过这些真题,考生可以了解考试的出题趋势,熟悉考试的...
9. **云数据库服务**:掌握AWS的RDS, Google Cloud的Cloud SQL, Azure的SQL Database等云数据库服务的特性,以及如何在云端管理数据库。 10. **法律法规与职业道德**:了解数据保护法规,如GDPR,以及作为数据库...
Palo是百度开发的大规模数据库系统,主要面向分析型数据处理,采用了MPP(大规模并行处理)架构,用于支持高效的交互式数据分析。在深入分析Palo的知识点之前,有必要先了解一些背景知识,包括OLTP与OLAP的区别、...
9. **大数据与云数据库**:了解Hadoop、Spark等大数据处理框架,以及Amazon RDS、Google Cloud SQL等云数据库服务。 10. **数据库管理系统的选择与评估**:学习如何根据业务需求选择合适的数据库系统,考虑因素包括...
【明日知道】是一个模仿百度知道构建的在线问答平台,它具备了类似的功能,让用户能够提问、回答问题,分享知识和经验。这个项目是完整的,并且已经包含了一个数据库,这意味着你可以直接部署并开始使用。 在这样的...
Tera源自于Google的Bigtable设计,但针对百度的业务场景进行了优化。它是一款NoSQL数据库,支持大规模并发读写操作,适用于互联网服务、广告推荐、数据分析等业务。Tera的核心在于其分布式架构,能够有效应对万亿...
6. **文档预览技术**:百度文库和豆丁文库能在线预览各种格式的文档,这可能涉及转换工具,如使用PDF.js或Google Docs API来实现预览功能。 7. **搜索功能**:为用户提供文档搜索功能,需要实现关键词匹配算法,...
1.简洁用户界面,复制内容即可快速存储。 2.数据库加密,后台运行。 3.数据库名称yilin.db。 4.支持win8,win7等系统。 5.快压压缩。...6.本地快速查找功能。...7.类似本地百度谷歌。 8.密码lmriloveyou
谷歌地图专用纠偏数据库 精度为0.01:经纬度每变化0.01,取一次偏移值,共980万条,access文件约600mb,误差5~10米。 精度为0.001:经纬度每变化0.001,取一次偏移值,共9亿条,csv文件共20gb,误差约2米 百度...
9. **云数据库服务**:了解如何在云计算环境中部署和管理数据库,如AWS的RDS、Azure的SQL Database或Google Cloud的Cloud SQL。 10. **大数据与分布式存储**:讨论大数据处理技术,如Hadoop、Spark,以及分布式...
房地产门户网站源码,界面优雅漂亮,高仿安居客+数据库【原创】。开发环境:vs2008+sql2005。 1、支持新房,新楼盘,小区,二手房,租房小区发布,编辑,修改功能&dec; 2、支持积分,发布房源、发布论坛帖子可获得...
在构建Web应用时,搜索功能是必不可少的一部分,而仿百度/Google搜索输入框提示功能则可以极大地提升用户体验。这个功能通常被称为自动补全或搜索建议,它能够在用户输入搜索关键词时,实时显示与之相关的搜索建议。...
- 云计算中的数据库:如Amazon RDS、Google Cloud SQL等,提供了灵活的数据库服务。 10. **NoSQL数据库**: - NoSQL(Not Only SQL):非关系型数据库,适用于大数据、高并发场景。 - 常见类型:键值存储、文档...
最后,随着云计算技术的发展,云数据库服务如Amazon RDS、Google Cloud SQL等的使用和管理也成为数据库工程师需要掌握的新技能。 总的来说,这个压缩包中的资料不仅有助于准备数据库工程师的考试,也能帮助从业者和...