`
- 浏览:
889845 次
- 性别:
- 来自:
杭州
-
这几天看到一篇文章说,到2020年,全球的数据使用量预计将达到35ZB,也就是近400亿个1T硬盘的总量。这还不把我们低效的硬盘利用率计算在内。我也Google了下,今年全球硬盘预计总出货量才8亿块。同时Facebook说用户平均每天上传近2.5亿张照片... 呵呵,这个世界太疯狂,硬盘生产得有多大的增长幅度才能满足这么多宅男宅女的需求呢?
只要有数据存储的需求,总有人会尽力地满足。但从个人或公司的角度来看,买硬盘也得花钱呀。该想想有什么办法花更少的钱了...
我见过的大数据有:视频、图片、服务器日志和用户行为日志。从它们的特点来看:1.冗余度。这些数据可能存储在你我的硬盘上,也存储在网站的服务器硬盘上;2. 生命周期。数据也有生命周期,有些数据现在已经没有价值了。如果按占用空间的比例来分,我觉着视频占用的比例很大,且视频的冗余度很高。而像图片或日志,特点是数据量庞大但冗余度不高。
根据这些数据的特征,下面列出我自己对优化的愚见:
清洗现有数据
删除无用数据
这些数据就不应该存在的,比如像误操作产生临时文件,多按了下Ctrl-V等
删除过期数据
数据是有生命周期的。当数据对我们不再有价值后,就应当删除它们。比如很久前的服务器日志,拍的不好照片等
减小数据本身容量
数据压缩
更有效的数据压缩算法。
格式精减
视频和照片中含有很多格式自身的元数据,希望有更优化的编码技术,减少这些元数据。
减少冗余数据
删除冗余幅本
就想想我们电脑中的这些电影,还存在着多少个幅本呢。从全局的角度来看,就应该尽量减少这些幅本的存在。
数据共享
删除了那些电影让我怎么办?把冗余的数据放置到共享的存储上,比如小区的数据服务器,比如CDN上。
提高现有硬盘利用率
现在我们的硬盘都没有充分利用,这对于公司或个人是很大的浪费。提高现有硬盘的空间利用率,对我们有现实意义。当然有些大公司还是很精的,用他们服务器硬盘的剩余空间,对外提供“云存储”服务,很佩服。
更廉价高效的存储设备
还是希望硬盘能更便宜,存取速度更快些。
现在硬盘对公司来说很便宜,但你硬盘总得有地方放吧,建立数据中心不花钱么?所以说,能不增加硬盘就不要增加,把省出来的钱多给员工涨工资吧。
分享到:
Global site tag (gtag.js) - Google Analytics
相关推荐
Linux 操作系统基础教程 清华大学信息学院计算机系 目 录 前言..........................................................................................................................................
这项技术可以让我们省去购买路由器的钱,同时也可以让我们拥有一个强大且灵活的路由器。DD-WRT是一个Linux操作系统,也是一个第三方的路由器固件,它可以刷新到支持的路由器设备上,以便让路由器的功能更加强大。 ...
当购买 x3650 M3 的第二个电源时,需要注意的是该电源会标配电源线,无需额外购买。这意味着用户在升级服务器冗余性时,可以省去寻找合适电源线的麻烦。 #### 知识点四:x3850 X5 双节点配置流程 **概述** 本期...
或许我应该把自己的经历写下来,从而可以帮助跟我相似的后来者,就这样,我编写了本书的第一版,也就是《自己动手写操作系统》。我相信,如果你也对神奇的计算机世界充满好奇,并且希望通过自己编写操作系统的方式来...
或许我应该把自己的经历写下来,从而可以帮助跟我相似的后来者,就这样,我编写了本书的第一版,也就是《自己动手写操作系统》。我相信,如果你也对神奇的计算机世界充满好奇,并且希望通过自己编写操作系统的方式来...
这段时间里,用户需要通过小米官网或提供的预约链接进行预约操作,错过了这个时间窗口,将无法参与接下来的购买环节。 成功预约之后,购买机会将在4月25日中午12点正式开启,这是首轮开放购买的时间。值得注意的是...