- 浏览: 84917 次
- 性别:
- 来自: 北京
最新评论
-
brucewei777:
寻宝是我的个人爱好,我还有个论坛www.bao7.net。
打算做一款寻宝类的手机游戏,发帖激励自己一下 -
brucewei777:
难道大家对寻宝这种游戏,一点兴趣都没有?
打算做一款寻宝类的手机游戏,发帖激励自己一下 -
ruyi:
lz你还真有点杞人忧天!
海量的数据总有一天会超过地球承受的极限吧 -
hzxlb910:
我运行直接报错,是怎么搞的java.lang.NoClassD ...
初步接触storm -
brucewei777:
瞎想。
海量的数据总有一天会超过地球承受的极限吧
文章列表
做了这么多年IT民工,对IT行业或多或少的有些思索。抛个砖和大家分享一下。
作互联网,作硬件,作应用软件,在IT行业里,做这做那都是为了降低信息流通的成本。
先说说互联网,最早的门户网站里提供了各式各样的信息,使得人们获取信息的成本降低。可以想象,人们只需要坐在电脑前,便可以获得容量堪比巨型图书馆的信息来源,天文,地理,历史,科技等等,无所不包。
然后是搜索引擎的面世,使得人们检索信息的时间成本降低,可以从浩如烟海般的信息中获得最想要的数据,这必然也是搜索获得广泛应用的原因。
接着就是即时通讯及社交网络。毫无疑问,这类应用降低了人们沟通的成本,尤其是最近的微博,其实从原来的博客到 ...
随着时间的推移,人们制造的数据是越来越多。智能移动终端加上传统的视频,音频设备无时不刻在产生数据。想象一下,每个人,每天都在产生信息,除了记录行为外,还有思想,好吧,即使是某一时间点,只给一个人拍照,拍摄不同的角度不同,也会产生海量的数据。如果所有这些都记录下来,全球得需要多大的存储量。
好了,这是我的问题的背景。我有两个问题。
1.有什么办法能避免重复的内容,比如我去拍过黄山的迎客松,其它N多人也去拍过,这样是不是有些重复。
2.我们这样制造数据,什么时候会到极限呢,那时候又怎么办呢?
呵呵,无聊而又杞人忧天的想法,各位看客看了有发言冲动的,就说两句,分 ...
OpenSOC是思科用于安全领域的一个开源框架,或者可以说就是SOC(安全运营中心)的开源框架。其组件包含了:
引用
! Telemetry Capture Layer:Apache Flume
! Data Bus:Apache Kafka
! Stream Processor: Apache Storm
! Real-Time Index and Search: Elastic Search
! Long-Term Data Store:Apache Hive
! Long-Term Packet Store: Apache Hbase
! Visualization P ...
在没有互联网的时代,有专门的信息发布者,在互联网时代,每个人都可以成为信息发布者。
信息技术的目的是降低信息产生、流通和使用的成本。而所谓的互联网思想就是实现这一目的的思想。
从一个系统来说,内部层次越多,信息流通的成本越高,因此需要扁平化。当前,产品制造出来后,到消费者需要经历多重渠道和代理,这是因为信息技术不发达,信息不对称所致,但是到了互联网时代,渠道的作用必然被削弱甚至消失。
在互联网之前,信息是相对少的,是非常珍贵的,这造就了信息的卖方市场,人们购买报纸,书籍去获得想要的信息。但是到了互联网时代,信息量开始膨胀,每隔几年,人们产生的信息总量都要翻番,这造就了信息的买方市场。在买方市场里 ...
这是一款基于位置的android游戏,用户需要到户外打开手机的GPS才可以游戏,并且要能够访问互联网。
这款游戏可以发布用户自己的宝藏,可以寻找附近的宝藏来赚取经验和金币。
对于寻宝这类主题有兴趣的可以下载试试。
给自己找个户外出行的理由,可以带着小孩玩,可以和朋友玩,有什么建议请别客气。
非常希望各位朋友出谋划策,帮助完善。
下面是游戏的截屏,第一幅图是附近的游戏列表,右上角的发布按钮是用户自己产生任务时点击,任务发布的界面如第三幅图所示。
点击任务列表中的任务,可以进入第二幅图的界面。
任务列表
定位附近宝藏
发布任务
小米刚做手机的时候,我没多注意,第一反应是现在做手机成本这么低吗?
现在小米据说国内销量第三了,而且前几天还发布路由器了,我着实吓了一跳。我觉得雷布斯在下一盘很大的棋。
路由器是什么东东呢,那是家庭网络对接互联网的出入口,犹如冷兵器时代的关隘,任何出入家庭网络的数据都会在这里被处理。
说实话,这种处理有可能是很本分的,也有可能是不安分的,有可能对用户有利,也有可能对用户不利。当大家在PC上争夺入口的时候都引出了那么多话题,在数据管道的关键处不可能没有一点风波。
我这里只是说路由器这个地方很关键,但并不是说小米会这么做。事实上,小米的手机+路由器才是能猜出其方向的地方。
小米手机上有款Ap ...
QQ为什么要推微信呢?
- 博客分类:
- 杂谈
以下是个人观点:
腾讯推出微信,现在看来简直是败笔。我不是说微信这个产品本身有问题,而是对这个产品的运作似乎很盲目。
腾讯企鹅的品牌,在即时通讯领域,知名度恐怕在全球也是前三的吧。那可爱的形象以及相关的衍生产品,在为腾讯创造价值的同时也巩固了其地位。从MSN的衰落也印证了QQ在近二十年里的逐步强大。
但是,我无法想象推出微信的理由。我现在的手机里同时装了两样,其实也是被迫的。寒假回家,朋友见了都问我要微信号,都说有了微信方便。说实话,就使用角度来看,我真心不觉得哪里方便,就像使用步话机吗?在公共场合,我实在是不情愿使用这个功能,想象着那个画面,就像处理现场问题的工 ...
用图片生成音乐的应用又改进了,试用哦
- 博客分类:
- 杂谈
之前发布了一次,上传了很多有意思的图片,本来想把图片也展示出来,但是似乎有侵权的嫌疑。
不过作为一个图片收集工具,挺不错的。
又看了一下RollingTopWords,让我比较关注的地方是在RollingCountBolt类里,是通过方法TupleHelpers.isTickTuple(tuple)来判断是否应该发射当前窗口数据,但是判断的依据一开始让我很迷惑,居然是判断该tuple是否来源于“__system”的组件和“__tick”流。
作为对storm了解不多的人,我真的糊涂了,tuple不都是上游的spout发射来的吗,哪里冒出来源不同的tuple。
好吧,我就开始猜了,莫非有个隐藏的spout?或者RollingCountBolt自己给自己发什么特殊的tuple。
...
今天学习了一下storm的相关知识,不是很深入,就是看了一下storm-starter-master项目里的WordCountTopology。直接运行报错,发现这个例子中,有个Bolts是用python或者ruby语言开发的。因为这个例子要完成的任务就是计算单词的频率,比较简单,所以打算调通它,然后把程序一步步的跟一遍,这样就好理解一些内容了。
我的方法就是把SplitSentence的核心用java实现。
首先肯定不用再扩展ShellBolt了,也不实现IRichBolt,而是实现BaseBasicBolt。在execute方法里的内容就照着python代码,最后 ...
今天用三台机器的hadoop集群来计算圆周率,因为是实验性质的,也就用了四百多万个点,结果圆周率到小数点后第四位就不对了。
我可是用了三台机器,加上hadoop啊,不由佩服伟大的祖冲之先生。
今天打算在HBase里做一些表的增删改。代码开发环境是window+eclipse,集群环境是3台机器,其中两台是regionserver。写好代码后运行,出现异常:
NotServingRegionException,然后在regionserver的web页面上看,发现最下面显示的是" no serving region"。看来是原来的hbase搭建的有问题。
但是这个问题实在难定位,因为maser的web页面上两台resionserver都能看见,用jps命令也能在两台机器上看见regionserver在运行。
最后看/etc/hosts文件,发现maste ...
我的场景是这样的:
windowXP上运行着eclipse以及hadoop-eclipse插件,但是本文的重点不是说如何在eclipse上安装hadoop的开发插件。
hadoop集群运行在另外三台linux机器上,且已经安装好。
我的这篇文章是讲如何把上述的eclipse和这个hadoop集群联系起来,进行日常的开发调试。
hadoop集群上的用户是hadoop,但是window系统上的用户登录名为wxxxxxx,因为公司对用户管理严格,我没法添加hadoop用户,所以这篇文章讲了如何处理这种情景。
用户名不一致导致文件夹访问受影响,开始根据网上的提示,在 ...
前几天要远程登录到一台服务器上做些业务,结果链接过程及操作过程都很缓慢。看了一下进程列表,居然有挂机宝,还有些jingling.exe进程。这明显被人用作刷流量的机器了。
首先用taskkill强制杀掉这些进程,然后系统反应就正常多了,查看系统日志,是头一天晚上被人拿下的,mysql和web服务日志都有记录,系统服务列表里有两三个不知名的服务在跑,IIS目录下有陌生的文件,还有多出来的账户,在该账户文件夹下有二十多个“工具”,并且安装了shift后门,还好这兄弟只是刷流量,没干什么太严重的破坏。
我们的服务器托管在一家机房,从日志分析来看,机房内有很多机器已经中招,网 ...