`
liyonghui160com
  • 浏览: 775689 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论
文章列表
  一 监控查看memcahe服务器的状态,通常我们使用2个命令1)telnet 127.0.0.1 11211查看全局stats查看slabstats slabs查看itemstats items2)vmstat 1 -S M二 使用细节,注意的问题1)节点过热如果memcached有个别节点容量耗光,同时并发很大。那么 ...
    <dependency>    <groupId>com.googlecode.xmemcached</groupId>    <artifactId>xmemcached</artifactId>    <version>1.4.3</version>    <type>pom</type></dependency>   项目启动配置文件:     <?xml version="1.0" encoding="UTF ...
         在推荐系统简介中,我们给出了推荐系统的一般框架。很明显,推荐方法是整个推荐系统中最核心、最关键的部分,很大程度上决定了推荐系统性能的优劣。目前,主要的推荐方法包括:基于内容推荐、协同过滤推 ...
      频繁模式和对应的关联或相关规则在一定程度上刻画了属性条件与类标号之间的有趣联系,因此将关联规则挖掘用于分类也会产生比较好的效果。关联规则就是在给定训练项集上频繁出现的项集与项集之间的一种紧密的联系。其中“频繁”是由人为设定的一个阈值即支持度 (support)来衡量,“紧密”也是由人为设定的一个关联阈值即置信度(confidence)来衡量的。这两种度量标准是频繁项集挖掘中两个至关重 要的因素,也是挖掘算法的关键所在。对项集支持度和规则置信度的计算是影响挖掘算法效率的决定性因素,也是对频繁项集挖掘进行改进的入口点和研究热点。基于关联规则的分类主要分为以下以个步骤:1.  对训练数 ...
  Apriori算法求集合的非空子集java代码     public class Test { public static void main(String[] args) { String str="abcd" ; //用Set集合保存结保证内容重复 Set<String> set = new HashSet<String>(); //外层循环控制指针移动位置 从 a 依次移动顺序 a b c a c ...
  本来此客户端可以通过NuGet获取,如果会使用NuGet, 则可以使用命令Install-Package ZooKeeperNet(需要最新版本的NuGet)如果不会,就去 NuGet官网了解http://docs.nuget.org/docs/start-here/using-the-package-manager-console如果你想自己编译 你可以去G ...
  windows做为文件服务器,使用rsync的windows服务版本,然后配置好就可以了。需要的朋友可以参考下。windows做为文件服务器,使用rsync的windows服务版本:cwRsyncServer 下载地址:http://rsync.samba.org 安装过程要设置用于系统服务的帐号和密码,可以默认。 注:此帐号用于启用crsync server服务,需要分配给帐号对要同步文件的相应权限,否则无法操作被同步的文件。 安装完成后修改配置文件 rsyncd.conf, 配置文件内容如下: 复制代码 代码如下:port = 52326 use chroot = false str ...
  前言Web日志包含着网站最重要的信息,通过日志分析,我们可以知道网站的访问量,哪个网页访问人数最多,哪个网页最有价值等。一般中型的网站(10W的PV以上),每天会产生1G以上Web日志文件。大型或超大型的网站,可能每小时就会产生10G的数据量。对于日志的这种规模的数据,用Hadoop进行日志分析,是最适合不过的了。目录    Web日志分析概述    需求分析:KPI指标设计    算法模型:Hadoop并行算法    架构设计:日志KPI系统架构    程序开发1:用Maven构建Hadoop项目    程序开发2:MapReduce程序实现1. Web日志分析概述Web日志由Web服 ...
  事务性Topologies是包含在Storm0.7.0版本中的新特性,它激活消息语义来确保你以一种安全的方式重放元组并且它们只会被处理一次。没有事务性topologies的支持,你不可能以一种完全精确、可扩展和容错的方式计数。事务性Topologies是建立标准Storm spout和bolts之上的一个抽象。设计在事务性topology中,Storm使用并行和顺序元组处理的混合模式。Spout产生的批量的元组被bolts并行的处理。这些bolts中的一部分被认为是提交者,它们以某种严格排序的方式提交处理过的批量元组。这意味着如果你有两个批量,每个批量包含五个元组,两边的元组会被bol ...
  1 、Tomcat 默认可以使用的内存为128MB ,在较大型 的应用项目中,这点内存是不够的,有可能导致系统无法运行。常见的问题是报Tomcat 内存溢出错 误,Out of Memory( 系统内存不足) 的 异常,从而导致客户端显示500 错误,一般调整Tomcat 的 使用内存即可解决此问题。Windows 环境下修改“%TOMCAT_HOME%/bin/catalina.bat ”文件,在文件开头增加如下设置:set JAVA_OPTS=-Xms256m -Xmx512mLinux 环境下修改“%TOMCAT_HOME%/bin/catalina.sh ”文件,在文件开头增加如 ...
  windows7 iis7.5配置php环境运行ecshop    首先确认IIS中启用了CGI功能:                                                        第二       IIS 7.5中为了易于PHP程序的安装,增设了PHP Manager模块。只要您简单设定,其它的工作自动到位!下载地址:http://phpmanager.codeplex.com/releases/view/62183,安装。    再开启IIS,会发现里面多了一个PHP Manager图标项了。                         ...
  先讲下DRPC的原理:    客户端给DRPC服务器发送要执行的方法的名字,以及这个方法的参数。实现了这个函数的topology使用DRPCSpout从DRPC服务器接收函 数调用流。每个函数调用被DRPC服务器标记了一个唯一的id。 这个topology然后计算结果,在topology的最后一个叫做ReturnResults的bolt会连接到DRPC服务器,并且把这个调用的结 果发送给DRPC服务器(通过那个唯一的id标识)。DRPC服务器用那个唯一id来跟等待的客户端匹配上,唤醒这个客户端并且把结果发送给它。    知道这个原理之后我们可以自己创建DRPC服务。 package s ...
  strom DRPC服务调用例子DRPC服务端代码 import java.util.Map; import backtype.storm.Config; import backtype.storm.StormSubmitter; import backtype.storm.drpc.LinearDRPCTopologyBuilder; import backtype.storm.task.TopologyContext; import backtype.storm.topology.BasicOutputCollector; import backtype.storm. ...
    有人把storm的一本书翻译成了英文,在网上可以看到,看了看觉得有些简单。地址提供给大家,希望对学习storm能有些帮助http://ifeve.com/getting-started-with-stom-index/   比较深一点的文章   http://xumingming.sinaapp.com/category/storm/   疯狂的菠菜 http://macrochen.iteye.com/?page=2   中文版: http://dl2.iteye.com/upload/attachment/0097/7501/be9b3357-200f-3 ...

TopologyContext

TopologyContext利用这一特性,你能够把流划分到多个spouts读取。 public void open(Map conf, TopologyContext context, SpoutOutputCollector collector) { //从context对象获取spout大小 int spoutsSize = context.getComponentTasks(context.getThisComponentId()).size(); //从这个spout得到任务id int myIdx = contex ...
Global site tag (gtag.js) - Google Analytics