- 浏览: 292411 次
- 性别:
- 来自: 上海
最新评论
-
菜鸟学生会:
Drools规则工作流引擎开发教程网盘地址:http://pa ...
Drools 规则流的使用介绍 -
jjjssh:
SparkManager 代码都没全,你从来拷贝来的
Spark 使用Java 写入 HBase -
swjtufei:
除了修改代码,修改IE设置可以吗?重装IE呢?
现在我有1W个 ...
IE 打开docx,xlsx生成zip格式下载解决 -
prince2008:
楼主,数据库覆盖没有用,请把把数据导出为sql上传下
Jquery Datagrid 动态分页以及CRUD(增删改查) -
any.bo:
Jquery Datagrid 动态分页以及CRUD(增删改查)
文章列表
Hive 安装&配置及常见问题解决
- 博客分类:
- 大数据(hadoop)
hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
前提安装了hadoop
下载地址: http://apache.fayea.com/hive/hive-1.2.0/
版本: apache-hive-1.2.0-bin.tar.gz
解压: tar –zxvf apache-hive-1.2.0-bin.tar.gz ...
问题解决方案
cd hadoop安装路径/ect/hadoop
修改hdfs-site.xml加上以下内容
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
旨在取消权限检查,原因是为了解决我在windows机器上配置eclipse ...
由于近两年随着互联网的高速发展,产生的数据量也想到惊人,从而产生了对大数据处理的框架,以下是Linux对hadoop 的安装与配置步骤为大家分享!
下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/
解压 tar –zxvf hadoop-2.5.2
配置环境变量:vi /etc/profile
export HADOOP_HOME=/路径/hadoop-2.5.2
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HA ...
storm 常见问题解决
- 博客分类:
- 大数据(storm)
1. Zookeeper+ metaq-1.4.6 和storm-0.9.4 程序在eclipse 运行出现
Will not attempt to authenticate using SASL (java.lang.SecurityException: 无法定位登录配置) 使用本地模式:
LocalCluster cluster = new LocalCluster();
cluster.submitTopology("test", config, tbuild ...
Storm ui 首页主要分为4块: Cluster Summary,Topology summary,Supervisor summary,Nimbus Configuration,如下图所示:
Cluster Summary
Version: storm 版本号
Nimbus uptime: nimbus 运行时间
Supervisor:storm集群中supervisor的数目
User slots:使用的slots数Free slots:剩余的slots数
Total slots:总的slots 数(对应配置文件的supervisor.slots.ports ...
通过学习研究总结了Storm+zookeeper+metaq 消息处理的的整个过程以及zookeeper怎样做消息的分发与订阅,通过以下说明相信对学习storm的用户来说是一个质的回升。MetaQ主要作为数据传输的工具,Storm是数据获取&处理的工具,Zookeeper是一个协调管理的角色。数据存储,经Zookeeper协调,消息(数据)发到MetaQ中;数据获取,Storm-toplogy的Spout经Zookeeper协调到MetaQ,取出消息(数据);数据处理,Storm-toplogy的Bolt经Zookeeper协调到某一个Supervisor,开始处理。如图:
通 ...
大数据分析处理中storm 相关的安装配置说明,linux 系统
1. 前提是已经安装好 JDK
2. 首选下载并安装 zookeeper
下载官网地址: http://hadoop.apache.org/zookeeper/releases.html
比如下载 zookeeper-3.4.6.tar.gz 版本,将该版本放入到 linux 服务器上,
进行解压: tar –zxvf zookeeper-3.4.6.tar.gz
设置环境变量
vi /etc/profile
export ZOOKEEPER_HOME=/opt/zookeeper-3.4.6
PA ...
由于企业的应用系统较多,为了是员工实现一个用户信息可以进行登陆到其他系统中,故使用单点登陆(Single Sign On , 简称 SSO ) 进行实现,目前使用的SSO框架为CAX (Central Authentication Service)是一款不错的针对 Web 应用的单点登录框架。
到 CAS 官方网站下载 CAS Server 和 Client,地址分别为:
http://www.ja-sig.org/downloads/cas/cas-server-3.1.1-release.zip
http://www.ja-sig.org/downloads/cas-clients ...
对于springMVC 400 错误整理主要有以下情况,对于没有整理到的大家可以在后续跟帖发表:
1.对于使用Ajax请求:原因在对于使用json 传递参数的时候,没有使用 jsonData: 方式进行传递参数。如下图
2.对于使用 proxy 代理 type:”Ajax”,传递参数使用params,后台接收使用@RequestBody 进行解析json
查找问题:a. 在ajax 类型请求中是否设置 headers 为 application/json 类型;
b. 参数中的属性名称是否对应 javabean 的属性名称;图片中蓝色为 对已javaBean 的属性
c. ...
在使用 extjs +springMVC 过程中,通过前端传入的 json 对象( {‘date':’2015-01-01 00:00:00‘} ) 自动转换为 服务器端javabean 对应到date日期属性(private Date date;)解决方案:
原因:在目前springMVC3 中通过配置 annotation 注解自动封装为javaBean 对象 <mvc:annotation-driven /> ,不能将 String 日期封装为Date 日期。
解决: 通过 WebDataBinder 种的 registerCustomEditor() 方法可以进行解决这 ...
drools引擎使用决策表
- 博客分类:
- drools
前提准备:java 虚拟机 Drools核心库 Junit4.0以上版本 规则Excel模板表(将下面的图片的内容新建到Excel中)典型的用法就是根据excel创建KnowledgeBase,然后将它丢给session执行,执行的参数和结果都在params里面
package com.xxx.yyyy; 2 3 import java.io.File; 4 import java.io.FileInputStream; 5 import java.io.InputStream; ...
wro4j:Java Web资源压缩
- 博客分类:
- jquery
wro4j是一个Web资源优化工具。众所周知,到服务器加载一个大的文件比加载两个小的文件快,因为会增加HTTP交互的次数并且大部分浏览器在任何时候对于同一个服务器,只保持两个连接。开发wro4j项目的目的是减少加载一个页面的请求次数和传输的数据量.
WRO4j最大限度地减少和压缩CSS和JavaScript等web资源,WRO4j可以在编译时配置一个非常有用的API - 与适当的maven插件一起运行时。有两种办法使用,一个在运行时混合,一个是使用Maven编译时混合。
运行时混合:第一步在web.xml加入wrofilter:
<filter>
<fi ...
通过学习springMVC ,下面是extjs 整合springmvc 和 ibatis 实现的一个gridpanel 的 增删改查以及动态分页:
目前将前提Extjs 代码 和 springMvc 的控制层(control)的实现为大家提供,其业务层的实现也是比较简单的只是借助于ibatis 实现数据操作。
<%@ page language="java" pageEncoding="UTF-8"%>
<html>
<head>
</head>
<title>spring mvc ...
Spring3.1新特性
- 博客分类:
- SpringMVC
Spring3.1新特性
一、Spring2.5之前,我们都是通过实现Controller接口或其实现来定义我们的处理器类。
二、Spring2.5引入注解式处理器支持,通过@Controller 和 @RequestMapping注解定义我们的处理器类。并且提供了一组强大的注解:
需要通过处理器映射DefaultAnnotationHandlerMapping和处理器适配器AnnotationMethodHandlerAdapter来开启支持@Controller 和 @RequestMapping注解的处理器。
@Controller:用于标识是处理器类;
org.springframework.http.converter.HttpMessageNotReadableException: Could not read JSON: No content to map to Object due to end of input; 异常处理后的结果示例如下:
对于在SprngMVC 控制器层使用 @RequestBody 注解作为参数使用 MockHttpServletRequest 进行测试示例:
//运行类
@RunWith(SpringJUnit4ClassRunner.class)
//bean的配置文件路径
@Con ...