lbxhappy
- 浏览: 307266 次
- 性别:
- 来自: 北京
-
最新评论
-
ae6623：
ae6623 写道大哥，你是怎么知道它对临时文件有限制的，我也 ...
导出excel2007 poi3.8 -
ae6623：
大哥，你是怎么知道它对临时文件有限制的，我也发现这个bug了， ...
导出excel2007 poi3.8 -
coralandbill：
下载不了啊 能不能给我发一个simpleProj.war包啊 ...
jqgrid使用步骤及说明 -
maojin：
这是jqgrid几？那个电话号码校验的函数能调到吗？
jqgrid使用步骤及说明 -
qingyezhu：
请问，用poi3.8中的wordtohtmlconver类将d ...
导出excel2007 poi3.8
文章列表
1、配置 /etc/httpd/conf.d/vhost.conf
NameVirtualHost 172.16.12.61:7778 #指定部署该应用的端口
Listen 7778
<VirtualHost 172.16.12.61:7778>
ServerName 172.16.12.61
Alias /nvd3/ /opt/testDjango/jsDemo/nvd3/templates/ #为访问资源路径起个别名
<Directory /opt/testDjango/jsDemo/nvd3/templates>
Ord ...
JAV 数组 二叉树实现
- 博客分类：
- 数据结构与算法
package com.data.struct.tree.binaryTree;
public class ArrayBinTree<T extends Comparable<T>> {
/* 树高度 */
private int deepth = 0;
/* 存储树结构数据 */
private Object[] arr ;
/* 数组大小 */
private int size = 0;
public ArrayBinTree(int dpth,T data){
this.deepth = dpth;
init(data);
}
...
shell 遍历目录文件并根据文件名和日期匹配度删除文件
#!/bin/sh
basedir="/data/nginx/logs"
logdir="${basedir}/app"
datestr=`date -d -1day +%Y%m%d`
tmpdir="${basedir}/bak/app/${datestr}"
echo $tmpdir
if [ ! -x "$tmpdir" ]; then
mkdir "$tmpdir" -p;
fi
...
在安装hive过程中遇到了hive权限错误：
: Error in metadata: MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException Permission denied: user=hive, access=WRITE, inode="/":hdfs:hadoop:drwxr-xr-x
at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermiss ...
hadoop 源码编译 导入eclipse
- 博客分类：
- 云计算
hadoop 源码编译 导入eclipse
hadoop2版本出来后，突然心血来潮想编译下hadoop2的代码并导入eclipse，以备以后有时间了进行代码研究用，现在总结了下编译过程以及如何导入到elipse。一下是必备条件
hadoop版本：hadoop的尝鲜版release-2.0.3-alpha，svn地址：http://svn.apache.org/repos/asf/hadoop/common/tags
JDK1.6
ANT 及ivy,下载ant，配置环境变量，将ivy的下载jar包放到ant的lib目录下，即：%ANT_HOME%/lib
mvn3 ...
hive null 和空值
- 博客分类：
- 云计算
hive的数据源是基于hdfs的数据文件，如果文件的某一个字段是空值，那么hive查询出来是什么值呢，具体动手实验了下
数据：2458，24723，1698，226，，
如果在表中字段定义是字符类型，那么查询出的是空值
如果在表中字段定义是数字类型，那么查询出的是NULL值
MySQL 绿色版安装配置教程
- 博客分类：
- 搭建环境
一、下载，这里使用绿色解压缩版
网上搜索mysql绿色免安装版下载即可二、配置MySQL的参数1、解压缩绿色版软件到E:\Program Files\mysql-5.1.32设置系统环境变量MYSQL_HOME=E:\Program Files\mysql-5.1.32在Path中添加 %MYSQL_HOME%\bin;2、修改E:\Program Files\mysql-5.1.32\my-small.ini文件内容，添加红色内容[client]#password = your_passwordport = 3306socket = /tmp/mysql.sockdefault-chara ...
Maven 3 入门 -- 安装与配置
- 博客分类：
- 搭建环境
Maven以及其Eclipse插件m2eclipse的安装
（本文参考了Maven实战）
检查JDK的安装以及环境变量的配置
打开cmd
echo %Java_Home%
java -version
如下图
下载Maven
2、
模型
以上训练部分的四个job
执行完毕后，整个
bayes
模型就建立完毕了，总共生成并保存三个目录文件：
trainer-tfIdf
trainer-weights
trainer-thetaNormalizer
我们可以将模型从分布式上Sequence
文件导成本地的
txt
文件进行查看。
3、测试
调用类：TestClassifier
根据http://blog.163.com/jiayouweijiewj@126/blog/static/17123217720113115027394/进行了bayes学习分析，部分内容做了更改：
首先解释下 TFIDF原理：
TF-IDF（term frequency–inverse document
frequency）是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份
文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式 ...
谷歌开源 Supersonic 查询引擎
- 博客分类：
- 云计算
谷歌近日开源了其Supersonic项目。据谷歌描述，Supersonic是一个超快速的、针对列存储数据库
（Column-oriented DBMS）的查询引擎库，使用C++编写。
Supersonic提供了一组大量使用缓存相关算法、SIMD指令和矢量化操作的转换原语，并可以利用现代的超线程
CPU的优势。Supersonic主要被用来作为各种数据仓库项目的后端。它的主要特性包括：
1. 速度：
• 缓存意识
• 指令流水线技术
• SIMD使用
• 高效的内存分配
• 自定义数据结构
2. 可靠性
• 故障处理
• 高测试覆盖范围（开发中）
3. 健壮性
• 支持标准的列存储数据库操作
• ...
摘要：号外！Cloudera发布了实时查询开源项目Impala！多款产品实测表明，比原来基于MapReduce的Hive SQL查询速度提升3～90倍。Impala是Google Dremel的模仿，但在SQL功能上青出于蓝胜于蓝。
CSDN报道 文/刘江 正在纽约进行的大数据技术会议Strata Conference + Hadoop World传来消息，Cloudera发布了实时查询开源项目Impala 1.0 beta版，称比原来基于MapReduce的Hive SQL查询速度提升3～90倍（详情可以参考此文中的“How much faster are Impala queries t ...
hadoop 运行任务超时
- 博客分类：
- 云计算
在默认指定的10分钟或具体在配置文件指定的时间内没有报告状态，会出现任务超时的异常，最好的解决办法：
1、设置更长的等待时间
mapred.task.timeout设置该属性
2、增加计数器的值
3、
在平时跑mapReduce程序时，经常会遇到这样的错误，网上也有好多针对该错误的解决办法，但是我遇到的并不是因为hadoop环境配置出的错，错误可能会是自己的代码或hadoop资源紧张导致的该错误。我有次log4.xml配置文件有问题也报这个错误，这个问题 挺二的，希望有遇到这种错误的把解决方案奉献下！！！！！
java.lang.Throwable: Child Error
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:242)
Caused by: java.io.IOException: Task process e ...
引用：http://blog.163.com/jiayouweijiewj@126/blog/static/17123217720113115027394/
实现包括三部分：The Trainer（训练器）、The Model（模型）、The Classifier（分类器）
1、训练
首先，要对输入数据进行预处理，转化成Bayes M/R job读入数据要求的格式 ...