booby325
- 浏览: 386453 次
- 性别:
- 来自: 北京
-
最新评论
-
asdasfa：
内容说的挺明白的，但是有点问题！就是文字显示不完整。css没有 ...
SQL存储过程 -
yun27dddd：
[flash=200,200][flash=200,200][ ...
IBatis 入门教程 -
ronando_lu：
楼主有心了～～
Android 多国语言文件夹 -
沙舟狼客：
怎么把java生成的客户端keystore导入到操作系统中？
Java Keystore导入 -
ylj817：
很不错，谢谢了~
java操作数字证书
文章列表
用MapReduce来编写程序，有几个主要的特定流程，首先写map函数和reduce函数，最好使用单元测试来确保函数的运行符合预期，然后，写一个驱动程序来运行作业，要看这个驱动程序是否可以运行，之后利用本地IDE调试，修改程序
实际上权威指南的一些配置已经过时 所以这里很多地方不做介绍
1.配置API
Hadoop拥有很多xml配置文件，格式遵从一般xml的要求 见实例
<!--Example:5-1. A simple configuration file, configuration-1.xml-->
<?xml version="1 ...
Hadoop：The Definitive Guid 总结 Chapter 4 Hadoop I/O
1.数据的完整性
1).HDFS的数据完整性
HDFS以透明方式校验所有写入它的数据，并在默认设置下，会在读取数据时验证校验和。针对数据的每个io.bytes.per.checksum字节都会创建一个单独的校验和。默认值为512字节；
DataNode负责在存储数据（包括数据的校验和）之前验证它们收到的数据，其中管道线的最后一个DataNode负责验证校验和，如果此datanode检测到错误，客户端会收到一个checksum Exception。
客户端从datano ...
1.HDFS的设计
HDFS设计的适合对象：超大文件(TB级别的文件)、流式数据访问(一次写入，多次读取)、商用硬件(廉价硬件)
HDFS设计不适合的对象：低时间延迟的数据访问、大量的小文件、多用户写入，任意修改文件
2.HDFS的概念
1).数据块(Block)
HDFS中Block的大小默认是64M，小于块大小的的文件并不占据整个块的全部空间(而是将文件大小作为块的大小.比如要存放的文件是1k,但是系统的Block默认是64MB,存放之后块的大小是1k,不是64MB.文件若是大于64MB,则分多快进行存储.)
使用Blocks的好处：
可以存储大文件， ...
Log4J的配置文件(Configuration File)就是用来设置记录器的级别、存放器和布局的，它可接key=value格式的设置或xml格式的设置信息。通过配置，可以创建出Log4J的运行环境。
1. 配置文件Log4J配置文件的基本格式如下：
#配置根Loggerlog4j.rootLogger = [ level ] , appenderName1 , appenderName2 , …
#log4j文件必须放在src下。编译后和class包的顶层目录平级
# Set root logger level to WARN and append to stdoutlog4j.rootLogger=WARN, stdout, error#
package test.hadoop.util;
import java.util.Iterator;
import java.util.Map.Entry;
import org.apache.commons.lang.exception.ExceptionUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org. ...
1.数据存储与分析
问题：当磁盘的存储量随着时间的推移越来越大的时候，对磁盘上的数据的读取速度却没有多大的增长
从多个磁盘上进行并行读写操作是可行的，但是存在以下几个方面的问题：
1).第一个问题是硬件错误。硬件越多出错的几率就越大。一种常用的解决方式是数据冗余，保留多分拷贝，即使一份数据处理出错，还有另外的数据。HDFS使用的也是类似的方式，但稍有不同。
2).第二个问题是数据处理的相关性问题。例如很多分析工作在一快磁盘上处理出来的结果需要与其他磁盘上处理处理出来的结果合并才能完成任务。各种分布式系统也都给出了合并的策略，但是做好这方面确实是一个挑战。MapReduce提供了一种编程模 ...
linux下gzip的压缩详解
Linux压缩保留源文件的方法： gzip –c filename > filename.gz Linux解压缩保留源文件的方法： gunzip –c filename.gz > filename gunzip的用法1.作用 gunzip命令作用是解压文件，使用权限是所有用户。 2.格式 gunzip [-acfhlLnNqrtvV][-s ][文件...] 或者gunzip [-acfhlLnNqrtvV][-s ][目录] 3.主要参数 -a或--ascii：使用ASCII文字模式。 -c或--stdout或--to-stdout： ...
已有天气wsdl文件：
http://www.webxml.com.cn/WebServices/WeatherWebService.asmx?wsdl
天气预报方法说明： http://www.webxml.com.cn/WebServices/WeatherWebService.asmx
根据天气预报的WSDL文件生成 客户端
第一步：下载eclipse java EE最新版
第二步： File-->New--->Other--->Webservice-->WebserviceClient ，然后默认，在WSDL file locati ...
目的:使用Axis2发布webservice并使用客户端调用.
1.到http://ws.apache.org/axis2/1_4_1/installationguide.html上面下载 axis2-1.4.1-bin.zip ,里面有JKD,Tomcat版本的要求.
2.下载到的axis2-1.4.1-bin.zip解压到axis2-1.4.1-bin目录.Copy lib目录到已有工程目录.
3.web.xml增加servlet配置.
<servlet>
<description>
</description>
< ...
在网上找了很多例子，发觉很多都是脱离项目，单独使用axis2包发布webservice接口 实际开发中，一般都是跟随项目启动之后，自动发布接口 接下来简单讲解一下 在项目中集成发布axis2 webservice接口 1.打开axis2.war包，将conf,lib,modules三个文件夹复制到项目的WEB-INF文件夹下 2.新建一个services文件夹，然后在services文件下新建一个文件夹（任意取名），再新建META-INF文件夹,最后再新增services.xml，接口信息就写在这里面。 具体路径：WEB-INF/services/myservice/META-INF/serv ...
这次是用java实现RMI 的远程调用：
编写的过程大致为：
1. 首先我们的启动Mysqlserver ，然后再里面建立一个数据库，以便我们在数据库中插入存放学生信息等。
2. 先编写一个接口DataServer，并且继承Remote类，然后再接口里面写上服务器端能实现的方法，然后再定义一个类DataServerImpl 继承UnicastRemoteObject 在实现接口DataServer，并且一一实现它定义在借口里面得到方法，这里我们重新写了一个类DBManager，用来实现与数据库的连接，包括插入数据，根据学号、姓名等进行查询等操作，其源代码见附件 ...
<context-param>的作用:web.xml的配置中<context-param>配置作用1. 启动一个WEB项目的时候,容器(如:Tomcat)会去读它的配置文件web.xml.读两个节点: <listener></listener> 和 <context-param></context-param>
2.紧接着,容器创建一个ServletContext(上下文),这个WEB项目所有部分都将共享这个上下文.
3.容器将<context-param></context-param> ...
<?xml version="1.0" encoding="UTF-8"?>
<web-app xmlns="http://java.sun.com/xml/ns/j2ee" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://java.sun.com/xml/ns/j2ee http://java.sun.com/xml/ns/j2ee/web-app_2_4.xsd&q ...
Java 线程池学习
Reference: 《创建Java线程池》[1]，《Java线程：新特征-线程池》[2]， 《Java线程池学习》[3]，《线程池ThreadPoolExecutor使用简介》[4]，《Java5中的线程池实例讲解》[5]，《ThreadPoolExecutor使用和思考》[6]
[1]中博主自己通过ThreadGroup实现一个线程池（挺方便理解的），使用的是jdk1.4版本，Jdk1.5版本以上提供了现成的线程池。
[2]中介绍了java.util.concurrent.Executo