- 浏览: 150077 次
- 性别:
- 来自: 北京
最新评论
-
happyDear:
[flash=200,200][url][img][list] ...
java读取txt文件
文章列表
好奇分布式存储是怎么实现的,如何能将一个文件存储到HDFS上,HDFS的文件目录只是一个空壳,真正存储数据的是DataNode,那么当我们把一个文件放到HDFS上的时候,集群都做了哪些工作呢 ?也就是执行命令copyFromLocal这个命令都做了哪些操作
首先命令肯定对应着源码里面的某一个方法,这个方法是FsShell类的copyFromLocal,代码:
void copyFromLocal(Path[] srcs, String dstf) throws IOException
{
// 创建目标路径
Path dstPath ...
使用NIO的InetSocketAddress建立网络通信非常方便,包括服务端和客户端:
服务端创建一个ServerSocketChannel,等待客户端发起链接请求,下面的例子比较简单,开启服务端等待客户端请求,接收到客户端的连接后,给客户端发送数据。
Server段代码:
import java.io.IOException;
import java.io.OutputStream;
import java.net.InetSocketAddress;
import java.nio.channels.ServerSocketChannel;
import java.n ...
scala的map数据类型类似自己在草稿上随手画出,很形象地表达了人的思想,容易理解,使用起来也非常简单,先看如何创建一个map对象:
val products = Map("hjunetcn" -> 20500015,
"hkbicicom" -> 20400010,
"hkceducn" -> 20500005,
"hl1314com" -> 20800004)
由map的键指向值,keyValue键值对,非常形象地表达了人为的思想
获取map的值 ...
Hadoop默认的读取一条数据,使用的就是LineReader的readLine方法,这个方法具体怎么工作,可以直接看源码,因为比较复杂,所以加上一些注释:
/**
* Read one line from the InputStream into the given Text. A line can be
* terminated by one of the following: '\n' (LF) , '\r' (CR), or '\r\n'
* (CR+LF). EOF also terminates an otherwise untermi ...
scala读取文件非常的简单,使用的都是scala模板提供的静态函数,打开一个文件的 IO 流就一句话,比Java的数据流包装简单:
val src = scala.io.Source.fromFile("E:/JavaObject/Url_Product_Classification.txt")
得到数据IO流以后可以使用src.getLines()函数得到Iterator,后面就与Java的一样,循环获取:
val iter = src.getLines()
while(iter.hasNext)
{
println(iter.next())
...
scala是一门混合了函数和面向对象的语言,关于scala的详细介绍在scala的官网上有详细的介绍。
参考文档:http://www.scala-lang.org/old/node/25
scala程序运行在JVM上,相信熟悉Java的人,这个很容易就能配置,scala的配置包可以从上面的网站上下载,在机器的环境变量里配置就可以使用,为了能够更好地进行scala的开发,scala提供了相应的SDK,安装了scala SDK插件的eclipse在官网上也可以下载,下载页面为:
http://scala-ide.org/download/sdk.html
下面使用eclips ...
基于Hadoop 1.0.1版本编写,在hadoop 1.0.1 + 版本应该都可以使用
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hado ...
关于自定义数据类型,http://book.douban.com/annotation/17067489/ 一文中给出了一个比较清晰的说明和解释。
以wordCount为例子
定义自己的数据类型Http类
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import org.apache.hadoop.io.WritableComparable;
public class Http implements WritableComparable<Http&g ...
log4j的日志输出格式:
%m 输出代码中指定的消息
%p 输出优先级,即DEBUG,INFO,WARN,ERROR,FATAL
%r 输出自应用启动到输出该log信息耗费的毫秒数
%c 输出所属的类目,通常就是所在类的全名
%t 输出产生该日志事件的线程名
%n 输出一个回车换行符,Windows平台为“/r/n”,Unix平台为“/n”
%d 输出日志时间点的日期或时间,默认格式为ISO8601,也可以在其后指定格式,比如:%d{yyy MMM dd HH:mm:ss , SSS},输出类似:2002年1 ...
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.map ...
php 删除mysql表中的数据
<html>
<head>
<title>Delete a Record from MySQL Database</title>
</head>
<body>
<?php
if(isset($_POST['delete']))
{
$dbhost = 'localhost:3306';
$dbuser = 'root';
$dbpass = 'root';
$conn = mysql_connect($dbhost, $dbuser, $d ...
php更新数据库信息
<html>
<head>
<title>Update a Record in MySQL Database</title>
</head>
<body>
<?php
if(isset($_POST['update']))
{
$dbhost = 'localhost:3306';
$dbuser = 'root';
$dbpass = 'root';
$conn = mysql_connect($dbhost, $dbuser, $dbpass);
...
php 从mysql中读取数据
<?php
$dbhost = 'localhost:3306';
$dbuser = 'root';
$dbpass = 'root';
$conn = mysql_connect($dbhost, $dbuser, $dbpass);
if(! $conn )
{
die('Could not connect to mysql');
}
echo "connected successfully!";
$sql = 'SELECT emp_id, emp_name, emp_sa ...
php 往mysql中插入数据
<html>
<head>
<title>Add New Record in MySQL Database</title>
</head>
<body>
<?php
if(isset($_POST['add']))
{
$dbhost = 'localhost:3306';
$dbuser = 'root';
$dbpass = 'root';
$conn = mysql_connect($dbhost, $dbuser, $dbpass);
...
PHP 连接mysql数据库
<?php
$dbhost = 'localhost:3306';
$dbuser = 'root';
$dbpass = 'root';
$conn = mysql_connect($dbhost, $dbuser, $dbpass);
if(! $conn )
{
echo 'Connect failure';
}
echo 'Connected successfully';
mysql_close();
?>