`
zhangbaoming815
  • 浏览: 150077 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论
文章列表
好奇分布式存储是怎么实现的,如何能将一个文件存储到HDFS上,HDFS的文件目录只是一个空壳,真正存储数据的是DataNode,那么当我们把一个文件放到HDFS上的时候,集群都做了哪些工作呢 ?也就是执行命令copyFromLocal这个命令都做了哪些操作 首先命令肯定对应着源码里面的某一个方法,这个方法是FsShell类的copyFromLocal,代码: void copyFromLocal(Path[] srcs, String dstf) throws IOException { // 创建目标路径 Path dstPath ...
使用NIO的InetSocketAddress建立网络通信非常方便,包括服务端和客户端: 服务端创建一个ServerSocketChannel,等待客户端发起链接请求,下面的例子比较简单,开启服务端等待客户端请求,接收到客户端的连接后,给客户端发送数据。   Server段代码: import java.io.IOException; import java.io.OutputStream; import java.net.InetSocketAddress; import java.nio.channels.ServerSocketChannel; import java.n ...

scala的map类型

scala的map数据类型类似自己在草稿上随手画出,很形象地表达了人的思想,容易理解,使用起来也非常简单,先看如何创建一个map对象: val products = Map("hjunetcn" -> 20500015, "hkbicicom" -> 20400010, "hkceducn" -> 20500005, "hl1314com" -> 20800004) 由map的键指向值,keyValue键值对,非常形象地表达了人为的思想 获取map的值 ...
Hadoop默认的读取一条数据,使用的就是LineReader的readLine方法,这个方法具体怎么工作,可以直接看源码,因为比较复杂,所以加上一些注释: /** * Read one line from the InputStream into the given Text. A line can be * terminated by one of the following: '\n' (LF) , '\r' (CR), or '\r\n' * (CR+LF). EOF also terminates an otherwise untermi ...
scala读取文件非常的简单,使用的都是scala模板提供的静态函数,打开一个文件的 IO 流就一句话,比Java的数据流包装简单: val src = scala.io.Source.fromFile("E:/JavaObject/Url_Product_Classification.txt")  得到数据IO流以后可以使用src.getLines()函数得到Iterator,后面就与Java的一样,循环获取: val iter = src.getLines() while(iter.hasNext) { println(iter.next()) ...
scala是一门混合了函数和面向对象的语言,关于scala的详细介绍在scala的官网上有详细的介绍。 参考文档:http://www.scala-lang.org/old/node/25   scala程序运行在JVM上,相信熟悉Java的人,这个很容易就能配置,scala的配置包可以从上面的网站上下载,在机器的环境变量里配置就可以使用,为了能够更好地进行scala的开发,scala提供了相应的SDK,安装了scala SDK插件的eclipse在官网上也可以下载,下载页面为: http://scala-ide.org/download/sdk.html   下面使用eclips ...
基于Hadoop 1.0.1版本编写,在hadoop 1.0.1 + 版本应该都可以使用 import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hado ...
关于自定义数据类型,http://book.douban.com/annotation/17067489/ 一文中给出了一个比较清晰的说明和解释。 以wordCount为例子 定义自己的数据类型Http类 import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import org.apache.hadoop.io.WritableComparable; public class Http implements WritableComparable<Http&g ...
log4j的日志输出格式:     %m   输出代码中指定的消息   %p   输出优先级,即DEBUG,INFO,WARN,ERROR,FATAL    %r   输出自应用启动到输出该log信息耗费的毫秒数    %c   输出所属的类目,通常就是所在类的全名    %t   输出产生该日志事件的线程名    %n   输出一个回车换行符,Windows平台为“/r/n”,Unix平台为“/n”    %d   输出日志时间点的日期或时间,默认格式为ISO8601,也可以在其后指定格式,比如:%d{yyy MMM dd HH:mm:ss , SSS},输出类似:2002年1 ...
import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.Put; import org.apache.hadoop.hbase.io.ImmutableBytesWritable; import org.apache.hadoop.hbase.map ...
php 删除mysql表中的数据   <html> <head> <title>Delete a Record from MySQL Database</title> </head> <body> <?php if(isset($_POST['delete'])) { $dbhost = 'localhost:3306'; $dbuser = 'root'; $dbpass = 'root'; $conn = mysql_connect($dbhost, $dbuser, $d ...
php更新数据库信息   <html> <head> <title>Update a Record in MySQL Database</title> </head> <body> <?php if(isset($_POST['update'])) { $dbhost = 'localhost:3306'; $dbuser = 'root'; $dbpass = 'root'; $conn = mysql_connect($dbhost, $dbuser, $dbpass); ...
php 从mysql中读取数据   <?php $dbhost = 'localhost:3306'; $dbuser = 'root'; $dbpass = 'root'; $conn = mysql_connect($dbhost, $dbuser, $dbpass); if(! $conn ) { die('Could not connect to mysql'); } echo "connected successfully!"; $sql = 'SELECT emp_id, emp_name, emp_sa ...
php 往mysql中插入数据 <html> <head> <title>Add New Record in MySQL Database</title> </head> <body> <?php if(isset($_POST['add'])) { $dbhost = 'localhost:3306'; $dbuser = 'root'; $dbpass = 'root'; $conn = mysql_connect($dbhost, $dbuser, $dbpass); ...
PHP 连接mysql数据库 <?php $dbhost = 'localhost:3306'; $dbuser = 'root'; $dbpass = 'root'; $conn = mysql_connect($dbhost, $dbuser, $dbpass); if(! $conn ) { echo 'Connect failure'; } echo 'Connected successfully'; mysql_close(); ?>  
Global site tag (gtag.js) - Google Analytics