rainbow_小春
- 浏览: 47140 次
- 性别:
- 来自: 天津
-
最新评论
文章列表
编了在java中调用linux的程序
若要从文件读参数：
cat 1.txt | ./ictcrawler -c 1 -t 1 -n 3 >logg
若要传参数：
echo "abc" | ./ict -c 1 -t 1 -n 3 >logg
但由于 有“|”的存在，java是不支持管程的，所以runtime不可以用
1.Java调用shell Java语言以其跨平台性和简易性而著称，在Java里面的lang包里(java.lang.Runtime)提供了一个允许Java程序与该程序所运行的环境交互的接口，这就是Runtime类，在Runtime类里提供了获取当前运行环境的接口。其中的exec函数 ...
MapReduce优化
- 博客分类：
- hadoop
相信每个程序员在编程时都会问自己两个问题“我如何完成这个任务”，以及“怎么能让程序运行得更快”。同样，MapReduce计算模型的多次优化也是为了更好地解答这两个问题。
MapReduce计算模型的优化涉及了方方面面的内容，但是主要集中在两个方面：一是计算性能方面的优化；二是I/O操作方面的优化。这其中，又包含六个方面的内容。
1. 任务调度
任务调度是Hadoop中非常重要的一环，这个优化又涉及两个方面的内容。计算方面：Hadoop总会优先将任务分配给空闲的机器，使所有的任务能公平地分享系统资源。I/O方面：Hadoop会尽量将Map任务分配给InputSplit所在的机器，以减少网络 ...
今天工作还蛮顺利的，应该都搞定了，只是集群貌似任务过多跑不起来，明天早点来运行吧。
总结一下，转码方法。。
GB2312
public static String gb2312ToWord(String str) throws Exception {
String result = "";
byte[] bytes = new byte[str.length() / 2];
for (int i = 0; i < bytes.length; i++) {
byte high = Byte.parseBy ...
昨天因为数据格式
错误总结：
1、 <!--StartFragment -->
Exception in thread "main" java.lang.StringIndexOutOfBoundsException: String index out of range: -1 at java.lang.String.substring(String.java:1958) at java.lang.String.substring(String.java:1925) at java.awt.TextA ...
前辈建议我将执行命令放入shell脚本中，这样就不至于看着一堆mapreduce心烦。
好主意！于是
#!/bin/bashhadoop jar sel.jar org.day1111.Main /user/hive/warehouse/clickwise.db/nstat/dt=20141011/dp=nstat/ /user/clickwise/rainbow/shell>/home/clickwise/rainbow/log 2>& 1
用了个重定向
indexOf 方法返回一个整数值，指出 String 对象内子字符串的开始位置。如果没有找到子 ...
本想已经把map reducer编好了，可却没成想今天确实怂了一路。
原因是没有彻底搞懂各个字段····而且也没人告我hive中数据的字段长度和hdfs的字段长度是不同的，而且我的程序时按照昨天在hive表中数的长度计量的,而且分隔符是“/001”,不是“/t”·····所以结果一直为空。。囧
后来慌慌的问前辈为什么只有uid后面跟奇怪的符号··点开reducer才发现是传个空，幸好前辈人够好而且不会java··不然我一定会被鄙夷的
日后一定要先看数据再写代码。还是数据敏感度低吧。。不过好歹是弄好了
<!--StartFragment -->
...
（转）java字符串的模糊匹配
- 博客分类：
- core java
今天因为业务需求，需要在java中进行字符串的模糊匹配，由于要比较的对象长度不同，也没有固定的组成规则，收集到下列三个方法解决问题 方法一、 public int indexOf(String str) 返回指定子字符串在此字符串中第一次出现处的索引。返回的整数是 this.startsWith(str, k)为 true 的最小 k值。参数：str - 任意字符串。返回：如果字符串参数作为一个子字符串在此对象中出现，则返回第一个这种子字符串的第一个字符的索引；如果它不作为一个子字符串出现，则返回-1。 if(str1.indexOf("RO&quo ...
今天开始第一天上班，没有想象中那么可怕的~可能最重要的或许是表现的比较乖吧。。同事也很热情。
好吧，小结一下
1 ssh远程登陆时中文乱码的解决办法 vi /etc/sysconfig/i18n (改其内容为: LANG="zh_CN.UTF-8" ...
（转）Hive几种数据导出方式
- 博客分类：
- hive
写在前面的话，学Hive这么久了，发现目前国内还没有一本完整的介绍Hive的书籍，而且互联网上面的资料很乱，于是我决定写一些关于《Hive的那些事》序列文章，分享给大家。我会在接下来的时间整理有关Hive的资料，如果 ...
这些都是比较有实用性的系统配置，收藏下，以备不时之需！以下是etc下重要配置文件解释:
1、/etc/hosts
#文件格式: IPaddress hostname aliases
#文件功能: 提供主机名到IP地址的对应关系，建议将自己经常 ...
（转）有关java线程
- 博客分类：
- core java
Java多线程两种实现方式的比较
实现多线程的两种方式，一种是继承Thread类，一种是实现Runnable接口，有两个例子如下：
方式一：
方式二：
疑问：
为什么实现Runnable时，创建线程对象不能写成 " MyThread mt=new MyThread();"？
明白了，就是说采用实现Runnable的方式时，例子2中定义的MyThread类并没有采用extends表明继承了Thread类，因此要调用Thread类中才有的start（）方法，必须先创建Thread类的对象，才能调用start（）方法，而Thread mt = new ...
老师的话，有关公司的资源
- 博客分类：
- 叨逼叨
进本地的setting.xml中配置source，局部不对外开放 公司内部的maven库本地.m2下载资源如果没有本地的setting.xml配置的source公司内部的maven库远端的maven库 阿里
hadoop源码位置/home/zjq/.m2/repository/org/apache/hadoop/hadoop-core/1.2.1
mvn eclipse:eclipse 自动转换为eclipse工程mvn clean install清空mvn clean
用于编译dependencymodules用于解耦
（转）hadoop hdfs常用命令
- 博客分类：
- hadoop
hadoop hdfs常用命令
hadoop常用命令：
hadoop fs
查看Hadoop HDFS支持的所有命令
hadoop fs –ls
列出目录及文件信息
hadoop fs –lsr
循环列出目录、子目录及文件信息
hadoop fs –put test.txt /user/sunlightcs
将本地文 ...
(汇总)grep/awk/sed实例
- 博客分类：
- linux基础
http://blog.itpub.net/29500582/viewspace-1285066/
http://www.cnblogs.com/end/archive/2012/02/21/2360965.html