`
ganliang13
  • 浏览: 254145 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论
文章列表
public static void main(String[] args) throws Exception { String localSrc = "/home/ganliang/test_fileCopyWithProgress.txt";//本地文件 String dst = "hdfs://localhost:9000/user/ganliang/hadoop_in/test_fileCopyWithProgress.txt";//复制到hdfs目录下 InputStream in = new ...
hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /user/root/input/conf/mapred-site.xml could only be replicated to 0 nodes, instead of 1 at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock at org.apache.hadoop.ipc.Client. ...

hive 全面学习

1.Hive CLI(hive命令行 command line) hive命令行选项: -d k=v (定义变量)  -e "" -f filename  -h host -p port -v (控制台显示执行的hql) hive交互模式: set;显示hive中的所有变量,例如set mapred.reduce.tasks=32; set k=v :如果k不存在,不会报错 ! shell command :hive交互模式执行shell,例如 : ! echo aa dfs command  :hive交互模式执行hadoop fs 的命令,和ha ...
--hive 数据表创建 use company; DROP TABLE ETL_ACTIONS_TMP; CREATE TABLE IF NOT EXISTS company.ETL_ACTIONS_TMP ( time STRING, ip STRING, action STRING, customer_id STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE LOCATION '/user/work/tables2/ETL_ACTIONS_TMP'; --带分区 CREATE TABLE I ...
1.rpm安装和卸载包 rpm -ivh /root/Desktop/notepad.rpm,如果出现了错误提示“error: Faild dependencies”则表明出现了软件包依赖问题,下面会有提示需要哪个文件,安装完哪个文件后(google 一个)再次安装即可。也可以在上述命令的后面加 ...
cd /etc/init.d ./mysqld-ib stop ./mysqld-ib start cd /etc/init.d ./iptables stop ------------- 1.下载地址 http://www.infobright.org/downloads/ice/infobright-4.0.7-0-win_32-ice.zip 2.解压直接安装 3.进入Infobright command line client 4.创建本地权限用户 mysql>GRANT ALL PRIVILEGES ON *.* TO 'admin'@'localhost' IDENT ...

ETL本质

    博客分类:
  • BI
4.1.ETL 特点 ETL的过程就是数据流动的过程,从不同异构数据源流向统一的目标数据。其间,数据的 抽取、清洗、转换和装载形成串行或并行的过程。ETL的核心还是在于T这个过程,也就是转换,而抽取和装载一般可以作为转换 ...
Lock wait timeout exceeded; try restarting transaction 原因:数据库死锁 解决:进入mysql,键入"show processlist"会有处理清单。'kill processid'即可
1.首先下载新浪微博的相关代码,我体验的版本weibo4j-oauth2-beta2.0.zip,解压后直接导入Eclipse即可用,最好把你的应用改成web方式的   2.需要到微博开放平台注册相关信息,地址为:http://open.weibo.com/    a.点击-》创建应用,有三种应用的类型,分别是站内应用,客户端应用,其他。    b.在此选择站内应用,其他没试过。    c.创建站内应用的信息可以悠悠的填写,最好不要绑定域名,省得配置起来很麻烦   3.创建成功后点击我的应用,你会发现自己创建的应用,特别要注意: App Key: *** App Secret: ...

hive数据存储格式

 Hive 没有专门的数据存储格式,也没有为数据建立索引,用户可以非常自由的组织 Hive 中的表,只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符,Hive 就可以解析数据。 其次,Hive 中所有的数据都存储在 HDFS 中,Hiv ...
Excel提供了下拉列表的实现,但并不支持多选,后来慢慢找资料终于利用VBA编程实现了多选的问题。 首先点击视图->宏,工程资源所示: 有Microsoft Excel对象:对应的是Sheet1或Sheet2对像等; 窗体:对应的是弹出的对话框; 模块:对应的是调用某些功能的入口。   以Sheet1页单击D列为例弹出框供多选 1: 先建立宏,然后编辑,在"Microsoft Excel对象"中单击"Sheet2"的右键-》查看代码 将此代码保存: Private Sub Worksheet_SelectionChange(By ...
字符串转换成十六进制字符串方法1: /** * 字符串转换成十六进制字符串 */ public static String str2HexStr(String str) { char[] chars = "0123456789ABCDEF".toCharArray(); StringBuilder sb = new StringBuilder(""); byte[] bs = str.getBytes(); int bit ...
Global site tag (gtag.js) - Google Analytics