`
dalan_123
  • 浏览: 87045 次
  • 性别: Icon_minigender_1
  • 来自: 郑州
社区版块
存档分类
最新评论
文章列表
源码如下: /** * HTableInterface工具类 * 用于create table 和 release table * @since 0.21.0 */ @InterfaceAudience.Public @InterfaceStability.Stable public interface HTableInterfaceFactory {   /**    * Creates a new HTableInterface.    * 创建hbase table    * @param config HBaseConfiguration instance.  hbase 配 ...
一、测试 public class MrBatchApp {     // Log     private static final Log log = LogFactory.getLog(MrBatchApp.class);     //     public static void main(String[] args) throws      JobParametersInvalidException, JobExecutionAlreadyRunningException, JobRestartException, JobInstanceAlreadyCompleteException ...
一、测试 // 定义hadoop configuration Configuration conf = new Configuration(); // 指定hdfs上获取分析文件目录和输出分析结果目录 // 格式:hdfs://10.33.96.241:8020/user/tweets/input //       hdfs://10.33.96.241:8020/user/tweets/output // 最好使用当前hdfs系统用户目录;比如linux系统用户为tweets String[] otherArgs = new GenericOptionsParser(conf, args) ...
一、源码 // 如下代码实现 读取指定hdfs路径下tmp文件夹下面所有的文件(包括子文件) @SpringBootApplication public class DemoApplication implements CommandLineRunner {         // 构建FsShell对象 @Autowired private FsShell shell;          // 实现run方法 @Override public void run(String... args) { for (FileStatus s : shell.lsr("/tmp&qu ...
一、安装JAVA # 创建JAVA的目录 mkdir -p /usr/java  cd /usr/java #将下载的rpm包移到此目录 #执行安装 rpm -ivh jdk-8u65-linux-x64.rpm (对应你的rpm) #增加环境变量 vim /etc/profile 修改profile 最后面加入 export JAVA_HOME=/usr/java/jdk1.8.0_65 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH ...
Nginx (“engine x”)是一个高性能的HTTP和反向代理服务器,也是一款轻量级的Web 服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器 1 负载均衡实现可扩展的浏量管理 通过Nginx实现负载均衡将给你所需要的控制权,用来管理 ...
关于MapReduce and Distributed Cache 一、创建Hadoop Job 在前面的系列一里面我们已经知道如何配置hadoop了,在完成配置工作之后,我们如何提交job,并运行这些job将是接下来我们讲述的 使用SHDP创建job是相当简单的 <hdp:job id="mr-job" 指定jod id input-path="/input/" output-path="/ouput/" 指定任务input和output地址 ma ...
 一、要求 1、对于spring hadoop2.1构建在jdk7上面(最低要求:jdk6及其以上),hadoop 2.6 默认构建在spring framework 4.1上。 2、spring for Apache hadoop2.1支持如下hadoop版本   Apache Hadoop 2.4.1   Apache Hadoop 2.5.2   Apache Hadoop 2.6.0   Pivotal HD 2.1   Cloudera CDH5(2.5.0-CDH5.3.0)   Hortonworks Data Platform 2.0 任何通过Apache ...
http://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=209738332&idx=1&sn=de7b83e00b80a487a02072d5bb521838&scene=20#rd
一、LiquibaseLiquibase是一个用于跟踪、管理和应用数据库变化的开源的数据库重构工具。它将所有数据库的变化(包括结构和数据)都保存在XML文件中,便于版本控制。Liquibase具备如下特性:    * 不依赖于特定的数据库,目前支持包括Oracle/Sql Server/DB2/MySql/Sybase/PostgreSQL/Caché等12种         数据库,这样在数据库的部署和升级环节可帮助应用系统支持多数据库。    * 提供数据库比较功能,比较结果保存在XML中,基于该XML你可用Liquibase轻松部署或升级数据库。    * 以XML存储数据库变化,其中以 ...
准备的机器信息:192.168.247.128  dengnn(master)   192.168.247.129 dengdn1 (slave1)   192.168.247.130 dengdn2 (slave2)集群搭建 参考资料 cloudera hadoop 搭建http://heylinux.com/archives/1980.htmlhttp://www.ibm.com/developerworks/cn/data/library/techarticle/dm-1307ya ...
centos6.6安装hadoop2.6.1操作步骤 大致如下 1.安装JDK 1.1下载上传 jdk-7u79-linux-i586.rpm 1.2安装 rpm -ivh jdk-7u79-linux-i586.rpm 1.3将java添加到环境变量中 vim /etc/profile #在文件最后添加 export JAVA_HOME=/usr/java/jdk1.7.0_79/ export PATH=$PATH:$JAVA_HOME/bin #刷新配置 source /etc/profile 2.设置系统环境   2.1修改主机名 vim /etc/sysconfig/netwo ...
Linux安装mysql——源码安装 1.假设已经有mysql-5.5.10.tar.gz以及cmake-2.8.4.tar.gz两个源文件 (1)先安装cmake(mysql5.5以后是通过cmake来编译的) [root@ rhel5 local]#tar -zxv -f cmake-2.8.4.tar.gz [root@ rhel5 local]#cd cmake-2.8.4 [root@ rhel5 cmake-2.8.4]#./configure [root@ rhel5 cmake-2.8.4]#make [root@ rhel5 cmake-2.8.4]#make instal ...
一、安装jdk 地址:https://www.oracle.com/downloads/index.html 下载:jdk-7u79-linux-x64.gz(根据实际情况下载) 解压:tar -zvxf jdk-7u79-linux-x64.gz 创建目录:      mkdir java 将解压文件夹移动指定目录下:  mv jdk1.7.0_79  /java 配置环境变量: ...
首先举个栗子:比如通过支付宝向余额宝转账1000元,这样一种生活中很平凡的事情,却可以引出很多问题:如果系统宕机挂掉,交易没有完成?那么数据就出现了不一致。等等类似的事情,在各类系统中都能找到类似情形。那么也可以换句专业的说法:当一个表update之后,如何保证另外一个与之关联的表也能完成update。 1、本地事务:     支付宝账户表:A  id uid amount     余额宝账户表:B  id uid amount      用户id:uid = 100    执行上面的过程分两部分:     1、支付宝账户表-1000:update A set amount=amou ...
Global site tag (gtag.js) - Google Analytics