- 浏览: 166623 次
最新评论
-
西巴拉古呀那:
基于Spring Boot框架企业级应用系统开发全面实战网盘地 ...
使用 Spring Boot 快速构建 Spring 框架应用 -
小灯笼:
基于Spring Boot框架企业级应用系统开发全面实战网盘地 ...
使用 Spring Boot 快速构建 Spring 框架应用 -
ximeng1234:
spark spark-1.6.1-bin-hadoop2.6 ...
Spark On YARN 环境搭建
文章列表
Mysql分表和分区的区别
- 博客分类:
- Mysql
一,什么是mysql分表,分区 什么是分表,从表面意思上看呢,就是把一张表分成N多个小表,具体请看mysql分表的3种方法 什么是分区,分区呢就是把一张表的数据分成N多个区块,这些区块可以在同一个磁盘上,也可以在不同的磁盘上,具体请参考mysql分区功能详细介绍,以及实例 二,mysql分表和分区有什么区别呢 1,实现方式上 a),mysql的分表是真正的分表,一张表分成很多表后,每一个小表都是完正的一张表,都对应三个文件,一个.MYD数据文件,.MYI索引文件,.frm表结构文件。
Sql代码
SQL解析器的性能测试
- 博客分类:
- Mysql
文章来自:http://blog.csdn.net/wind520/article/details/42109061
对同一个sql语句,使用3种解析器解析出ast语法树(这是编译原理上的说法,在sql解析式可能就是解析器自定义的statement类型),执行100万次的时间对比。
[java] view plaincopy
package demo.test;
import java.io.StringReader;
import java.sql.SQLSyntaxErrorException;
import net.sf.j ...
文章来自:http://blog.javachen.com/2014/08/04/import-data-to-hive-with-sqoop/
Sqoop 是 apache 下用于 RDBMS 和 HDFS 互相导数据的工具。本文以 mysql 数据库为例,实现关系数据库导入到 hdfs 和 hive。
1. 安装 Sqoop
使用 rpm 安装即可。
yum install sqoop sqoop-metastore -y
安装完之后需要下载 mysql jar 包到 sqoop 的 lib 目录。
这里使用 hive 的 metastore 的 ...
hiveclient所在主机的jdk 1.7_51,hive 0.12和hadoop 2.3.0是从服务器端拷贝过来的,环境变量一切OK. 执行连接报了Invalid URL的错误: $ beeline Beeline version 0.12.0 by Apache Hive beeline> !connect jdbc:hive2://cloud011:10000 scan complete in 2ms Connecting to jdbc:hive2://cloud011:10000 Enter username for jdbc:hive2://cloud011:10000 ...
数据库写入性能测试小工具
- 博客分类:
- 测试工具
文章来自:http://blog.csdn.net/kongxx/article/details/42360663
今天工作需要要写一个小工具来测试一下数据库的写入性能,需要支持多并发,并且支持调整事务提交记录大小,所以就用Java写了一个,就一个类,比较简单但是基本功能都有了,下面看看代码实现
[java] view plaincopyprint?
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
impo ...
关闭SELINUX
#Disable SeLinuxsetenforce 0if [ -s /etc/selinux/config ]; then sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/configfi
查看SELINUX
getenforce
此时SELINUX状态为:Permissive已经可以满足需求
如果SELINUX已经加载则需要重启才能彻底关闭则需重启系统
步骤如下:
查看SELinux状态:
1、/usr/sbin/sestatus -v ##如果 ...
原文来自 http://www.gpfeng.com/?p=657&utm_source=tuicool
写在前面
14年中换了一份工作,出国游荡了一阵子,目前工作离数据库内核远了点,离业务近了些,业务层面碰到的‘高深’技术问题也少了,旅行后发现人也懒了不少,导致博 ...
使用Maven搭建Hadoop开发环境
- 博客分类:
- Hadoop
文章来自:http://blog.csdn.net/kongxx/article/details/42339581
关于Maven的使用就不再啰嗦了,网上很多,并且这么多年变化也不大,这里仅介绍怎么搭建Hadoop的开发环境。
1. 首先创建工程
[plain] view plaincopyprint?
mvn archetype:generate -DgroupId=my.hadoopstudy -DartifactId=hadoopstudy -DarchetypeArtifactId=maven-archetype-quickstart -Dinterac ...
文章来自:http://my.oschina.net/lanzp/blog/398644
在 此之前我们使用Mysql作为数据源,但发现这数据增长速度太快,并且由于种种原因,因此必须使用HBase,所以我们要把Mysql表里面的数据迁移到 HBase中,在这里我就不讲解、不争论为什么要使用HBase,HBase是什么了,喜欢的就认真看下去,总有些地方是有用的
我们要做的3大步骤:
新建HBase表格。
把MYSQL数据迁移到HBase中。
在Java Web项目中读取HBase的数据。
先介绍一下必要的一 ...
在本系列的 Spring Roo 简介,第 1 部分:从源代码构建 和 Spring Roo 简介,第 2 部分:使用 Spring Roo 开发应用程序 中,我们使用 Spring Roo 1.1 开发了一个会议应用程序。在 Spring Roo 简介,第 3 部分:开发 Spring Roo 的附加组件 和 Spring Roo 简介,第 5 部分:编写 Spring Roo 的高级附加组件和包装器附加组件 中,我们开发了 Spring Roo 附加组件。而在这两部分之间的 Spring Roo 简介,第 4 部分:用 Spring Roo 和 Cloud Foundry 在云中快速开发应 ...
本系列 “Spring Roo 简介” 的 Spring Roo 简介,第 3 部分:开发 Spring Roo 的附加组件 讨论了 Spring Roo 附加架构,以及如何使用 addon create 命令创建国际化的、简单的附加组件。本文主要关注 Spring Roo 支持的其余两种类型的附加组件,即高级附加组件和包装器附加组件。建议您在开始阅读本文之前先阅读第 3 部分的文章。
高级附加组件的简介
高 级附加组件允许 Spring Roo 执行简单附加组件所能执行的一切操作,例如,利用依赖关系或插件更新 Maven POM 文件,更新或添加配置文件,增强现有的 Java 类型,并使 ...
适合国内网速的CDH5安装
- 博客分类:
- Hadoop
0.集群规划
说明:由于CDH可以方便的动态添加删除主机,动态改变主机上的服务,所以后面再对各机器上跑得服务进行分配。
共三台机器
操作系统: centos6.5
机器名:work01、work02、work03
work03运行Cloudera Manager
在本 “Spring Roo 简介” 系列文章的 第 1 部分 和 第 2 部分 中,我们 使用 Spring Roo 从头开始构建了一个功能完整的企业应用程序。在那时,我曾打算写一篇关于 Spring Roo 与 Google App Engine 平台即服务 (PaaS) 集成的文章。Spring Roo 支 ...
入门
在本 “Spring Roo 简介” 系列的 Spring Roo 简介,第 1 部分:从源代码构建 和 Spring Roo 简介,第 2 部分:使用 Spring Roo 开发应用程序,我们 使用 Spring Roo 从头开始构建了一个功能完整的企业应用程序。前两篇 文章专注于使用 Spring Roo 的快速应用开发环境构建 Web 应用程序。我们涵盖了 许多功能,如:JPA、Selenium 测试、Spring Security、电子邮件 集成、Spring Roo 社交功能、数据库逆向工程等。 现在我们将看一看 Spring Roo 的 附加架构。然后我们将使用 addon ...
在此 Spring Roo 系列的 Spring Roo 简介,第 1 部分:从源代码构建 中,我们使用 Spring Roo 构建了一个小的企业会议应用程序。此处,我们将使用 Spring Roo 将简单的 CRUD web 应用程序扩展成一个成熟的企业应用程序。开始之前,要确认 ...