java_doom
- 浏览: 503578 次
- 来自: ...
-
最新评论
-
java_doom：
peaceliu 写道 受教了客气了 多谢指教和启发
HAhadoop集群namenode无法自动切换成active -
peaceliu：
受教了
HAhadoop集群namenode无法自动切换成active -
java_doom：
补充一下 在编译hadoop2.9.4时不要改maven源不要 ...
编译hadoop2.7 -
java_doom：
naomibyron 写道我专门注册了一个ITEYE账号，就为 ...
No protocol specified (gedit:2699): Gtk-WARNING **: cannot open display: :0. -
naomibyron：
我专门注册了一个ITEYE账号，就为了对你说声谢谢，对我帮助很 ...
No protocol specified (gedit:2699): Gtk-WARNING **: cannot open display: :0.
文章列表
因为网上的好多博客写的步骤不对所以自己写一个。
首先确定我的版本
CentOS Linux release 7.4.1708
写道
cat /etc/redhat-release
centos7一般都自带了mariadb 用来替代，所以检查安装的mariadb ，并且卸载
写道
rpm -qa |grep mariadbrpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_64
下载rpm，因为centos7的yum里边已经没有mysql了
写道
wget http://dev.mysql.com/get/mysql ...
daemon线程和user线程的区别
- 博客分类：
- 多线程
java中的线程分为两大类：daemon和User线程。
默认创建的都是user线程。
当进程中不存在任何User线程时jvm就会退出。
比如
public class TestRxJava {
private static final String THREAD_NUM="sub-thread";
public static void main(String[] args) {
System.out.println("--"+Thread.currentThread().getName()+&quo ...
如何通过命令行连接mysql数据库
- 博客分类：
- 数据库
windows端：需要在命令行中进入mysql所在的目录下，进入bin目录下：
比如我的路径是在：e:\tmallStudy\mysql\MySQL Server 5.7\bin下输入：
mysql -hlocalhost -uroot -p
-u后面的为用户名名称 -p后面输入密码
显示出这个时证明连接数据库成功
show databases; //显示存在的数据库
use test; //test为相对应的数据库名称，表示使用某个数据库
show tables; ...
写道
create table hive_wordcount(context string);FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:For direct MetaStore DB connections, we don't support retries at the client level.)
更新hive/lib中的mysql驱动以及修改mysql中hive表的字符集latin1。
def main(args: Array[String]): Unit = {
val file =Source.fromFile("d:/1.txt","gb2312")
def readLine()={
for (line<-file.getLines())
{
println(line)
}
}
readLine
def readChar()={
for(ele <-file){
...
柯里化：指的是将原来接受两个参数的函数变成新的接受一个参数的函数的过程。新的函数返回一个以原有第二个参数作为参数的函数。
val mulOneAtATime = (x:Int)=>((y:Int)=>x*y)
调这个计算两个数成绩的函数，需要这样：
mulOneAtATime(6)(7),
实际上mulOneAtATime(6)的调用结果是（y:Int）=>6*y,而这个函数有被传入参数7，所以返回42
可以这样简写柯里化函数
def mulOneAtATime(x：Int)(y:Int)=x*y
定义柯里化方法时是这样
譬如在REPL中
...
写道
#push modea1.sources = r1a1.sinks = k1a1.channels = c1#sourcea1.sources.r1.channels = c1a1.sources.r1.type = execa1.sources.r1.command = tail -f /export/logs/test.txta1.sources.r1.fileHeader = true#channela1.channels.c1.type =memorya1.channels.c1.capacity = 20000a1.channels.c1.transactionCapacit ...
写道
spark-shell本地两线程运行 spark-shell --master local[2] spark-shell --master local[*] *表示当前机器上所有可用的资源集群模式 spark-shell --master spark://hadoop1:7077 master=spark://hadoop1:7077 ./spark-shell spark-shell --master spark://hadoop1:7077 --executor-memory 3G spark-shell master spark://hadoop1:7077,hadoop2 ...
生成rdd
val lines = sc.parallelize(Array("Hello Spark","Hello hadoop","Hello hadoop"))
或者从文件读
val lines = sc.textFile("//......")
切分
val words= lines.flatMap(x=>x.split(" "))
切分后是这样
写道
res0: Array[String] = Array(Hello, Spark, Hello, had ...
配置Spring Security 4日志报错：
ERROR: org.springframework.web.context.ContextLoader#initWebApplicationContext : Context initialization failedorg.springframework.beans.factory.BeanCreationException: Error creating bean with name 'org.springframework.security.filterChains': Cannot resolve reference to bean ...
Vmware添加磁盘的方法：扩展磁盘
- 博客分类：
- linux
https://blog.csdn.net/liumiaocn/article/details/78877957参考了这个博客 但是有些地方不一样。
扩展后，重新启动linux，发现df状态没有变化
[root@mail ~]# df
使用fdisk确认磁盘空间是否已经扩展
[root@mail ~]# fdisk -l
扩展分区
[root@mail ~]# fdisk /dev/sda
重启
扩展vg
[root@mail ~]# pvcreate /dev/sda3
vgextend vg_hadoop1 /dev/sda3 ...
修改swappiness参数有临时修改和永久修改两种方法：
----临时修改：[root@rhce ~]# sysctl vm.swappiness=10vm.swappiness = 10[root@rhce ~]# cat /proc/sys/vm/swappiness10这里我们的修改已经生效，但是如果我们重启了系统，又会变成60.----永久修改：在/etc/sysctl.conf 文件里添加如下参数：vm.swappiness=10或者：[root@rhce ~]# echo 'vm.swappiness=10'>> /etc/sysctl.conf保存，重启，就生效了 ...
安装完LINUX后经常使用终端远程登录，登录后经常出现You have new mail in /var/spool/mail/root的提示，很是烦人。这东西到底是做什么用的呢？
经过查询才知道这是LINUX的邮年提示功能。LINUX会定时查看LINUX各种状态做汇总，每经过一段时间会把汇总的信息发送的root的邮箱里，以供有需之时查看。
那要怎么去掉这麻人的提示呢？
反正也不经常查看系统自动生成的邮件或是想查看的时候使用命令查看，不用自动提示。要想关闭linux系统的邮件功能自动提示非常简单，只需要运行以下命令就可以
写道
echo "unset MAILCHEC ...
配了个haHadoo集群，手动kill -9了1号机的namenode，发现2号不能自动变为active，查看日志报错：
写道
2018-10-31 14:11:02,098 INFO org.apache.hadoop.ha.NodeFencer: ====== Beginning Service Fencing Process... ======2018-10-31 14:11:02,098 INFO org.apache.hadoop.ha.NodeFencer: Trying method 1/1: org.apache.hadoop.ha.SshFenceByTcpPort(nu ...
scala 查看版本号
- 博客分类：
- scala
命令行进入scala时就显示的版本号
或者进入scala，然后输入util.Properties.versionString