java_doom
- 浏览: 503556 次
- 来自: ...
-
最新评论
-
java_doom：
peaceliu 写道 受教了客气了 多谢指教和启发
HAhadoop集群namenode无法自动切换成active -
peaceliu：
受教了
HAhadoop集群namenode无法自动切换成active -
java_doom：
补充一下 在编译hadoop2.9.4时不要改maven源不要 ...
编译hadoop2.7 -
java_doom：
naomibyron 写道我专门注册了一个ITEYE账号，就为 ...
No protocol specified (gedit:2699): Gtk-WARNING **: cannot open display: :0. -
naomibyron：
我专门注册了一个ITEYE账号，就为了对你说声谢谢，对我帮助很 ...
No protocol specified (gedit:2699): Gtk-WARNING **: cannot open display: :0.
文章列表
### docker基础命令
systemctl start docker
docker version 查看版本
docker info 显示当前docker状态
docker 显示可以的docker命令
docker container ps 列出当前正在运行的容器
docker container ps -a 列出当前所有的容器
docker system prune -f 清理删除已经退出的容器
docker image prune -a 清理没有使用的镜像
docker network ls 查看docker 提供的网络模式
...
输入win+r打开电脑的运行功能，输入regedit，点击确定
之后直接将注册表编辑器的上方文件路径改为计算机\HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows Media Foundation\Platform
随后在空白的页面右键点击新建，新建DWORD(32位)值，命名为EnableFrameServerMode
数值设置为0就可以了 十六进制
这时候相机就可以直接启动了
随着项目代码量的增加, 某日启动idea后,部分引入的依赖漂红;
每一次启动idea后,均要执行清除缓存才能使用;file --> Invalidate Caches…
解决方案:
help --> Edit Custom VM Options
将 -XX:ReservedCodeCacheSize=2048m 由1G调整为2G
file --> Invalidate Caches…
至此, 问题解决,不用每次启动,都要清除缓存了
String...和String[]区别
- 博客分类：
- java
类型后面三个点(String…)，是从Java 5开始，Java语言对方法参数支持一种新写法，叫可变长度参数列表，其语法就是类型后跟…，表示此处接受的参数为0到多个Object类型的对象，或者是一个Object[]。
例如我们有一个方法叫做test(String…strings)，那么你还可以写方法test()，但你不能写test(String[] strings)，这样会出编译错误，系统提示出现重复的方法。
在使用的时候，对于test(String…strings)，你可以直接用test()去调用，标示没有参数，也可以用去test(“aaa”)，也可以用 ...
ulimit -n 修改最大 链接数
- 博客分类：
- linux
通过ulimit -n命令可以查看linux系统里打开文件描述符的最大值，一般缺省值是1024，对一台繁忙的服务器来说，这个值偏小，所以有必要重新设置linux系统里打开文件描述符的最大值。那么应该在哪里设置呢？
最正确的做法是在/etc/security/limits.conf里设置：
[root@localhost security]# ulimit -a
core file size (blocks, -c) 0
data seg size (kbyte
worker_processes与worker_connections 设置好合适大小，可以提示nginx处理性能，非常重要。
写道
一般一个进程足够了，你可以把连接数设得很大。（worker_processes: 1，worker_connections: 10,000）如果有SSL、gzip这些比较消耗CPU的工作，而且是多核CPU的话，可以设为和CPU的数量一样。(worker_processes: CPU核心数)或者要处理很多很多的小文件，而且文件总大小比内存大很多的时候，也可以把进程数增加，以充分利用IO带宽（主要似乎是IO操作有block）
worker_proc ...
启动nginx报错
写道
nginx: [emerg] open() "/var/run/nginx/nginx.pid" failed (2: No such file or directory)
因为centos7（估计所有linux）下，创建了/var/run/nginx/目录存放nginx.pid，每次重启后，/var/run目录下都会清空。
修改vi nginx.conf
写道
#pid logs/nginx.pid;pid /export/servers/nginxlog/nginx.pid;
目录随便定，再启动就可以了
Junit5中@Before已经被@BeforeEach替代，写@Before会出现空指针异常
启动hadoop报错
写道
starting org.apache.spark.deploy.master.Master, logging to /export/servers/spark-2.2.3-bin-2.6.0-cdh5.15.1/logs/spark-root-org.apache.spark.deploy.master.Master-1-hadoop01.outhadoop01: starting org.apache.spark.deploy.worker.Worker, logging to /export/servers/spark-2.2.3-bin-2.6.0-cd ...
下载解压缩安装elasticsearch，然后sh ./bin/elasticsearch 启动，但是其他机器看不了9200端口，只能本机127.0.0.1访问。
需要修改config下的elasticsearch.yml，添加或修改
写道
network.host: 0.0.0.0 http.port: 9200
然后重新启动elasticsearch ，会报错
①max file descriptors.......
修改/etc/security/limits.conf，添加或者修改如下（切换root用户）
写道
* hard nofile 65536* soft n ...
logback 每天生成和大小生成 日志
- 博客分类：
- log4j
<?xml version="1.0" encoding="UTF-8"?>
<configuration scan="true" scanPeriod="60 seconds" debug="false">
<contextName>logback</contextName>
<property name="log.path" value="E://log" />
...
redis5.0.4 搭建过程
- 博客分类：
- redis
1.获取文件包
wget http://download.redis.io/releases/redis-5.0.4.tar.gz
2.解压缩到指定目录 tar zxvf redis-5.0.4.tar.gz -C ../servers/
3 安装
make
1.出这个异常：make cc Command not found（没有安装gcc环境，命令：yum install gcc）
2.Error jemalloc/jemalloc.h: No such file or directory (命令： make MA ...
本来使用api窗口函数开发的，但是觉得写成sql更方便，但是发现sparksql中as出来的别名，不能在where中使用，要再套上一层select才可以。
val topDF = spark.sql("select * from (select day, city, cmsId ,count(cmsId) as ts,
row_number() over(partition by city order by count(cmsId)) as rn "+
" from data_log where day='20170511' and cmsT ...
一般而言，saveAsTextFile会按照执行task的多少生成多少个文件，比如part-00000一直到part-0000n，n自然就是task的个数，亦即是最后的stage的分区数。那么有没有办法最后只生成一个文件，而不是成百上千个文件了？答案自然是有办法。
在RDD上调用coalesce(1,true).saveAsTextFile()，意味着做完计算之后将数据汇集到一个分区，然后再执行保存的动作，显然，一个分区，Spark自然只起一个task来执行保存的动作，也就只有一个文件产生了。又或者，可以调用repartition(1)，它其实是coalesce的一个包装，默认第二个参 ...
报错NoClassDefFoundError: scala/collection/Seq
写道
Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/Seq at com.jzw.test.DataFrameApp.main(DataFrameApp.scala)Caused by: java.lang.ClassNotFoundException: scala.collection.Seq at java.net.URLClassLoader.findClass(URLC ...