dacoolbaby
- 浏览: 1267290 次
- 性别:
- 来自: 广州
-
最新评论
-
jackhong1108：
你可能只知道Oracle有like，不知道Oracle有其他的 ...
Hive使用regexp，RLIKE需要使用转义字符 -
pktangshao：
a_bun 写道iijjll 写道使用wmsys.wm_con ...
Oracle 列转行函数 Listagg() -
nayouzhenai：
Spring读取properties文件作为环境变量 -
a_bun：
iijjll 写道使用wmsys.wm_concat()函数也 ...
Oracle 列转行函数 Listagg() -
Horse_Chasing：
鼓励鼓励鼓励鼓励鼓励鼓励鼓励鼓励鼓励鼓励
广州面试小结
文章列表
在使用hive jdbc的时候，需要有一些hive session的配置，
比如说：
当前作业使用的是哪条队列
当前作业的map大小，reduce大小，map个数，reduce的个数。
等等
解决方案是：在jdbc url上面，进行初始化的配置。
Connection URL Format
The HiveServer2 URL is a string with the following syntax:
jdbc:hive2://<host1>:<port1>,<host2>:<port2>/dbName;initFil ...
写了那么多年的SQL，居然发现自己写的是错的，实在是惭愧不已。还好没出什么问题。
于是，决定痛定思痛，纠正自己对SQL的错误认识。
我们有一个SQL：
SELECT sys.Netbios_Name0 as [Computer Name],
sf.fileName
FROM dbo.v_R_System as sys
INNER JOIN dbo.v_FullCollectionMembership as fcm
ON fcm.ResourceID = sys.ResourceID
LEFT JOIN dbo.v_GS ...
crontab是个Linux上面常用的调度工具。
当然，如果在大量设备的情况下，尽量不要用本地的crontab，维护起来很麻烦。
那么我遇到的问题是，crontab调度失败。
也就是一般的crontab命令：
crontab -e
#报表调度
0 4-4 * * * /bin/sh /home/moonbasa/etl/dxy/dsp_report.sh
在/var/log/cron.log 下看到日志是确实有执行调度的。
解决方案：
在shell命令里面，添加环境变量的配置：
. /etc/profile
. /*root/ ...
转自：http://www.importnew.com/8864.html
理解异步Servlet之前，让我们试着理解为什么需要它。假设我们有一个Servlet需要很多的时间来处理，类似下面的内容：
package com.journaldev.servlet;
import java.io.IOException;
import java.io.PrintWriter;
import javax.servlet.ServletException;
import javax.servlet.annotation.WebServlet;
import javax. ...
有时候我们常常为了使用方便，省略建主键的建表方式。
因为很多时候，这些数据来自于外部，而且数量和增长不会很大。
比如是一些存储过程刷新出来的结果集。
那么我们就会建一个堆表。什么是堆表？
就是没有主键，也没有索引的表。
堆表在创建以后，数据库会以最快地速度把数据插入到磁盘中。在这个过程中，会产生磁盘碎片，数据分散的情况。
这样会大大地降低数据密度。
什么意思呢？
就是说在SELECT表T，要扫描扇区A的时候，只有10%的数据是表T的，但是为了那10%的数据，要扫描多90%不必要的数据。
我们不介意搜索引擎对表T进行全表扫描，但是数据碎片化对于数据库性能，还有 ...
一直对同步代码块和notify()不是很熟悉，后来做了个教程，总算是了解清楚了。
wait(),notify()和notifyAll() 其实是用于线程间的通信的。
Java有一个内建的等待机制来允许线程在等待信号的时候变为非运行状态。java.lang.Object 类定义了三个方法，wait()、notify()和notifyAll()来实现这个等待机制。
一个线程一旦调用了任意对象的wait()方法，就会变为非运行状态，直到另一个线程调用了同一个对象的notify()方法。为了调用wait()或者notify()，
线程必须先获得那个对象的锁。也就是说，线程必须在同 ...
Solr搜索引擎一般是只会进行增删查，对于Solr的数据结构，可以理解为类似MongoDB的类型的数据库。
与MonogoDB的Schema Free不同。
Solr还是需要自己定义字段，并且做一些设置的。
而Solr一般在修改索引的时候，会选择全量更新，所以一般不会有单条索引的更新操作。
SolrJ添加索引：
public class SolrJAdd {
public static void main(String[] args) {
String urlString = "http://localhost:8983/solr";
...
公司的架构没有zookeeper，所以solr还是用原有的Replication方式进行负载。
在Solr example里面的core/conf/solrconfig.xml下面，有一段Replication的配置：
<!-- Solr Replication
The SolrReplicationHandler supports replicating indexes from a
"master" used for indexing and "slaves" used for queries ...
refer:http://www.cnblogs.com/min0208/archive/2012/05/24/2515584.html
不能在注册表中识别出来python2.7
在网上找了方法，仅作笔记，供下次使用
方法：
新建一个register.py 文件，把一下代码贴进去，保存（G盘）
#
# script to register Python 2.0 or later for use with win32all
# and other extensions that require Python registry settings
#
# writt ...
Linux的查找命令
查找各文件夹中对应文件并显示文件大小时间等信息
find ./ -name "*hadoop*" | xargs ls -ltr
只查找文件夹
find ./ -name "xxxlog" -type d
查找30天内修改过的文件
find . -type f -mtime -30
1. find
find是最常见和最强大的查找命令，你可以用它找到任何你想找的文件。
find的使用格式如下：
$ find <指定目录> <指定条件> <指定动作>
...
hadoop0.20.2，打了补丁以后，可以支持Ganglia3.X的监控。
如果不打补丁，就无法支持Ganglia3.X了。
安装说明等，完整下载地址：http://pan.baidu.com/s/1hqehLp6
1.用rpm检测依赖包情况
rpm -q gcc glibc glibc-common rrdtool rrdtool-devel apr apr-devel expat expat-devel pcre pcre-devel dejavu-lgc-sans-mono-fonts dejavu-sans-mono-fonts
2.下载安装缺失的依 ...
原文出自：http://blog.sina.com.cn/s/blog_72995dcc01018qkf.html
这是一篇非常非常好的文章，讲述Memcached与Redis的选择，给人以全面的认识。
1. Memcached简介
Memcached是以LiveJurnal旗下Danga Interactive公司的Bard Fitzpatric为首开发的高性能分布式内存缓存服务器。其本质上就是一个内存key-value数据库，但是不支持数据的持久化，服务器关闭之后数据全部丢失。Memcached使用C语言开发，在大多数像Linux、BSD和Solaris等POSIX系统 ...
将mssql 的jar包：sqljdbc4.jar 拷贝到SQOOP_HOME/lib下
配置sqoop
cd /home/support/sqoop-1.4.5/conf
cp sqoop-env-template.sh sqoop-env.sh
修改sqoop-env.sh文件
增加：
export HADOOP_COMMAND_HOME=/usr/local/hadoop-0.20.2
export HADOOP_MAPRED_HOME=/usr/local/hadoop-0.20.2
export HIVE_HOME=/usr/l ...
1.Java对象序列化是将 对象的实例域数据( 包括private私有域) 进行持久化存储。而并非是将整个对象所属的类信息进行存储。
2.我们都知道凡要序列化的类都必须实现Serializable接口。包括Externalizable接口
3.包含了不可序列化的对象域的对象也是不能序列化的。
实现Externalizable接口的类完全由自身来控制序列化的行为，而仅实现Serializable接口的类可以采用默认的序列化方式
对象序列化包括如下步骤：
1） 创建一个对象输出流，它可以包装一个其他类型的目标输出流，如文件输出流；
2） 通过对象输出流的wri ...
有2中配置方式，一是从Solr Admin进行multi core的配置。
在Solr Admin控制台里面选择：Core Admin
选择Add Core
然后把你准备好的路径写到里面去。
name： xxx
配置core的名称
instanceDir：xxx
配置指向你的Solr core的路径，可以是绝对路径，也可以是相对Solr Home的路径
dataDir：data
config：solrconfig.xml
sechma：schema.xml
下面的3个一般不用配置，solr会自动在你的instanceDir下面 ...