博客首页 → 配置

最新文章列表

云享团——基于大数据开发套件的增量同步策略

因为近期遇到用户在做ETL操作导入数据到MaxCompute的时候，对如何设置数据同步策略有疑惑，所以今天第一波我们来聊一下数据的同步策略，根据数据的特性，看看哪些数据适合增量同步，哪些适合全量同步，又是如何实现的？请认真看完下面的介绍，这些问题都不是事儿。 我们把需要同步的数据，根据数据写入后是否会发生变化分为：会变化的数据（人员表比如说，人员的状态会发生变化）和不会发生变化的数据（一般是 ...
大数据配置 
iyulang 评论(0) 有13人浏览 2017-04-24 10:40

基于OGG Datahub插件将Oracle数据同步上云

一、背景介绍 随着数据规模的不断扩大，传统的RDBMS难以满足OLAP的需求，本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中，并利用大数据工具对数据进行分析。 OGG（Oracle GoldenGate）是一个基于日志的结构化数据备份工具，一般用于Oracle数据库之间的主从备份以及Oracle数据库到其他数据库（DB2, MySQL等）的同步。下面是Oracl ...
oracle日志数据库配置string 
iyulang 评论(0) 有17人浏览 2017-04-17 12:24

基于Apache Flume Datahub插件将日志数据同步上云

简介 Apache Flume是一个分布式的、可靠的、可用的系统，可用于从不同的数据源中高效地收集、聚合和移动海量日志数据到集中式数据存储系统，支持多种Source和Sink插件。本文将介绍如何使用Apache Flume的Datahub Sink插件将日志数据实时上传到Datahub。 环境要求 JDK (1.7及以上，推荐1.7) Flume-NG 1.x Apache Maven ...
数据同步数据存储配置日志 
iyulang 评论(0) 有8人浏览 2017-04-17 12:22

Fuxi ServiceModeJob 多租户（Quota Group） 功能介绍

概述 ServiceModeJob（又名：OnlineJob）是fuxi提供的一套准实时计算框架，通过毫秒级的调度开销和网络Shuffle模式为小Job提供更高的性能。目前ODPS对内生产集群约1/3的Job通过ServiceModeJob进行处理，对其中小Job比较多的集群，这个占比会提高到70%。 1 2 由于同一套ServiceMode服务会有多个Project的Job共用。需要对各个Proj ...
配置排序大数据技术 
iyulang 评论(0) 有8人浏览 2017-04-05 23:01

MaxCompute（原ODPS）任务优化之列裁剪

最近因为几个ODPS任务节点扣分严重，计算健康度一度堕落至85分的红线以下，上了一次黑榜，立马开始了艰苦的优化之旅。刚刚前几天搞定了两个OpenMR的列裁剪优化，略作记录。 什么是列裁剪以及为什么要做列裁剪 列裁剪，即针对OpenMR任务Map阶段的输入，如果只使用了其中的某几列，则裁剪掉不需要使用的列，只指定需要使用的列。这样做的好处也就很明显了，减少网络I/O，提升Map计算效率等等。其实从使 ...
配置odps大数据平台 
iyulang 评论(0) 有12人浏览 2017-03-30 22:08

（转）elasticsearch重要配置的修改

重要配置的修改 Elasticsearch 已经有了 很好 的默认值，特别是涉及到性能相关的配置或者选项。 如果你有疑问，最好就不要动它。我们已经目睹了数十个因为错误的设置而导致毁灭的集群， 因为它的管理者总认为改动一个配置或者选项就可以带来 100 倍的提升。 Note 请阅读整节文章，所有的配置项都同等重要，和描述顺序无关，请阅读所有的配置选项，并应用到你 ...
elasticsearchminimum_master_nodesrecover_after_nodesunicast配置 
ChenghuiZ 评论(0) 有3997人浏览 2017-03-29 11:08

Nginx的安装部署及负载均衡设置

  Nginx是一个自由、开源、高性能及轻量级的HTTP服务器及反转代理服务器，其性能与IMAP/POP3代理服务器相当。Nginx以其高性能、稳定、功能丰富、配置 ...
软负载Nginx配置 
danlley 评论(0) 有799人浏览 2017-03-26 16:19

jenkis 配置 ftp 手动部署

  jenkis 配置 ftp  手动部署    1.安装 ftp vsftpd jar包安装 安装移步http://knight-black-bob.iteye.com/blog/2244731 下面介绍 yum 安装 yum install vsftpd yum install ftp 启动 关闭 service vsftpd start service vsftpd ...
jenkis配置ftp手动部署 
knight_black_bob 评论(0) 有730人浏览 2017-03-24 10:57

电脑所有开发JavaWeb所需环境配置(jdk Tomcat IDEA MySql)

1、下载安装jdk 网址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 2、配置环境变量     JAVA_HOME:指向jdk文件夹所在位置，如“C:\Program Files\Java\jdk1.8.0_121”；     path:指向jdk目录下bin文件夹所 ...
环境JavaWebIDEA配置 
BryanMelody 评论(0) 有1121人浏览 2017-03-22 14:49

Mybatis+mysql动态分页查询数据案例——工具类(MybatisUtil.java)

package cn.bdqn.mhouse.util; import java.io.IOException; import java.io.Reader; import org.apache.ibatis.io.Resources; import org.apache.ibatis.session.SqlSession; import org.apache.ibatis.se ...
mybatismysql配置 
mxx_1111 评论(0) 有1303人浏览 2017-03-18 22:56

php配置步骤说明

php线程安全 和 非线程安全 的区别 TS和NTS的区别 TS：Thread Safe 线程安全， 执行时会进行线程（Thread）安全检查 NTS：Non Thread Safe 非线程安全， 在执行时不进行线程（Thread）安全检查   我使用Apache+PHP的模式下，一般是把PHP作为一个Module load到apache中，那么以apache父进程-多子进程的工作模式，是 ...
php配置iniwindows 
nbczw8750 评论(0) 有785人浏览 2017-03-06 10:39

【Android优化系列】apk瘦身

概述 为什么APK要瘦身。APK越大，在下载安装过程中，他们耗费的流量会越多，安装等待时间也会越长；对于产品本身，意味着下载转化率会越低（因为竞品中，用户有更多机会选择那个体验最好，功能最多，性能最好，包最小的），所以apk的瘦身优化也很重要，本篇博客将讲述apk瘦身的相关内容。 包体分析 在Android Studio工具栏里，打开build–>Analyze APK, 选择要分析的APK ...
androidgradle配置string插件 
李博SEOER 评论(0) 有460人浏览 2017-02-13 17:29

linux安装redis主备安装配置

  主redis安装 linux下安装redis 启动，停止，连接 编辑  删除 http://happyqing.iteye.com/blog/2348255   从redis配置 cp /opt/redis/conf/redis.conf /opt/redis/conf/redis6380.conf   配置文件做以下调整 #设置端口号 #port 6379 port ...
linuxredis主从配置
happyqing 评论(0) 有2126人浏览 2017-01-17 16:49

FineReport关于tomcat集群部署的方案

多台服务器集群后，配置权限、数据连接、模板、定时调度等，只能每台服务器一个个配置，不会自动同步到所有服务器。 针对上述情况，在FineReport ...
tomcat集群部署配置FineReport 
IT梦想家 评论(0) 有729人浏览 2017-01-06 15:12

linux防火墙iptables配置简要

一、基本命令 查看状态 service iptables status 启动:service iptables start 重启:service iptables restart 关闭:service iptables stop   如果查看状态和启动没有任何反应，说明没有配置过防火墙   查看配置文件 vi /etc/sysconfig/iptables   二、重新配置 ...
linux防火墙iptables配置 
happyqing 评论(0) 有1166人浏览 2016-12-23 13:58

rabbitmq3.4.2 shell脚本分析

rabbitmq3.4.2 shell脚本分析 http://aperise.iteye.com/blog/2346584 rabbitmq3.4.2单机安装和集群安装 http://aperise.iteye.com/blog/2346179 rabbitmq3.4.1脑裂问题(转载) http://blog.csdn.net/u013256816/article/det ...
rabbitmq3.4.2配置 
zilongzilong 评论(0) 有2232人浏览 2016-12-21 23:27

nginx安装与调优【原创】

前端时间为公司的nginx进行调优，顺便记录一下内容。 一、安装 1. 下载 pcre zlib nginx 2. 安装    tar -xvf xxx.tar    cd xxx    ./configure    make && make install    按 pcre->zlib-nginx 顺序安装即可。 3. 添加软连接    ln -s /usr/l ...
nginx安装配置优化 
zhenggm 评论(0) 有489人浏览 2016-12-21 19:20

Log4j配置详解

来自: http://blog.csdn.net/zhshulin/article/details/37937365 Log4J的配置文件(Configuration File)就是用来设置记录器的级别、存放器和布局的，它可接key=value格式的设置或xml格式的设置信息。通过配置，可以创建出Log4J的运行环境。 1. 配置文件 Log4J配置文件的基本格式如下： #配置根Logger ...
log4j配置 
jiangguangxing 评论(0) 有517人浏览 2016-12-17 13:02

kafka spring 实例

kafka  spring    demo 下载：http://download.csdn.net/download/knight_black_bob/9709057     安装详解 ：http://knight-black-bob.iteye.com/blog/2343192    使用定时器发送后  结果如下         kafka 代码安装  15.安装kafk ...
kafkaspring配置 
knight_black_bob 评论(0) 有4010人浏览 2016-12-12 16:07

JDK的安装

一。JDK的下载： http://www.oracle.com/technetwork/articles/javase/index-jsp-138363.html   二。安装     1.创建一个文件夹      sudo mkdir /usr/lib/JDK         2. 解压压缩包到一个文件夹下。      sudo tar -zxvf jdk-8u101-lin ...
JDKjdk配置 
黄祚敏 评论(0) 有455人浏览 2016-11-30 18:13

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics