Otter安装说明
-
Mysql安装(如果已安装则无需再安装):【忽略安装Mysql】
# 安装依赖
yum -y install perl perl-devel autoconf
#下载Mysql包
https://github.com/alibaba/otter/releases【Otter最新版本下载】
#解压
tar zxvf mysql-5.7.17-linux-glibc2.5-x86_64.tar.gz
#复制解压后的mysql目录到系统的本地软件目录
cp mysql-5.6.33-linux-glibc2.5-x86_64 /usr/local/mysql -r
#####【数据库】
#yum intall mysql-server mysql
启动数据库
service mysqld start
关闭数据库
service mysql stop
-
Otter安装包放至/app/install目录下:
推荐使用OneinStack进行环境配置(默认会更新GCC,cmake等减少依赖出现的问题)
wget http://mirrors.linuxeye.com/oneinstack-full.tar.gz
tar xzf oneinstack-full.tar.gz
#有点耗时,需耐心等待
cd oneinstack
./install.sh
#按照如下选项配置安装mysql5.6,密码为otter**(初始化manager需要mysql的支持)**【可不改】其他可以全选N更具你的需求,可以配置lnmp或lnmt环境.
h
-
安装JDK【服务器如存在Jdk,请忽略此安装】
首先我们应该要安装配置JDK,应为zookeeper和Otter-manager都依赖与java环境
tar -zxvf jdk-7u79-linux-x64.tar.gz
mv jdk1.7/ /usr/local/
#设定JAVA_HOME环境变量,编辑vim /etc/profile 加入如下内容:
export JAVA_HOME=/usr/local/jdk1.7
export JRE_HOME=/usr/local/jdk1.7/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib: export PATH=$JAVA_HOME/bin:$PATH
#更改后,执行命令使其生效
source /etc/profile
执行 java -version 会看到如下版本信息证明已经安装成功
-
安装ZooKeeper【服务器如存在Zookeeper,请忽略此安装】
#安装配置zookeeper单机模式
cd /app/install
tar zxvf zookeeper-3.4.5-cdh4.3.0.tar.gz
首先创建Otter目录
mv zookeeper-3.4.5-cdh4.3.0 /otter/zookeeper
cd /otter/zookeeper/
mv conf/zoo_sample.cfg conf/zoo.cfg
mkdir data
echo 1 > data/myid #将本节点id设定到data/myid文件中
#修改bin/zkEnv.sh脚本:
将ZOO_LOG_DIR="."修改为ZOO_LOG_DIR="/otter/zookeeper/data"
将ZOO_LOG4J_PROP=”INFO,CONSOLE”修改为ZOO_LOG4J_PROP="INFO,ROLLINGFILE"
修改bin/zkServer.sh脚本:
将ZOOBIN="${BASH_SOURCE-$0}"修改为ZOOBIN=`readlink -f "${BASH_SOURCE-$0}"`
修改bin/zkCli.sh脚本:
将ZOOBIN="${BASH_SOURCE-$0}"修改为ZOOBIN=`readlink -f "${BASH_SOURCE-$0}"`
#建立软连接到PATH:
ln -s /otter/zookeeper/bin/zkServer.sh /usr/local/bin/zk-server
ln -s /otter/zookeeper/bin/zkCli.sh /usr/local/bin/zk-cli
#启动zookeeper
./zkServer.sh start
-
安装Manager
#安装配置Manager
mkdir /otter/manager
cd /app/install/
tar zxvf manager.deployer-4.2.14.tar.gz -C /otter/manager
#安装manager的数据库:[可在其它机器上导入]
mysql -u root -p #输入mysql密码
source /otter/manager/otter-manager-schema.sql
#修改vim conf/otter.properties 配置文件:
## otter manager domain name #修改为正确访问ip(内网访问配置内网地址外网访问配置外网地址),生成URL使用
otter.domainName = 127.0.0.1
## otter manager http port [端口不允许与其它端口重复]
otter.port = 8085
## otter manager database config ,修改为正确数据库信息
otter.database.driver.url = jdbc:mysql:// 10.72.1.108:3306/ottermanager
otter.database.driver.username = skynet
otter.database.driver.password = aaaa
## default zookeeper address,修改为正确的地址,手动选择一个地域就近的zookeeper集群列表,zookeeper默认端口 2181
otter.zookeeper.cluster.default = 127.0.0.1:2181
#启动manager
./bin/startup.sh
#我们在访问我们设置的可以访问的地址的8080端口,注意要关掉8080的防火墙否则一直会访问不通
vi /etc/sysconfig/iptables
添加【Manager端口如果可以访问,则不需要此操作】
-A INPUT -p tcp -m state --state NEW -m tcp --dport 8080 -j ACCEPT
#重启防火墙【不需要启动防火墙】 iptables -L
#/etc/init.d/iptables restart
-
安装Aria2
aria2,它是一个文件通道来保证需要同步的数据通过极快的速度同步到需要同步的服务器上:
cd /app/install/
tar zxvf aria2-1.17.1.tar.gz
mv aria2-1.17.1 aria2
cd aria2
./configure
make
make install
# 验证安装是否成功
aria2c -v
# 会输出
aria2 version 1.17.1 Copyright (C) 2006, 2013 Tatsuhiro Tsujikawa
-
安装Node【需先的Manager客户配置Node信息】
mkdir /otter/node
tar zxvf node.deployer-4.2.14.tar.gz -C /otter/node
cd /otter/node/
# nid配置node的ID多个node协同工作时不能重复
echo 1 > conf/nid
#如果不存在nid文件,需要创建nid
cd /otter/node/conf
cat >nid
# 修改配置文件
vim conf/otter.properties
# 主要是确认连接manager地址是否正确(这里使用服务器内网地址进行配置) otter.manager.address = 10.144.159.182:1099
注:[ Node内存设置]
cd /otter/node/bin
vi startup.sh
修改node内存大小,修改JAVA_OPTS配置:
修改前:
if [ -n "$str" ]; then
JAVA_OPTS="-server -Xms2048m -Xmx3072m -Xmn1024m -XX:SurvivorRatio=2 -XX:PermSize=96m -XX:MaxPermSize=256m -Xss256k -XX:-UseAdaptiveSizePolicy -XX:MaxTenuringThreshold=15 -XX:+DisableExplicitGC -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:+UseCMSCompactAtFullCollection -XX:+UseFastAccessorMethods -XX:+UseCMSInitiatingOccupancyOnly -XX:+HeapDumpOnOutOfMemoryError"
else
JAVA_OPTS="-server -Xms1024m -Xmx1024m -XX:NewSize=256m -XX:MaxNewSize=256m -XX:MaxPermSize=128m "
fi
修改后:
if [ -n "$str" ]; then
JAVA_OPTS="-server -Xms8g -Xmx8g -Xmn3g -XX:SurvivorRatio=2 -XX:PermSize=512m -XX:MaxPermSize=512m -Xss256k -XX:-UseAdaptiveSizePolicy -XX:+DisableExplicitGC -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:+UseCMSCompactAtFullCollection -XX:+UseFastAccessorMethods -XX:+UseCMSInitiatingOccupancyOnly -XX:+HeapDumpOnOutOfMemoryError"
else
JAVA_OPTS="-server -Xms8g -Xmx8g -Xmn3g -XX:NewSize=512m -XX:MaxNewSize=512m -XX:MaxPermSize=512m "
fi
-
关联manager、zookeeper和node
在界面进行关联即可
相关推荐
"Otter-Node" 是一个专门用于分布式数据同步的组件,尤其在大数据处理领域中扮演着重要的角色。...在实际部署和使用过程中,根据具体业务需求进行定制和优化,确保 Otter-Node 能够高效、稳定地工作。
### Otter部署文档知识点 #### 一、Otter概述及工作原理 - **Otter**是一种用于实现跨数据中心或跨地域数据库同步的解决方案,主要基于阿里巴巴开源项目Canal来捕获MySQL实例的Binlog日志,并对这些日志进行解析...
### Otter 安装部署详解 #### 一、Otter简介 Otter是阿里巴巴开源的一款MySQL数据同步工具,主要用于实现MySQL数据库之间的复制同步。通过它,可以轻松搭建MySQL集群,适用于多种场景的数据同步需求。 #### 二、...
Otter 安装部署手册知识点总结 Otter 是一个基于 Java 开发的开源项目,旨在提供增量数据订阅和消费的功能。它可以实时解析数据库增量日志,目前主要支持 MySQL 和 MariaDB 两个数据库管理系统。下面是 Otter 安装...
Otter支持通过并行Docker容器进行本地评分,使用第三方学习管理系统(LMS)的自动评分器平台进行评分,部署由Otter管理的评分虚拟机以及允许学生在自己的计算机上运行公共检查的客户端程序包。 Otter旨在对Python...
### Otter部署操作详解 #### 一、Otter部署前准备与环境搭建 根据所提供的文件信息,Otter的部署操作主要包括几个关键步骤:MySQL安装、JDK安装配置、Zookeeper安装配置以及Manager服务的安装配置。 ##### MySQL...
- [Otter部署总结](https://psiitoy.github.io/2017/02/15/%E6%95%B0%E6%8D%AE%E5%90%8C%E6%AD%A5%E5%B7%A5%E5%85%B7Otter%E7%9A%84%E9%83%A8%E7%BD%B2%E5%92%8C%E9%83%A8%E7%BD%B2/) 通过以上步骤,您可以顺利完成...
安装Otter时,需要分别部署这三个组件,并且配置相应的服务启动脚本。每个组件的配置文件都需要根据实际情况进行调整,例如数据库连接信息、Zookeeper的地址等。安装完成后,通过otter-manager可以创建并管理数据...
《Otter部署与使用详解》 Otter,作为一款强大的分布式数据库同步管理系统,主要用于实现数据库增量日志解析,从而实现实时或准实时的数据同步,无论是本机房内的数据库还是跨地域的异地机房,Otter都能高效地完成...
1. 下载Manager和Node的部署包。 2. 初始化MySQL的系统表结构。 3. 配置Otter.properties文件,包括Manager的IP地址和Zookeeper集群信息。 4. 启动Manager和Node。 运行Otter后,可以通过Web界面进行数据同步配置和...
格罗弗 ... 特征 Rubix模板React前端。 组织数据库分离 基于组的可扩展身份验证 如何使用 要使用此项目,请按照下列...部署到Heroku $ git init $ git add -A $ git commit -m "Initial commit" $ heroku create $ git p
1. **环境准备**:部署Zookeeper集群,这是Otter运行的基础。同时,根据实际需求配置好Manager和Node的服务器环境。 2. **任务配置**:在Manager上创建数据同步任务,包括源数据库、目标数据库的配置,以及同步策略...
在使用和运维方面,otter4通过分布式架构和集群化部署提供了稳定的服务。其同步通道(Channel)和同步映射(DateMediaPair)的设计使得系统能够灵活地处理不同类型的数据库同步需求。而冲突检测与补救机制确保了数据...
otter部署【原创】-附件资源
Otter是一款分布式数据库同步系统,它的作用是从一个数据库中实时或准实时同步数据到另一个数据库中,支持MySQL和Oracle数据库的同步。Otter通过解析数据库的增量日志来实现数据的迁移与同步。 2. Canal开源产品:...
Otter可能是一个特定的自动化工具或者脚本语言,用于简化IT运维过程中的文件管理和部署工作。在这个场景中,我们看到两个压缩子文件:manager.deployer-4.2.14.tar和node.deployer-4.2.14.tar,它们很可能是某个系统...
整体架构支持大集群化部署,例如一个manager集群加上多个IDC机房的node节点。 ### 创建Channel参数解释 在创建Channel时,需要设置同步一致性、同步模式和冲突补救策略。同步模式包括基于介质的变更检测和基于当前...
2. 安装Zookeeper:Otter依赖Zookeeper进行集群管理和协调,需预先部署Zookeeper集群。 3. 数据库环境:准备至少两个MySQL数据库,用于实现主主同步。 三、Otter组件详解 1. Manager:管理节点,负责整体配置、任务...