- 浏览: 126122 次
- 性别:
- 来自: 杭州
文章分类
最新评论
sudo yum install haproxy
257 yun -ql haproxy
258 rpm -ql haproxy
259 cat /share/doc/haproxy-1.5.18/haproxy.cfg
260 cat /usr//share/doc/haproxy-1.5.18/haproxy.cfg
261 top
262 mkdir /usr/local/haproxy/logs
263 sudo mkdir -p /usr/local/haproxy/logs
264 ls
265 haproxy -f /home/spark/haproxy/config.cfg
266 ls
267 top
268 haproxy -f /home/spark/haproxy/config.cfg
269 sudo /home/spark/haproxy/config.cfg
270 sudo haproxy -f /home/spark/haproxy/config.cfg
271 ld
272 ls
273 sudo haproxy stop
274 ps -ef |grep haproxy
275 sudo kill -9 137099
276 sudo haproxy -f /home/spark/haproxy/config.cfg
config.cfg
[spark@zk50 ~]$ cat /home/spark/haproxy/config.cfg
global
daemon
nbproc 1
pidfile /usr/local/haproxy/logs/haproxy.pid
ulimit-n 65535
defaults
mode tcp #mode { tcp|http|health },tcp 表示4层,http表示7层,health仅作为健康检查使用
retries 2 #尝试2次失败则从集群摘除
option redispatch #如果失效则强制转换其他服务器
option abortonclose #连接数过大自动关闭
maxconn 30 #最大连接数
timeout connect 20s #连接超时时间,重要,hive查询数据能返回结果的保证
timeout client 20s #同上
timeout server 20s #同上
timeout check 2000 #健康检查时间
log 127.0.0.1 local0 err #[err warning info debug]
listen admin_stats #定义管理界面
bind 192.168.221.50:9999 #管理界面访问IP和端口
mode http #管理界面所使用的协议
maxconn 20 #最大连接数
stats refresh 30s #30秒自动刷新
stats uri / #访问url
stats realm Hive\ Haproxy #验证窗口提示
stats auth dc:dc #401验证用户名密码
listen hive #hive后端定义
bind 192.168.221.50:10000 #ha作为proxy所绑定的IP和端口
mode tcp #以4层方式代理,重要
balance leastconn #调度算法 'leastconn' 最少连接数分配,或者 'roundrobin',轮询分配
maxconn 20 #最大连接数
server hive_1 192.168.221.50:9994 check inter 10000 rise 1 fall 2
server hive_2 192.168.221.50:9995 check inter 10000 rise 1 fall 2
server hive_3 192.168.221.50:9996 check inter 10000 rise 1 fall 2
server hive_4 192.168.221.50:9997 check inter 10000 rise 1 fall 2
#释义:server 主机代名(你自己能看懂就行),IP:端口 每180000毫秒检查一次。也就是三分钟。
#hive每有10000端口的请求就会创建一个log,设置短了,/tmp下面会有无数个log文件,删不完。
257 yun -ql haproxy
258 rpm -ql haproxy
259 cat /share/doc/haproxy-1.5.18/haproxy.cfg
260 cat /usr//share/doc/haproxy-1.5.18/haproxy.cfg
261 top
262 mkdir /usr/local/haproxy/logs
263 sudo mkdir -p /usr/local/haproxy/logs
264 ls
265 haproxy -f /home/spark/haproxy/config.cfg
266 ls
267 top
268 haproxy -f /home/spark/haproxy/config.cfg
269 sudo /home/spark/haproxy/config.cfg
270 sudo haproxy -f /home/spark/haproxy/config.cfg
271 ld
272 ls
273 sudo haproxy stop
274 ps -ef |grep haproxy
275 sudo kill -9 137099
276 sudo haproxy -f /home/spark/haproxy/config.cfg
config.cfg
[spark@zk50 ~]$ cat /home/spark/haproxy/config.cfg
global
daemon
nbproc 1
pidfile /usr/local/haproxy/logs/haproxy.pid
ulimit-n 65535
defaults
mode tcp #mode { tcp|http|health },tcp 表示4层,http表示7层,health仅作为健康检查使用
retries 2 #尝试2次失败则从集群摘除
option redispatch #如果失效则强制转换其他服务器
option abortonclose #连接数过大自动关闭
maxconn 30 #最大连接数
timeout connect 20s #连接超时时间,重要,hive查询数据能返回结果的保证
timeout client 20s #同上
timeout server 20s #同上
timeout check 2000 #健康检查时间
log 127.0.0.1 local0 err #[err warning info debug]
listen admin_stats #定义管理界面
bind 192.168.221.50:9999 #管理界面访问IP和端口
mode http #管理界面所使用的协议
maxconn 20 #最大连接数
stats refresh 30s #30秒自动刷新
stats uri / #访问url
stats realm Hive\ Haproxy #验证窗口提示
stats auth dc:dc #401验证用户名密码
listen hive #hive后端定义
bind 192.168.221.50:10000 #ha作为proxy所绑定的IP和端口
mode tcp #以4层方式代理,重要
balance leastconn #调度算法 'leastconn' 最少连接数分配,或者 'roundrobin',轮询分配
maxconn 20 #最大连接数
server hive_1 192.168.221.50:9994 check inter 10000 rise 1 fall 2
server hive_2 192.168.221.50:9995 check inter 10000 rise 1 fall 2
server hive_3 192.168.221.50:9996 check inter 10000 rise 1 fall 2
server hive_4 192.168.221.50:9997 check inter 10000 rise 1 fall 2
#释义:server 主机代名(你自己能看懂就行),IP:端口 每180000毫秒检查一次。也就是三分钟。
#hive每有10000端口的请求就会创建一个log,设置短了,/tmp下面会有无数个log文件,删不完。
发表评论
-
Spark SQL运行 过程 抄的别人的,记录 学习
2018-05-13 23:07 1038抄的别人的,觉得写的特别好 val FILESOURCE ... -
thriftserver log4j.properties 生效
2018-04-09 11:46 455/home/isuhadoop/spark2/sbin/sta ... -
udaf 返回的 子属性
2018-03-20 13:22 448udaf 返回的 子属性 spark.sql(" ... -
spark datasource
2018-03-16 16:36 673DataFrameWriter format val c ... -
如何 map 端 Join。
2018-03-04 19:31 634Hive 中 修改表的 rawDataSize = 1 1 ... -
spark thrift server 修改
2018-03-04 12:58 591org.apache.spark.sql.hive.thrif ... -
hive hbase thriftserver run
2018-03-03 15:13 418正确方法 : 0\ 拷贝对应目录到 spark2 jars ... -
scala package
2018-01-25 09:48 538#scala 打包 mvn clean scala:com ... -
SPARK SERVER
2018-01-23 22:15 557sbin/start-thriftserver.sh --dr ... -
driver class
2018-01-21 22:11 528sbin/start-thriftserver.sh -- ... -
spark thrift server 调试
2017-10-20 15:50 869spark-hive-thriftserver 本地调试 ... -
spark SQL conf
2017-10-18 14:36 648org.apache.spark.sql.internal.S ... -
java 死锁 ,内存问题 分析
2017-10-17 10:50 356jstack -l pid /opt/soft/jdk/ ... -
hive spark conf
2017-09-26 17:44 1302CREATE TABLE org_userbehavior_a ... -
get day
2017-09-19 08:41 577def timeDayNow() = { var ... -
thriftserver
2017-09-14 19:47 481export SPARK_CONF_DIR=/home/yun ... -
thriftserver dynamicallocation
2017-09-08 14:41 595./sbin/start-thriftserver.sh -- ... -
test code2
2017-09-03 13:45 495package org.test.udf import co ... -
test code
2017-08-24 17:52 293def taskcal(data:Array[(String, ... -
struct streaming SQL udf udaf
2017-08-22 11:50 683spark aggregator class H ...
相关推荐
SQL Proxy的技术实现基于Spark Thrift Server的改造,以去除对Hadoop的依赖,实现独立部署。它支持Session级别的引擎切换和并发连接限制,以优化性能和资源管理。此外,还通过HTTP模式实现自定义鉴权,以满足个性化...
- **数据读写接口**:提供了Java原生API、Thrift Server和SCF Proxy等多种访问方式。其中,SCF Proxy能够禁止用户直接的DDL操作,降低对Zookeeper的压力,并支持多语言访问,且具有限流和性能监控功能。 - **数据...
进入jcr-oak-rpc/jcr-oak-rpc-proxy-server文件夹并运行mvn spring-boot:run将启动 thrift 服务器。 NodeJS 客户端示例 请检查 TRoot = require('./TRootService'), jcrOakAPI = require('jcr-oak-api'); var
#### 六、添加thrift和dao_proxy **6.1 thrift接口的编写** Thrift是一种RPC框架,用于定义服务接口和服务之间的通信协议。 **6.2 提供的thrift接口的具体实现** 编写具体的Thrift服务实现,通常涉及定义服务...
1. **架构升级**:从SQL Proxy迁移到Kyuubi Server,实现了两周内的平滑迁移,降低了改造成本,增强了架构的可扩展性和可维护性。 2. **效果展示**:Kyuubi现在处理的日均SQL流量约为50万,占总流量的80%,服务稳定...
3. 服务代理层(Proxy):服务接口透明代理,生成服务的客户端Stub和服务端的Skeleton,以ServiceProxy为中心,扩展接口为ProxyFactory。 4. 服务注册层(Registry):封装服务地址的注册和发现,以服务URL为中心,...
<name>hive.server2.thrift.bind.host <value>namenode-ip <name>hive.server2.thrift.http.port</name> <value>10002 <name>hive.server2.thrift.port <value>10001 <name>hive.server2....
去年十月,TiDB 1.0 版本发布,在接下来的六个月中,开发团队一方面...ThriftServer/JDBC 支持 Spark-SQL 交互支持 PySpark Shell 支持 SparkR 支持 相关链接 TiDB 的详细介绍:点击查看 TiDB 的下载地址:点击下载
在Java中,这通常涉及到动态代理的使用,如Java的InvocationHandler接口和Proxy类。客户端需要知道服务端的位置(例如,IP地址和端口号),并且能够将方法调用转换为网络消息发送给服务端。 3. **服务端模块...
2. **服务端(Server)**:接收并处理客户端的请求,执行相应的远程方法,并将结果返回。 3. **序列化/反序列化模块**:负责将对象转换为可以在网络上传输的字节流,以及将接收到的字节流还原为对象。 4. **网络传输...
3. **路由和负载均衡**:如`ELB`、`Nginx`、`Haproxy`、`Ribbon`、`Dubbo-proxy`等,用于将请求分发到不同的服务实例上。 4. **容错**:如`Hystrix`、`Dubbo-filter`等,提供服务间的容错机制,包括失败重试、服务...
Java中可以使用动态代理(如Java的`java.lang.reflect.Proxy`)或者服务注册表(如Eureka、Zookeeper)来实现。 5. **结果返回** 服务器执行完操作后,将结果打包成协议规定的格式并通过网络发送回客户端。客户端...