`

thriftServer proxy

 
阅读更多
sudo  yum install haproxy
  257  yun -ql haproxy
  258  rpm -ql haproxy
  259  cat /share/doc/haproxy-1.5.18/haproxy.cfg
  260  cat /usr//share/doc/haproxy-1.5.18/haproxy.cfg
  261  top
  262  mkdir /usr/local/haproxy/logs
  263  sudo mkdir -p /usr/local/haproxy/logs
  264  ls
  265  haproxy -f /home/spark/haproxy/config.cfg
  266  ls
  267  top
  268  haproxy -f /home/spark/haproxy/config.cfg
  269  sudo /home/spark/haproxy/config.cfg
  270  sudo  haproxy -f /home/spark/haproxy/config.cfg
  271  ld
  272  ls
  273  sudo  haproxy stop
  274  ps -ef |grep haproxy
  275  sudo kill -9 137099
  276  sudo  haproxy -f /home/spark/haproxy/config.cfg


config.cfg

[spark@zk50 ~]$ cat /home/spark/haproxy/config.cfg
global
        daemon
        nbproc 1
        pidfile /usr/local/haproxy/logs/haproxy.pid
        ulimit-n 65535

defaults
        mode tcp                        #mode { tcp|http|health },tcp 表示4层,http表示7层,health仅作为健康检查使用
        retries 2                       #尝试2次失败则从集群摘除
        option redispatch               #如果失效则强制转换其他服务器
        option abortonclose             #连接数过大自动关闭
        maxconn 30                    #最大连接数
        timeout connect 20s              #连接超时时间,重要,hive查询数据能返回结果的保证
        timeout client  20s              #同上
        timeout server  20s              #同上
        timeout check 2000              #健康检查时间
        log 127.0.0.1 local0 err #[err warning info debug]

listen  admin_stats                     #定义管理界面
        bind 192.168.221.50:9999              #管理界面访问IP和端口
        mode http                       #管理界面所使用的协议
        maxconn 20          #最大连接数
        stats refresh 30s               #30秒自动刷新
        stats uri /                     #访问url
        stats realm Hive\ Haproxy       #验证窗口提示
        stats auth dc:dc         #401验证用户名密码

listen hive             #hive后端定义
        bind 192.168.221.50:10000              #ha作为proxy所绑定的IP和端口
        mode tcp                        #以4层方式代理,重要
        balance leastconn               #调度算法 'leastconn' 最少连接数分配,或者 'roundrobin',轮询分配
        maxconn 20                 #最大连接数
        server hive_1 192.168.221.50:9994  check inter 10000 rise 1 fall 2
        server hive_2 192.168.221.50:9995  check inter 10000 rise 1 fall 2
        server hive_3 192.168.221.50:9996  check inter 10000 rise 1 fall 2
        server hive_4 192.168.221.50:9997  check inter 10000 rise 1 fall 2
    #释义:server 主机代名(你自己能看懂就行),IP:端口 每180000毫秒检查一次。也就是三分钟。
    #hive每有10000端口的请求就会创建一个log,设置短了,/tmp下面会有无数个log文件,删不完。

分享到:
评论

相关推荐

    9-7+SQL+on+Hadoop在小米的实践与优化.pdf

    SQL Proxy的技术实现基于Spark Thrift Server的改造,以去除对Hadoop的依赖,实现独立部署。它支持Session级别的引擎切换和并发连接限制,以优化性能和资源管理。此外,还通过HTTP模式实现自定义鉴权,以满足个性化...

    3-2+58同城+HBase+平台实践和应用.pdf

    - **数据读写接口**:提供了Java原生API、Thrift Server和SCF Proxy等多种访问方式。其中,SCF Proxy能够禁止用户直接的DDL操作,降低对Zookeeper的压力,并支持多语言访问,且具有限流和性能监控功能。 - **数据...

    jcr-oak-rpc:基于 apache Thrift for Jackrabbit Oak 的 RPC API

    进入jcr-oak-rpc/jcr-oak-rpc-proxy-server文件夹并运行mvn spring-boot:run将启动 thrift 服务器。 NodeJS 客户端示例 请检查 TRoot = require('./TRootService'), jcrOakAPI = require('jcr-oak-api'); var

    YY后台编程入门小小小指南

    #### 六、添加thrift和dao_proxy **6.1 thrift接口的编写** Thrift是一种RPC框架,用于定义服务接口和服务之间的通信协议。 **6.2 提供的thrift接口的具体实现** 编写具体的Thrift服务实现,通常涉及定义服务...

    大规模游戏社交网络节点相似性算法及其应用-10-3 Kyuubi 在小米大数据平台的应用实践.pdf

    1. **架构升级**:从SQL Proxy迁移到Kyuubi Server,实现了两周内的平滑迁移,降低了改造成本,增强了架构的可扩展性和可维护性。 2. **效果展示**:Kyuubi现在处理的日均SQL流量约为50万,占总流量的80%,服务稳定...

    Dubbo 30道面试题及答案.docx

    3. 服务代理层(Proxy):服务接口透明代理,生成服务的客户端Stub和服务端的Skeleton,以ServiceProxy为中心,扩展接口为ProxyFactory。 4. 服务注册层(Registry):封装服务地址的注册和发现,以服务URL为中心,...

    基于hadoop2.85的hive2.3.4安装

    <name>hive.server2.thrift.bind.host <value>namenode-ip <name>hive.server2.thrift.http.port</name> <value>10002 <name>hive.server2.thrift.port <value>10001 <name>hive.server2....

    03开源NewSql数据库TiDB-Deep Dive into TiDB

    去年十月,TiDB 1.0 版本发布,在接下来的六个月中,开发团队一方面...ThriftServer/JDBC 支持 Spark-SQL 交互支持 PySpark Shell 支持 SparkR 支持 相关链接 TiDB 的详细介绍:点击查看 TiDB 的下载地址:点击下载

    java自制简单RPC调用例子

    在Java中,这通常涉及到动态代理的使用,如Java的InvocationHandler接口和Proxy类。客户端需要知道服务端的位置(例如,IP地址和端口号),并且能够将方法调用转换为网络消息发送给服务端。 3. **服务端模块...

    rpc远程调用使用说明&源码

    2. **服务端(Server)**:接收并处理客户端的请求,执行相应的远程方法,并将结果返回。 3. **序列化/反序列化模块**:负责将对象转换为可以在网络上传输的字节流,以及将接收到的字节流还原为对象。 4. **网络传输...

    微服务介绍

    3. **路由和负载均衡**:如`ELB`、`Nginx`、`Haproxy`、`Ribbon`、`Dubbo-proxy`等,用于将请求分发到不同的服务实例上。 4. **容错**:如`Hystrix`、`Dubbo-filter`等,提供服务间的容错机制,包括失败重试、服务...

    simplerpcDemo:rpc的简单demo,用来学习rpc,建立rpc的概念

    Java中可以使用动态代理(如Java的`java.lang.reflect.Proxy`)或者服务注册表(如Eureka、Zookeeper)来实现。 5. **结果返回** 服务器执行完操作后,将结果打包成协议规定的格式并通过网络发送回客户端。客户端...

Global site tag (gtag.js) - Google Analytics