基于openvswitch的不同宿主机docker容器网络互联

场景：同一台宿主机的docker容器之间网络是联通的，但是不同宿主机之间的docker容器之间不能直接通信。在使用docker容器为不同宿主机部署分部署服务的时候，必须要实现不同宿主机的docker容器之间的网络互通，保证服务调用端能够直接访问服务。

 

软件版本：

centos：7.1

docker版本：1.11.1

openvswitch ：2.3.0

 

测试虚拟机：

server1 ： 172.16.230.105

server2 ： 172.16.230.109

 

安装openvswitch 

 

       分别在server1和server2上安装openvswitch 。 openvswtich不能直接安装，需要在本地重新打包后安装。安装过程参考如下：

yum -y install wget openssl-devel kernel-devel

yum groupinstall "Development Tools"

cd ~

wget http://openvswitch.org/releases/openvswitch-2.3.0.tar.gz

tar -xvf openvswitch-2.3.0.tar.gz 

mkdir -p ~/rpmbuild/SOURCES

sed 's/openvswitch-kmod, //g' openvswitch-2.3.0/rhel/openvswitch.spec > openvswitch-2.3.0/rhel/openvswitch_no_kmod.spec

cp openvswitch-2.3.0.tar.gz rpmbuild/SOURCES/

rpmbuild -bb --without check ~/openvswitch-2.3.0/rhel/openvswitch_no_kmod.spec

yum localinstall ~/rpmbuild/RPMS/x86_64/openvswitch-2.3.0-1.x86_64.rpm

mkdir /etc/openvswitch

setenforce 0

systemctl start openvswitch.service

systemctl status openvswitch.service -l

systemctl enable openvswitch.service

 

 

在server配置ovs bridge 和 路由

       在配置bridge之前需要首先规划好docker ip地址的分配，保证docker容器的ip地址够用。 此安装过程中docker地址分配方式为：

server1 docker : 172.17.1.0 / 24 ， server2 docker : 172.17.2.0 /24 ，在server1和server2中各自可以同时运行253个docker实例。

       server1 和server2中docker容器ip地址掩码为255.255.255.0 ， 因此，server1和server2的ip地址属于不同的网段，他们之间如果要通信，需要配置gateway 。

 

server1配置

       修改/proc/sys/net/ipv4/ip_forward的值为1，运行ip转发。虽然现在修改了此值，但是后边启动服务的时候，ip_forward的值又成了0 或着 这个值不允许通过vim命令直接修改， 可以通过sftp工具，直接替换该文件。

        创建网桥kbr0，并删除docker0网桥。

ovs-vsctl add-br obr0

ovs-vsctl add-port obr0 gre0 -- set Interface gre0 type=gre options:remote_ip=172.16.230.105

brctl addbr kbr0

brctl addif kbr0 obr0

ip link set dev docker0 down

ip link del dev docker0

       配置kbr0网卡信息：vim /etc/sysconfig/network-scripts/ifcfg-kbr0

DEVICE=kbr0
ONBOOT=yes
BOOTPROTO=static
IPADDR=172.17.1.1
NETMASK=255.255.255.0
GATEWAY=172.17.1.0
USERCTL=no
TYPE=Bridge
IPV6INIT=no

    配置路由信息： /etc/sysconfig/network-scripts/route-eth0 ， 用于转发到其它宿主机上docker容器，其中eth0为真实的网卡设备名称，需要根据虚拟机网卡配置。  

172.17.2.0/24 via 172.16.230.109 dev eth0

       重启网络：systemctl restart network.service ， 如果重启失败可以通过 cat /var/log/messages | grep network 查看错误日志。 

 

server2配置

       server2和server1的配置步骤相同，不同的配置为：

ovs-vsctl add-port obr0 gre0 -- set Interface gre0 type=gre options:remote_ip=172.16.230.109

      /etc/sysconfig/network-scripts/ifcfg-kbr0 中 IPADDR=172.17.2.1   GATEWAY=172.17.2.0  

      /etc/sysconfig/network-scripts/route-eth0 中 172.17.1.0/24 via 172.16.230.105 dev eth0

 

设置docker容器网桥  

        直接修改/etc/systemd/system/docker.service ，添加参数 -b kbr0 ， 重启docker服务。

ExecStart=/usr/bin/docke daemon --registry-mirror=https://u2ljumtr.mirrortaliyuncs.com -H fd:// -b kbr0

        启动一个docker容器之后，查看ip地址是否在kbr0的ip地址范围内。

 

 

配置完成之后可以看到已经存在kbr0网桥

 

可能出现问题：

        1. Bringing up interface kbr0:  Error: Connection activation failed: Connection 'Bridge kbr0' is not available on the device kbr0 at this time

        解决： 重启服务器

        2. /etc/sysconfig/network-scripts/ifcfg-kbr0中必须带着DEVICE=kbr0

        3. 不同宿主机的docker容器之间执行ping命令时 ， 需要关闭防火墙

        4. 网桥查看命令 brctl show ，需要安装yum install bridge-utils 

  

参考地址：

       http://ylw6006.blog.51cto.com/470441/1606239/

       http://www.bubuko.com/infodetail-1006745.html    

       weave跨主机互连：http://blog.csdn.net/wangtaoking1/article/details/45244525