容器化网络和日志的选型和落地

[TOC]

容器化网络和日志的选型和落地

网络选型(k8s和mesos)

思考 && 痛点

1. 可否跨机器访问? 跨域访问?

   • flannel可以跨容器通信
   • 跨主机的容器互联
   • 容器与外部互联

2. 是否支持静态ip , 固定ip ? 域名访问?

   • 固定ip的话,那么就需要每次部署或者更新或重启的时候,ip保持不变
   • overlay network, Docker 1.6 可以实现跨主机通信

3. 是否支持dns?

4. 4层/7层访问

5. 容器库容后的网络

6. ip端口,最好不要自行手动规划

7. 网络策略,防御 ,隔离 ?

   • 容器集群不同应用之间的网络隔离和流量限制

方案

1. 方案类别

   • 隧道方案, 通过隧道，或者说Overlay Networking的方式：
     • Weave，UDP广播，本机建立新的BR，通过PCAP互通。
     • Open vSwitch（OVS），基于VxLAN和GRE协议，但是性能方面损失比较严重。
     • Flannel，UDP广播，VxLan。
   • 路由方案
     • Calico，基于BGP协议的路由方案，支持很细致的ACL控制，对混合云亲和度比较高。
     • Macvlan，从逻辑和Kernel层来看隔离性和性能最优的方案，基于二层隔离，所以需要二层路由器支持，大多数云服务商不支持，所以混合云上比较难以实现。
     • 性能好,没有NAT，效率比较高, 但是受限于路由表,另外每个容器都有一个ip,那么业务ip可能会被用光.

2. 网络的两大阵营

   • Docker Libnetwork Container Network Model（CNM）阵营(Docker Libnetwork的优势就是原生，而且和Docker容器生命周期结合紧密)

     • Docker Swarm overlay
     • Macvlan & IP network drivers
     • Calico
     • Contiv（from Cisco）

   • Container Network Interface（CNI）阵营 (CNI的优势是兼容其他容器技术（e.g. rkt）及上层编排系统（Kuberneres & Mesos))

     • Kubernetes
     • Weave
     • Macvlan
     • Flannel
     • Calico
     • Contiv
     • Mesos CNI

3. 常见的解决方案有：

   • flannel vxlan，overlay方式
   • calico，三层隔离，跨子网部署时，如果网关不支持BGP，则需要走ipip tunnel的overlay方式
   • ipvlan macvlan，物理二层/三层隔离，目前需要pipework工具在单个节点上配置，仅做了vlan隔离，不解决arp广播
   • swarm native vxlan，跟flannel vxlan类似
   • neutron sdn，选择就多种了，ml2+ovsplugin，midonet，vlan or vxlan
   • contiv，思科主导，sdn解决方案，可以用纯软的ovs，也可以用ovs+cisco硬件sdn controller
   • linux bridge+三层交换机：host上 linux bridge 设置为三层交换机的子网网段，容器之间通信走二层交换，容器与外部走三层交换机的网关。

4. 业界常用网络选型

   • kubernetes + flannel

     • Flannel已经支持UDP、VxLAN、AWS VPC和GCE路由等数据转发模式。
     • kubernetes 下有 flannel、openvswitch和weave可以实现Overlay Network
     • 唯品会 contiv netplugin方案(固定外网ip) + flannel
     • 京东 Flannel + Neutron + OVS

   • Mesos + Calico

     • Mesos支持CNI标准规范
     • 一容器一ip, 网络隔离, ip分配, L3的虚拟网络
     • 去哪儿 Mesos + Calico
     • 七牛 Bridge+ NAT + Open vSwitch

   • contiv主要用户可以根据实例IP直接进行访问

   • 魅族云 OVS & VLAN + SR-IOV

   • ucloud: vswitch overlay的"大二层"网络SDN组网方案 + ipvlan

日志监控选型(包括监控,统计)

docker由于分层设计模式,容器里面无法固化数据, 容器销毁里面的数据就会丢失, 因此日志需要挂载到宿主机上, 或者使用分布式存储如ceph

1. 监控可选方案

   • cAdvisor + InfluxDB + Grafana
   • cAdvisor + Prometheus + Grafana
   • Graphite
   • Zabbix
   • Datadog

2. 日志可选方案

   • logstash
   • ELK
   • Graylog
   • flume
   • heka
   • fluentd

3. 业界方案

   • 阿里云 : cAdvisor + InfuxDB + prometheus
   • 协程: ELK
   • 知乎: Graphite + cAdvisor