在面的实例中ipvsadm用到的几个参数含义如下：

    -A 增加一个虚拟服务，该服务由协议、IP地址和端口号组成，例如：

    -A -t 202.99.59.110:80 (增加一格虚拟服务，其协议(-t表示tcp，-u表示udp)为TCP、IP为202.99.59.110、端口号为80。

    -s 指定服务采用的算法，常用的算法参数如下：

    

    

• rr 轮叫（Round Robin）

  
  

      调度器通过"轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务 器，而不管服务器上实际的连接数和系统负载。

      

• wrr 加权轮叫（Weighted Round Robin）

  
  

      调度器通过"加权轮叫"调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。

      

• lc 最少链接（Least Connections）

  
  

      调度器通过"最少连接"调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用"最小连接"调度算法可以较好地均衡负载。

      

• wlc 加权最少链接（Weighted Least Connections）

  
  

      在集群系统中的服务器性能差异较大的情况下，调度器采用"加权最少链接"调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。

      

• lblc 基于局部性的最少链接（Locality-Based Least Connections）

  
  

      "基于局部性的最少链接" 调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用"最少链接"的原则选出一个可用的服务器，将请求发送到该服务器。

      

• lblcr 带复制的基于局部性最少链接（Locality-Based Least Connections with Replication）

  
  

      "带复制的基于局部性最少链接"调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组，按"最小连接"原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器，若服务器超载；则按"最小连接"原则从这个集群中选出一台服务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程度。

      

• dh 目标地址散列（Destination Hashing）

  
  

      "目标地址散列"调度算法根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。

      

• sh 源地址散列（Source Hashing）

  
  

      "源地址散列"调度算法根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。

  
  

    /sbin/ipvsadm -a -t 192.168.1.110:http -r 192.168.1.12 -g -w 1

    -a 表示往一个服务内增加一个real server

    -r 指定real server的IP地址

    -w 表示权重

    -g 表示使用DR方式，-m表示NAT方式，-i表示tunneling方式。

 

=================================================================

目标：负载均衡器LVS(ip为：192.168.3.10，虚拟IP为：192.168.3.100），实机两台分别为rs２（ip为：192.168.3.20）,rs３（ip为192.168.3.30），这三台机器都安装一块网块，实机上安装apache。在一客户端cs(ip为：192.168.3.1）上访问http://192.168.3.100,会轮流访问两台实机，则实验成功。

1，配置LVS机器：
 

在Ubuntu Server 10.04 默认安装是没有安装ipvsadm软件包的，在网上看了很多教程，都要编辑内核，但现在2.6.32内核已经不需要再编辑了。

#sudo apt-get install ipvsadm
会提示 please run dpkg –reconfigure ipvsadm    
#sudo dpkg–reconfigure ipvsadm (dpkg与-reconfigure是连到一起中间没空格）

 

 

 

#sudo ifconfig eth0:0 192.168.3.100 netmask 255.255.255.255 broadcast 192.168.3.100
#sudo route add –host 192.168.3.100 dev eth0:0
#sudo ipvsadm –A –t 192.168.3.100:80 –s rr
#sudo ipvsadm –a –t 192.168.3.100:80 –r 192.168.3.20 –g
#sudo ipvsadm –a –t 192.168.3.100:80  -r 192.168.3.30 –g
#sudo ipvsadm –-save
*:这里rr表示ipvsadm的8种算法中的轮询，做实验选这个算法，效果比较明显。-g,就是lvs的三种模式中的LVS-DR模式。-i 就是遂道LVS-TUN.为什么eth0:0的broadcast就是它的IP，因为他的netmask为/32.(the VIP is a /32 addr, so the brd addr is the VIP, not x.x.x.255.)
修改/etc/sysctl.conf
net.ipv4.ip_forward=0
net.ipv4.conf.all.send_redirects=1
net.ipv4.conf.default.send_redirects=1
net.ipv4.conf.eth0.send_redirects=1
#sudo sysctl -p

2,配置实机rs2,rs3为如下
#sudo ifconfig lo:0 192.168.3.100 netmask 255.255.255.255 broadcast 192.168.3.100
#sudo route add –host 192.168.3.100 dev lo:0
修改/etc/sysctl.conf
net.ipv4.ip_forward=0
net.ipv4.conf.lo.arp_ignore=1
net.ipv4.conf.lo.arp_announce=2
net.ipv4.conf.all.arp_ignore=1
net.ipv4.conf.all.arp_announce=2
#sudo sysctl –p
把rs2，rs3的/var/www下的index.html的内容修改为“this is rs2”,”this is rs3”,当访问时区别访问的是那台机器，查看实验是否成功。
在实验过程中：刚开始没有修改实机rs2,rs3下的/etc/sysctl.conf,在访问http://192.168.3.100时，有时能轮流的访问rs2,rs3，有时不能，修改后，发现效果很好，达到实验目标。为什么要修改可以参考以下http://www.austintek.com/LVS/LVS-HOWTO/HOWTO/LVS-HOWTO.arp_problem.html的内容，专门讲解了关于LVS的 ARP ，也有专门讲解了在LVS-DR模式中ARP问题及如何去解决ARP问题，也有arp_ingnore,arp_announce具体的意思。要想深入学习LVS，必须要看这个LVS-HOWTO

后面几页LVS也可以参考。

*:
用firefox浏览器，在地址栏中输入：about:config,找到network.http.keep-alive 把值修改为false,利于查看实验结果。

实例

理解了上述关于请求转发方式和调度算法的基本概念后，就可以运用LVS来具体实现几种不同方式的负载均衡的集群系统。LVS的配置是通过前面所安装的IP虚拟服务器软件ipvsadm来实现的。ipvsadm与LVS的关系类似于iptables和NetFilter的关系，前者只是一个建立和修改规则的工具，这些命令的作用在系统重新启动后就消失了，所以应该将这些命令写到一个脚本里，然后让它在系统启动后自动执行。网上有不少配置LVS的工具，有的甚至可以自动生成脚本。但是自己手工编写有助于更深入地了解，所以本文的安装没有利用其它第三方提供的脚本，而是纯粹使用ipvsadm命令来配置。
 

下面就介绍一下如何配置LVS/NAT、LVS/TUN、LVS/DR方式的负载均衡集群。

1.设定LVS/NAT方式的负载均衡集群

NAT是指Network Address Translation，它的转发流程是：Director机器收到外界请求，改写数据包的目标地址，按相应的调度算法将其发送到相应Real Server上，Real Server处理完该请求后，将结果数据包返回到其默认网关，即Director机器上，Director机器再改写数据包的源地址，最后将其返回给外界。这样就完成一次负载调度。

构架一个最简单的LVS/NAT方式的负载均衡集群如图2所示。

 
图2 LVS/NAT方式的集群简图

Real Server可以是任何的操作系统，而且无需做任何特殊的设定，惟一要做的就是将其默认网关指向Director机器。Real Server可以使用局域网的内部IP(192.168.0.0/24)。Director要有两块网卡，一块网卡绑定一个外部IP地址(10.0.0.1)，另一块网卡绑定局域网的内部IP(192.168.0.254)，作为Real Server的默认网关。

这里将所有LVS的配置命令写到一个可执行脚本中，脚本如下：

#!/bin/bash
# Open IP Forwarding
echo 1 > /proc/sys/net/ipv4/ip_forward
# To make the load balancer forward the masquerading packets
iptables -t nat -A POSTROUTING -s 192.168.2.0/24 -d 0.0.0.0/0 -o eth0 -j MASQUERADE
ipvsadm -C
# Choose the Weighted Round Robing
ipvsadm -A -t 10.0.0.1:80 -s wrr 
# Set Real Server
ipvsadm -a -t 10.0.0.1:80 -r 192.168.0.1:873 -m -w 2
ipvsadm -a -t 10.0.0.1:80 -r 192.168.0.2:873 -m -w 3
ipvsadm

将该脚本保存为/root/lvs_nat.sh，然后加上可执行属性，执行它：

# chmod a+x /root/lvs_nat.sh
# /root/lvs_nat.sh

运行该脚本后，一个简单的LVS/NAT方式的负载均衡集群已经成功架设。模拟多个用户从外界访问10.0.0.1的80端口，用ipvsadm可以观看到以下信息：

# ipvsadm
IP Virtual Server version 1.0.9 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port     Forward Weight ActiveConn InActConn
TCP  10.0.0.1:http wrr
  -> 192.168.0.1:http    Masq    3      2          0
  -> 192.168.0.2:http    Masq    2      1          0

其中ActiveConn表示对应的Real Server当前有多少个正在活动的连接，InActConn表示不活动的连接数。从这里我们可以看到有3个HTTP请求，被分别分配在不同的Real Server上，表明这个负载均衡集群正在成功运行中。

本例完成了这样一个简单的LVS/NAT集群，由此可以看出，LVS/NAT方式实现起来最为简单，而且Real Server使用的是内部IP，可以节省Real IP的开销。但因为执行NAT需要重写流经Director的数据包，在速度上有一定延迟；另外，当用户的请求非常短，而服务器的回应非常大的情况下，会对Director形成很大压力，成为新的瓶颈，从而使整个系统的性能受到限制。

2.设定LVS/TUN方式的负载均衡集群

TUN是指IP Tunneling，它的转发流程是：Director机器收到外界请求，按相应的调度算法将其通过IP隧道发送到相应Real Server，Real Server处理完该请求后，将结果数据包直接返回给客户。至此完成一次负载调度。

最简单的LVS/TUN方式的负载均衡集群架构如图3所示。

LVS/TUN使用IP Tunneling技术，在Director机器和Real Server机器之间架设一个IP Tunnel，通过IP Tunnel将负载分配到Real Server机器上。Director和Real Server之间的关系比较松散，可以是在同一个网络中，也可以是在不同的网络中，只要两者能够通过IP Tunnel相连就行。收到负载分配的Real Server机器处理完后会直接将反馈数据送回给客户，而不必通过Director机器。实际应用中，服务器必须拥有正式的IP地址用于与客户机直接通信，并且所有服务器必须支持IP隧道协议。

 
图3 LVS/TUN方式的集群简图

这里将所有LVS的配置命令写到一个可执行脚本，脚本内容如下：

#!/bin/bash
# Close IP Forwarding
echo 0 > /proc/sys/net/ipv4/ip_forward
ifconfig  eth0 down
ifconfig eth0 192.168.0.253 netmask 255.255.255.0 broadcast 192.168.0.255 up
ifconfig eth0:0 192.168.0.254 netmask 255.255.255.255 broadcast 192.168.0.254 up
ipvsadm -C
ipvsadm -A -t 192.168.0.254:80 -s wlc
ipvsadm -a -t 192.168.0.254:80 -r 192.168.0.1 -i -w 3
ipvsadm -a -t 192.168.0.254:80 -r 192.168.1.201 -i -w 1
ipvsadm

将上面的脚本保存为/root/lvs_tun.sh。然后加上可执行属性，执行它：

# chmod a+x /root/lvs_tun.sh
# /root/lvs_tun.sh

运行此脚本之后应该出现如下信息：

# ./lvs-tun.sh
IP Virtual Server version 1.0.9 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.0.254:http wlc
  -> 192.168.1.201:http Tunnel 1 0     0
  -> 192.168.0.1:http   Tunnel 1 0  0

另外在每台Real Server上还要执行如下的命令：

ifconfig tunl0 192.168.0.254 netmask 255.255.255.255 broadcast 192.168.0.254 up
route add -host 192.168.0.254 dev tunl0
echo 1 > /proc/sys/net/ipv4/conf/all/hidden
echo 1 > /proc/sys/net/ipv4/conf/tunl0/hidden

注意Real Server的内核必须打上修正ARP问题的内核补丁，如Linux2.4.20的内核是hidden-2.4.20pre10-1.diff，编译内核的方法参见Director机器。

通过本例来简单评价一下LVS/TUN方式。该方式中Director将客户请求分配到不同的Real Server，Real Server处理请求后直接回应给用户，这样Director就只处理客户机与服务器的一半连接，极大地提高了Director的调度处理能力，使集群系统能容纳更多的节点数。另外TUN方式中的Real Server可以在任何LAN或WAN上运行，这样可以构筑跨地域的集群，其应对灾难的能力也更强，但是服务器需要为IP封装付出一定的资源开销，而且后端的Real Server必须是支持IP Tunneling的操作系统。

3.设定LVS/DR方式的负载均衡集群

DR是指Direct Routing，它的转发流程是：Director机器收到外界请求，按相应的调度算法将其直接发送到相应Real Server，Real Server处理完该请求后，将结果数据包直接返回给客户，完成一次负载调度。

构架一个最简单的LVS/DR方式的负载均衡集群如图4所示。

Real Server和Director都在同一个物理网段中，Director的网卡IP是192.168.0.253，再绑定另一个IP：192.168.0.254作为对外界的virtual IP，外界客户通过该IP来访问整个集群系统。Real Server在lo上绑定IP：192.168.0.254，同时加入相应的路由。

Director端的实现脚本如下：

#！/bin/bash
# set ip_forward OFF for vs-dr director (1 on, 0 off)
echo 0 > /proc/sys/net/ipv4/ip_forward
ifconfig  eth0:0 192.168.0.254 netmask 255.255.255.255 broadcast 192.168.0.255 up
ipvsadm -C
ipvsadm -A -t 192.168.0.254:80 -s wlc
# Set Real Server
ipvsadm -a -t 192.168.0.254:80 -r 192.168.0.1:873 -g
ipvsadm -a -t 192.168.0.254:80 -r 192.168.0.2:873 -g
ipvsadm

 

 
图4 LVS/DR方式的集群简图

将脚本保存为/root/lvs_dr.sh，加上可执行属性，执行它：

# chmod a+x /root/lvs_dr.sh
# /root/lvs_dr.sh

运行此脚本之后可以看到如下信息：

# ./lvs_dr.sh
IP Virtual Server version 1.0.9 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.0.254:http wlc
  -> 192.168.0.2:http     Route   1      0          0
  -> 192.168.0.1:http     Route   1      0          0

另外每台Real Server上要执行如下命令：

ifconfig lo:0 192.168.0.254 netmask 255.255.255.255 broadcast 192.168.0.255 up
route add -host 192.168.0.254 dev lo:0
echo 1 > /proc/sys/net/ipv4/conf/all/hidden
echo 1 > /proc/sys/net/ipv4/conf/lo/hidden

注意Real Server的内核也必须打上修正ARP问题的内核补丁，编译内核的方法参见Director机器。

同样通过本例来简单评价一下LVS/DR方式。LVS/DR方式与前面的LVS/TUN方式有些类似，前台的Director机器也是只需要接收和调度外界的请求，而不需要负责返回这些请求的反馈结果，所以能够负载更多的Real Server，提高Director的调度处理能力，使集群系统容纳更多的Real Server。但LVS/DR需要改写请求报文的MAC地址，所以所有服务器必须在同一物理网段内。

结束语

其实集群架设到此还不能达到正式应用的要求，至少还需要解决三个问题：

1. 安装监视软件

集群运作时，应当监视集群中所有Real Server的运行情况并对其中的变化作出反应。如果发现Real Server突然down机，需要将其从集群队列中删除，等恢复后再重新加入。mon就是这样一个系统资源监控程序，可以监控网络服务可用性、服务器问题等。用户可以对其进行定制和扩展。

2. 后台Real Server节点的数据一致性问题和更新方法

比如一个提供Web服务的集群系统，每台服务器的Web资料必须一致，如果对Web资料的内容进行更新、增加或删除，如何使所有服务器之间数据同步呢？对于这种数据同步问题，一是采用网络镜像，如借用Mirror、FTP等来自行编写脚本进行镜像；另一种是使用网络文件系统，如coda等。

3. 提高可用性

以上示例中，Director机器只有一台，一旦Director机器down掉，整个集群也就崩溃了，所以要考虑使用两台机器做一个HA(High-Availability)。比如，配合使用Linux的另一个软件heartbeat来实现HA。

实际运行中，面对的问题可能不只以上这些，相关内容在此就不再详述，欢迎大家共同探讨。