Centos網絡Team+橋接Bridge配置和排錯

第1章引言

在數(shù)據中心DC-center中，服務器利用多網口做聚合是必不可不的一步。Centos7

開始采用網絡絡Team的概念，相較于網絡綁定Bonding更具優(yōu)勢。對比如下：

功能綁定成組

多播Tx策略是是

輪詢Tx策略是是

activc-backupTx策略是是

LACP(802.3ad)支持是（僅適用于passive）是

基于哈希字符的Tx策略是是

用戶可設定哈希功能否是

Tx負載平衡支持（TLB）是是

LACP哈希端口選擇是是

用于LACP支持的負載平衡否是

Ethtool鏈接監(jiān)控是是

ARP鏈接監(jiān)控是是

NS/NA(IPv6)鏈接監(jiān)控否是

端口啟動/斷開延遲是是

端口優(yōu)先權及粘性（“主要”選項加強）否是

根據端口鏈接進行獨立監(jiān)控的設置否是

多鏈接監(jiān)控設置有限監(jiān)控是

無鎖Tx/Rx路徑56(rwlock)有(RCU)

VLAN支持是是

用戶空間運行時控制有限監(jiān)控全面控制

用戶空間邏輯否是

延展性困難容易

第1頁共16頁

模塊設計否是

性能開銷低非常低

D-Bus接口否是

多設備堆疊是是

使用LLDP進行零配置否（計劃中）

NetworkManager支持是是

第2章網絡組Teaming設置

RedHatLinux7/Centeos7推薦采用Teaming方式進行服務器端口聚合。網絡成組

或成組旨在通過提供小內核驅動程序，以便使用不同的方法應用這個概念，實現(xiàn)

數(shù)據包流的快速處理，并讓各種用戶空間應用程序在用戶空間執(zhí)行各種任務。

2.ITeam的五種模式

broadcast（可將數(shù)據傳送到所有端口）

round-robin（可按順序將數(shù)據傳送到所有端口）

active-backup（使用一個端口或鏈接時其他則處于備用狀態(tài)）

loadbalance（使用主動Tx負載平衡及基于BPF的Tx端口選擇程序）

lacp（采用802.3ad鏈接合并控制協(xié)議）

此外還可使用以下鏈接監(jiān)視程序：

ethtool（Libteamlib使用ethtool監(jiān)視鏈接狀態(tài)變化）。若沒有在配置中指

定其他鏈接監(jiān)控程序，則默認使用該程序。

arp_ping（使用arp_ping程序監(jiān)控使用ARP數(shù)據包的遠端硬件地址狀態(tài)。）

nsna_ping（使用IPv6鄰居發(fā)現(xiàn)協(xié)議中的的鄰居播發(fā)和鄰居請求給你監(jiān)控鄰居

的接口狀態(tài)。）

注：使用lacp運行程序時，只推薦使用ethtool鏈接監(jiān)視程序。

第2頁共16頁

2.2使用nmcli配置Team

推薦采用nmcli配置Team,可有效避免各種坑。

說明：以下配置物理連線為enpl75sOfO、enpl75sOfl分別連到兩臺交換機，其

交換機端口劃分為同一vlan,由于采用active-backup模式，不需做端口聚合。

交換機配置如下：

<NCCl&2>dispcuintg0/0/4

#

interfaceGigabitEthernetO/O/4

descriptionfuwuqi4

portlink-typeaccess

portdefaultvlan100

#

return

<NCCl&2>dispcuintgl/0/4

#

interfaceGigabitEthernet1/0/4

descriptionfuwuqi_4

portlink-typeaccess

portdefaultvlan100

return

<NCCl&2>dispcuintVlanif100

#

interfaceVlanif100

descriptiongateway_servers

ipaddress10.100.100.1255.255.255.128

return

第3頁共16頁

注：經測試，采用round-robin必須在交換機端做靜態(tài)聚合，采用lacp必須在

交換機做lacp動態(tài)聚合，采用active-backup不需在交換機端做聚合，直接劃

入同一vlan即可，采用loadbalance做靜態(tài)聚合或者直接劃入同一vlan均可。

2.2.1查看系統(tǒng)中的可用設備

devst

DEVICETYPESTATECONNECTION

cnpl75s0f0ethcrnctconnectedenpl75s0f0

enpl75s0f1ethernetconnectedenpl75s0f1

enpl75s0f2ethernetunavailable-

enp175s0f3ethernetunavailable-

consh

NAMEUUIDTYPEDEVICE

cnpl75s0f0d2d68553-f97c-7549-7a26-b34a26f29322ethernet

enpl75s0f0

enpl75s0f1ba4eb250-548e-4400-823f-c48ff5c62d72ethernet

enpl75s0f1

enpl75s0f20dcecbl9-fc6f-4019-842f-7b7dal86734eethernet一

enp175s0f3890f3ef0-6206-4B88-b395-2ec5af3lae6fethernet-

2.2.2刪除多余連接

在配置前，先刪除enpl75s0f0^enpl75s0fl的連接，以免與后面配置的team

沖突。

nmclicondowncnpl75s0f0

nmclicondownenpl75s0f1

第4頁共16頁

nmclicondelenpl75s0f0

nmclicondelenpl75s0fl

2.2.3新建網絡組teamO

nmcliconaddtypeteamcon-nameteamOifnameteamOconfig'{"runner”:

{“name〃：〃activebackup〃}}'

nmcliconmodifyteamOipv4.methodmanual

自動生成ifcfg-teamO

]#catifcfg-teamO

TEAM_CONFIG=”{\〃runner\〃：{\〃name\〃：\〃act:vebackup\〃}}〃

PROXYMETHOD=none

BROWSERONLY=no

DEFROUTE=yes

IPV4_FAILURE_FATAL=no

NAME=teamO

UUlD=5d33f2ad-2051-45cb-8967-101cl2706cd7

DEVICE=teamO

ONBOOT=yes

DEVICETYPE二Team

2.2.4為teamO配置ip地址

nmcliconmodifyteamOipv4.addresses10.253.100.29/26ipv4.gateway

10.253.100.1ipv4.dns114.114.114.114ipv4.methodmanual

2.2.5添加成員接口

第5頁共16頁

nmcliconaddtypeteam-slavecon-nameteamO-portlifnameenpl75s0f0

masterteamO

nmcliconaddtypeteam-slavecon-nameteam0-port2ifnameenpl75s0f1

masterteamO

自動生成ifcfg-teamO-portl,ifcfg-teamO-port2

完整配置如下：

]#catifcfg-teamO-portl

NAME=teamO-port1

UUID=cc03fa07-2c88-4031-9cec-fcbac41ff9d3

DEVICE=enpl75s0f0

ONKOOT=yps

TEAM_MASTER=teamO

DEVICETYPE=TeamPort

]#catifcfg-1eamO-por12

NAME=tcamO-port2

UUID=a75bflc3-549b-4b34-919f-43515ddl49a4

DEVlCE=enpl75s0fl

ONBOOT=yes

TEAMMASTER=teamO

DEVTCETYPE=TeamPort

2.2.6重啟網絡

Systemctlrestartnetwork

第6頁共16頁

2.3在teamO基礎上配置橋接bridge模式

2.3.1檢查系統(tǒng)是否加載bridge模塊

modinfobridge

2.3.2修改teamO配置

viifcfg-teamO

#注釋掉ip地址相關的部分

#IPADDR=1O.253.100.22

#PREFIX=26

#GATEWAY=10.253.100.1

#修改

BOOTPROTO=none

#追加

BRlDGE=brO

完整配置如下：

]#catifcfg-teamO

DEVICE=teamO

ONBOOT=yes

DEVICETYPE=Team

#IPADDR=10.253.100.22

#PREFIX=26

#GATEWAY=10.253.100.1

BRIDGE二brO

2.3.3新建橋接口brO

nmc1iconaddtypebridgecon-namebrOifnamebrO

第7頁共16頁

nmcliconmodifybrOipv4.addresses10.253.100.29/26ipv4.gateway

10.253.100.1ipv4.dns114.114.114.114ipvd.methodmanual

nmcliconmodifybrObridge,forward-delay0

完成配置如下：

]#catifcfg-brO

DEVICE=brO

TYPE=Bridge

UUTD=d2d68553-f97e-7549-7a26-b34a26f29322

IPADDR=10.253.100.22

PREFIX=26

GATEWAY=1O.253.100.1

B00TPR0T0=none

ONBOOT二yes

DELAY=O

2.3.4重啟網絡

Systemctlrestartnetwork

特別注意：使用ifcfg文件創(chuàng)建teamO時，一定要增加

UUID=d2d68553-f97e-7549-7a26-b34a26f29322,且每臺服務器、每個ifcfg

配置文件的MID不得重復。

第8頁共16頁

第3章Team+Bridge問題排查

3.1問題L網絡不通，網卡狀態(tài)未連接

常出現(xiàn)在配置文件中，瑜錯字母（如IPADDR輸入成LPADDR）,輸錯順序（如GATEWAY

輸入成GTAEWAY）等，需要仔細檢查修改后，再直啟網絡即可°

3.2問題2：服務器到網關不丟包，但服務器之間丟包嚴重

此種情況，親身經歷的一種原因是，由于采用了直接修改網卡配置文件ifcfg

的方式，不同服務器的UU1D沖突，造成服務器之間互ping丟包。通過命令nmcli

consh查看:

[rootis]^nmcliconsh

NAMEUUIDTYPEDEVICE

BridgebrOd2d68553-f97e-7549-7a26-b34a26f29322bridgebrO

dockerOba4eb25O-548e-44OO-823f-c48ff5c62d72bridgedockerO

teamO5d33f2ad-2O51-45cb-8967-lOlcl27O6cd7teamteamO

teamO-portlecO3faO7-2e88-4O31-9cec-febac41ff9d3ethernetenpl75sOfO

team0-port2a75bflc3-549b-4b34-919f-43515ddl49a4ethernetenpl75sOfl

virbrO555bdb3e-7a65-4e3a-a66d-83b494Ocdc36bridgevirbrO

vnetO694e36bO-792f-419b-b483-d472ae929ba5tunvnetO

vnetl6713737f-al67-4fc4-9dbb-d69ec23a348Otunvnetl

vnet2aal32bb2-c83d-4b8c-8368-907ce81e86cbtunvnet2

enpl75sOf20dcecbl9-fc6f-4019-842f-7b7dal86734eethernet—

enpl75sOf389Of3efc-€2Ob-4b88-b395-2ec5af31ae6fethernet—

UUID服務器間不能重復，特別需要注意toamO、toamO-port1,toam0-port2?

3.3問題3：服務器橋接模式，但服務器上的kvm虛擬機不能

用

此種情況，是由于服務器默認未開啟網卡的混雜模式，造成物理服務器可以ping

通kvm虛擬機，虛擬機也可以能ping通宿主機，但是虛擬機ping不通網關。同

一物理機上的kvm虛擬機相互可以ping通，且在交換機上可以看到虛擬機的arp

表項。

采用如下命令，修改后虛擬機即可上網，即可ping通網關：

iplinksetenpl75s0f0promiseon

iplinksetenp175s0f1promiseon

第9頁共16頁

此問題想了很久都沒有找出來，突然一天想到是不是與網口的模式有關，修改為

混雜模式后問題解決。

注：需注意此命令需要加入開機自啟項，在linux/etc/profilc最后追加。

]#vi/etc/profile

#追加

iplinksetenpl75s0f0promiseon

ip1inksetenpl75s0flpromiseon

wq保存退出，重啟生效。

第4章網絡綁定Bonding設置

為了大家理解bonding與team的差異，在此列出bonding的配置方法，以供參

考。

綁定是由bonding內核模塊和名為頻道綁定接=1的特殊網絡接口生成。

注：ctive-backup>balance-tlb和balance-alb模式不需要交換機的任何特

殊配置。其他綁定模式需要配置交換機以便整合鏈接。

4.1檢查是否已安裝Bonding內核模塊

在RedHatEnterpriseLinux7/Centos7中默認載入bonding模塊。請使用

以下命令顯示該模塊的信息：

modinfobonding

4.2創(chuàng)建綁定接口bonding

請在/etc/sysconfig/network-scripts/目錄口創(chuàng)建名為ifcfg-bondN的文

件，使用接口號碼替換N,比如Oo

可根據要綁定接口類型的配置文件編寫該文件的內容，比如以太網接口。最主要

的區(qū)別是DEVICE指令是bondN（使用接口號碼替換N）和TYPE二Bond。此外還

設置BONDINGMASTER二yes。

第10頁共16頁

ifcfg-bondO接口配置文件示例：

DEVICE二bond。

NAME二bond。

TYPE=Bond

BONDINGMASTER=yes

IPADDR=192.168.1.1

PREFIX=24

ONBOOT=yes

B00TPR0T0=nonc

BONDINGOPTS=/，bondingparametersseparatedbyspaces"

必須在ifcfg-bondN接口文件的BONDING_OPTS="bondingparameters^指令

中，使用以空格分開的列表指定bonding內核模塊。請不要在

/etc/modprobe.d/bonding.conf文件或棄用的/'etc/modprobe.conf文件中為

綁定設備指定選項。

max_bonds參數(shù)不是具體接口的參數(shù)，且不應在使用BONDING_OPTS指令的

ifcfg-bondN文件中設定，因為這個指令會讓網絡腳本根據需要創(chuàng)建綁定接口。

4.3Bonding參數(shù)設置

4.3.lmode=value（bonding的六種模式）

允許您指定綁定的策略。value可為以下之一：

balance-rr或者0—為容錯及負載平衡設定輪詢機制。從第一個可用的綁定

從屬接口開始按順序接收和發(fā)送傳輸數(shù)據。

active-backup或者1—為容錯設定active-backup策略。通過第一個可用

的綁定從屬接口接收和發(fā)送傳輸文件。只有在活勾的綁定從屬接口失敗時才使用

其他綁定從屬接口。

balance-xor或者2一只根據所選哈希策略傳瑜數(shù)據。默認為使用源的XOR

和目標MAC地址與從屬接口數(shù)的余數(shù)相乘生成哈希。在這個模式中，指向具體

第11頁共16頁

對等接口的模式流量總是使用同一接口發(fā)送。因為目標是由MAC地址決定，因

此這個方法最適合相同鏈接或本地網絡的對等接口流量。如果流量必須通過單一

路由器，那么這個流量平衡模式將是次選模式。

broadcast或者3—為容錯設定廣播策略。可在所有從屬接口中傳輸所有數(shù)

據。

802.3ad或者4—設定IEEE802.3ad動態(tài)鏈接聚合策略。創(chuàng)建一個共享同一

速度和雙工設置的聚合組。在所有活躍聚合器中芍輸和接受數(shù)據。需要兼容

802.3ad的交換機。

balance-tlb或者5—為容錯及負載平衡設定峙輸負載平衡（TLB）策略。傳

出流量會根據每個從屬接口的當前負載分布。傳入流量由當前從屬接口接收。如

果接收數(shù)據從屬接口失敗，另一個從屬接口會接管失敗從屬接口的MAC地址。

這個模式只適用于內核綁定模式了解的本地地址，因此無法在橋接后的虛擬機中

使用。

balance-alb或者6—為容錯及負載平衡設定自適應負載平衡（ALB）策略，

包括用于IPv4流量的傳輸及接收負載平衡。使用ARP協(xié)商獲得接收負載平衡。

這個模式只適用于內核binding模塊了解的本地地址，因此無法在橋接后的虛

擬機中使用。

4.3.2arp_interval=time_in_miHiseconds

以毫秒為單位指定ARP監(jiān)控的頻繁度。

默認將這個數(shù)值設定為0,即禁用該功能。

注：如果在mode=0或者mode=2（兩種負載平衡模式）中使用這個設置，則必

須配置網絡交換機，以便使用網卡平均發(fā)送數(shù)據包。

4.3.3arp_ip_target=ip_address[,ip_address_2,???

ip_address_16]

第12頁共16頁

啟用arp_interval參數(shù)后，指定ARP請求的目標IP地址。在使用逗號分開

的列表中最多可指定：6個TP地址。

4.3.4downdelay=seconds

以亳秒為單位指定從鏈接失敗到禁用該鏈接前要等待的時間。該值必須是

miimon參數(shù)中的多個數(shù)值。默認將其設定為0,即禁用該功能。

4.3.5fai1_over_mac=value

指定active-backup模式是否應該將所有從屬連接設定為使用同一MAC地址

作為enslavement（傳統(tǒng)行為），或在啟用時根據所選策略執(zhí)行綁定MAC地址

的特殊處理。可能值為：

none或0一默認設置。這個設置禁用fail_over_mac,并造成在enslavement

時間內將所有active-backup綁定的從屬連接綁定到同一MAC地址。

active或者1一"active”failovermac策略表示綁定的MAC地址應永

遠是目前活動從屬連接的MAC地址。從屬連接的MAC地址不會更改，但在故障

轉移過程中會更改綁定的MAC地址。

這個策略對永遠無法更改其MAC地址的設備，或拒絕使用其自主源MAC地址傳

入多播的設備（影響ARP監(jiān)控）很有幫助。這個策略的缺點是該網絡中的每個

設備必須通過免費ARP更新，這與切換snoop傳入流量以便更新其ARP表的

常規(guī)方法相反。如果免費ARP鏈接丟失，則可能破壞通訊。

使用這個策略同時采用MII監(jiān)控時，在可真正傳輸并接受數(shù)據前就聲明鏈接處

于up狀態(tài)的設備很兀能會丟失免費ARP,并可能需要設置正確的呼叫建立延遲

（updelay）。

follow或者2—“follow"fail_over_mac策略可保證正常選擇綁定的MAC

地址（通常是綁定的第一從屬鏈接的MAC地址）。但第二從屬連接及之后的從

屬連接不適用這個MAC地址，雖然他們是備份角色；故障轉移時從屬連接是使

用綁定的MAC地址編程（之前活動的從屬連接接收新激活的從屬MAC地址）。

第13頁共16頁

這個策略對使用同一MAC地址編程時變得混亂或發(fā)生性能損失的多端口設備有

幫助。

4.3.6miimon=time_in_miHiseconds

以亳秒為單位指定MI：鏈接監(jiān)控的頻率。這在需要高可用性時有用，因為MII

是用來驗證網卡是否激活。

4.3.7primary=interface_name

指定主設備的接口名稱，比如ethOo主設備是要使用的第一個綁定接口，且在

其失敗前不會放棄。當綁定接口的一個網卡較快并可處理較大負載時，這個設置

特別有幫助。

只有在綁定接口處于active-backup模式時這個設置才有用。

4.3.8updelay=time_in_miHiseconds

以毫秒為單位指定啟用某個鏈接前要等待的時間。該數(shù)值必須是在miimon參數(shù)

值指定值的倍數(shù)。默認設定為0,即禁用該參數(shù)。

4.4創(chuàng)建從屬接口

頻道綁定接口是“主”接U,同時要綁定的接口是“從屬”接口。創(chuàng)建頻道綁定

接口后，必須在從屬接口的配置文件中添加MASTER和SLAVE指令，以便配置

要綁定在一起的接口。每個從屬接口的配置文件都幾乎一樣。

從屬接口配置文件示例

第14頁共16頁

例如：將兩個以太網接口ethO和ethl以頻道方式綁定，它們可類似如下:

DEVTCE=eth.V

NAME二bondO-s1ave

TYPE=Ethernet

B00TPR0T0=none

ONBOOT=yes

MASTER=bond。

SLAVE二yes

在這個示例中，使用該接口的數(shù)字值替換A；注：如果某個接口有一個以上配置

文件,或配置文件中包含ONBOOTnyes,則可能會產生彼此競爭，同時激活普通

的TYPE:Ethernet配置文件，.而不是綁定從屬接口c

4.5激活綁定接口

要激活綁定，則要啟動所有從屬接口。請作為root