Monitoring / 运维笔记

Zabbix 监控设备SNMP Traps

Einic Yeo · 10月23日 · 2019年 ·

一.SNMP协议

1.协议介绍

snmp协议是日常使用的较多的一种协议,绝大多数网络设备/存储等都支持snmp协议,通过此协议可以实现设备状态的监控及管理。

2.主要组成

SNMP协议包括以下三个部分

SNMP Agent:负责处理snmp请求,主要包括get,set等操作。可通过此接口查询设备的运行状态(使用较多),或者变更配置(使用较少),默认使用UDP 161端口
SNMP Trap: snmp通知消息,主动发送消息到管理端。如设备故障,端口down等都会实时发送消息到接收端。默认使用UDP 162端口
SNMP MIB:MIB代表管理信息库,是按层次结构组织的信息的集合,定义了设备内被管理对象的属性。

3.基本操作

经常使用的终端命令有以下几个:
snmpwalk:遍历整个snmp mib树,通常用来检测snmp是否配置成功,一般完整walk到一个MIB,在MIB末尾,都会输出“End Of Mib”的字样。否则可能为Response timeout等错误,以此来判断snmp agent是否配置成功。
snmpget:获取某个oid的具体数值,通常用来检测oid是否正确。
遇到很多使用snmpwalk来获取oid数据的,这是错误的用法,这样是不能测试oid的正确性。只有通过snmpget+oid能获取的数据的oid,才能配置成独立的监控项,作为监控指标采集数据。
使用zabbix监控snmp设备状态,一般按照以下步骤进行操作:

  1. 通过snmpwalk确定snmp agent配置是否正确
  2. 通过snmpget获取具体的某个oid的数据,记录oid
  3. 在zabbix上建立对应的item,interface选择设备snmp接口,Key
    可随意,SNMP OID输入oid,SNMP community输入snmp community
    Type of information选择对应类型即可。

二.SNMP Traps

1.SNMPTT介绍

SNMPTT (SNMP Trap Translator) 是一个perl语言编写的用来处理snmptrap消息的程序,可与Net-SNMP / UCD-SNMP snmptrapd程序(www.net-snmp.org)一起使用,基本流程如下:

snmptt负责处理net-snmp接收到的trap消息,通过snmptt命令或snmptthandler进行处理,解析消息之后可将消息写入文件或数据库。

2.安装SNMPTT

操作系统为centos 7.7 1908 x64,使用yum方式安装snmptt,snmptt不在默认的官方源,属于epel源,因此需要首先安装epel源。
添加ep版权声明:本文遵循 CC 4.0 BY-SA 版权协议,若要转载请务必附上原文出处链接及本声明,谢谢合作!el源

yum install epel-release -y

安装snmptt及相关组件

yum install snmptt perl-Sys-Syslog perl-DBD-MySQL -y

即可完成安装。

3.转换MIB文件

snmp trap消息如果不翻译,原始内容可能是这样的

{
	"Version": 2,
	"TrapType": 0,
	"OID": null,
	"Other": null,
	"Community": "public",
	"Username": "",
	"Address": "172.16.1.64:49692",
	"VarBinds": {
		".1.3.6.1.2.1.1.3.0": 7908527690000000,
		".1.3.6.1.2.1.2.2.1.1.18": 18,
		".1.3.6.1.2.1.2.2.1.2.18": "Vlanif103",
		".1.3.6.1.2.1.2.2.1.7.18": 2,
		".1.3.6.1.2.1.2.2.1.8.18": 2,
		".1.3.6.1.6.3.1.1.4.1.0": [1, 3, 6, 1, 6, 3, 1, 1, 5, 3]
	},
	"VarBindOIDs": [
	".1.3.6.1.2.1.1.3.0", 
	".1.3.6.1.6.3.1.1.4.1.0", 
	".1.3.6.1.2.1.2.2.1.1.18",
	".1.3.6.1.2.1.2.2.1.7.18",
	".1.3.6.1.2.1.2.2.1.8.18", 
	".1.3.6.1.2.1.2.2.1.2.18"
	]
}

如果需要知道上述oid的具体内容及数值意义就需要对照MIB文件对消息进行“翻译”。snmptt需要加载对应配置文件,对trap消息进行翻译。


snmptt提供了snmpttconvertmib工具,snmpttconvertmib是一个Perl脚本,它将读取MIB文件并将TRAP-TYPE(v1)或NOTIFICATIONATION-TYPE(v2)定义转换为SNMPTT可读的配置文件,从而实现对trap消息的翻译,基本命令如下:

/usr/bin/snmpttconvertmib --in=/usr/share/snmp/mibs/CPQHOST.mib --out=/etc/snmp/snmptt.conf.compaq --net_snmp_perl
  • /usr/share/snmp/mibs/ 为centos7 默认的 mibs文件路径,上传设备mib文件到此目录。
  • /etc/snmp/snmptt.cong.compaq 转换完输出的配置文件

由于一般情况版权声明:本文遵循 CC 4.0 BY-SA 版权协议,若要转载请务必附上原文出处链接及本声明,谢谢合作!设备mib可能有多个,建议转换为一个配置文件中,便于管理,可使用以下命令进行批量转换。

for i in HUAWEI*
do
/usr/bin/snmpttconvertmib --in=$i --out=/etc/snmp/snmptt.conf.huawei --net_snmp_perl
done

以HUAWEI开头的mib文件都转换为snmptt.conf.huawei,基本都是一些私有的MIB。snmptt自带的snmptt.conf配置文件里已经包括了一些常用的配置如端口up/down。实际过程中,只转换需要关注的MIB文件即可。


这里以配置华为USG 6320登录trap告警为例,从华为官网下载MIB文件,并上传到系统/usr/share/snmp/mibs目录下,从MIB说明文件得知,用户登录MIB文件属于HUAWEI-SECURITY-LOGIN-MIB.mib文件,对mib文件进行转换

/usr/bin/snmpttconvertmib --in=/usr/share/snmp/mibs/HUAWEI-SECURITY-LOGIN-MIB.mib --out=/etc/snmp/snmptt.conf.HUAWEI-SECURITY-LOGIN --net_snmp_perl

输入如下

[root@localhost snmp]#/usr/bin/snmpttconvertmib --in=/usr/share/snmp/mibs/HUAWEI-SECURITY-LOGIN-MIB.mib --out=/etc/snmp/snmptt.conf.HUAWEI-SECURITY-LOGIN --net_snmp_perl


****** UCD-SNMP / NET-SNMP Perl module enabled ******


****** Processing MIB file ******

snmptranslate verison: NET-SNMP verison: 5.7.2
severity: Normal

File to load is:        /usr/share/snmp/mibs/HUAWEI-SECURITY-LOGIN-MIB.mib
File to APPEND TO:      /etc/snmp/snmptt.conf.HUAWEI-SECURITY-LOGIN

MIBS environment var:   /usr/share/snmp/mibs/HUAWEI-SECURITY-LOGIN-MIB.mib
mib name: HUAWEI-SECURITY-LOGIN-MIB


****** Using UCD-SNMP / NET-SNMP Perl module ******



Processing MIB: HUAWEI-SECURITY-LOGIN-MIB
#
skipping a TRAP-TYPE / NOTIFICATTON-TYPE line = probably an	import line.
#
line: 124
NOTIFICATTON-TYPE: hwSecLOGINSucced
Variables: hwSecLOGINUser hwSecLOGINIP hwSecLOGINTime hwSecLOGINType hwSecLOGINLevel
Enterprise: hwSecLOGINTraps
Looking up via snmptranslate: HUAWEI-SECURITY-LOGIN-MIB::hwSecLOGINSucced
OID: .1.3.6.1.4.1.2011.6.122.62.2.1
#
line: 133
NOTIFICATTON-TYPE: hwSecLOGINFailed
Variables: hwSecLOGINUser hwSecLOGINIP hwSecLOGINTime hwSecLOGINType hwSecLOGINLevel
Enterprise: hwSecLOGINTraps
Looking up via snmptranslate: HUAWEI-SECURITY-LOGIN-MIB::hwSecLOGINFailed
OID: .1.3.6.1.4.1.2011.6.122.62.2.2
#
line: 142
NOTIFICATTON-TYPE: hwSecLOGINSucced
Variables: hwSecLOGINUser hwSecLOGINIP hwSecLOGINTime hwSecLOGINType 
Enterprise: hwSecLOGINTraps
Looking up via snmptranslate: HUAWEI-SECURITY-LOGIN-MIB::hwSecLOGINSucced
OID: .1.3.6.1.4.1.2011.6.122.62.2.3
#
line: 151
NOTIFICATTON-TYPE: hwSecLOGINFailed
Variables: hwSecLOGINUser hwSecLOGINIP hwSecLOGINTime hwSecLOGINType 
Enterprise: hwSecLOGINTraps
Looking up via snmptranslate: HUAWEI-SECURITY-LOGIN-MIB::hwSecLOGINFailed
OID: .1.3.6.1.4.1.2011.6.122.62.2.4


Done 

Total translations: 4 
Successful translations: 4 
Failed translations: 0
[root@localhost snmp]#

表示转换成功,已经生成snmptt.conf.HUAWEI-SECURITY-LOGIN,这里转换出来的为标准的文件,不符合zabbix snmptrap 文件格式,因此还需要执行以下命令对配置文件进行稍加修改。

sed -i 's/FORMAT/FORMAT ZBXTRAP $aA/g' /etc/snmp/snmptt.conf.HUAWEI-SECURITY-LOGIN

其实就是添加一个ZBXTRAP字符。很多文档遗漏此项,导致后续配置后zabbix server日志出现以下错误:

28391:20191023:150150.572 invalid trap data found "2019/10/23 15:01:49 .1.3.6.1.6.3.1.1.5.4 Normal "Status Events" 172.16.1.64 - Link up on interface 18.  Admin state: up.  Operational state: up
2019/10/23 15:01:49 .1.3.6.1.6.3.1.1.5.4 Normal "Status Events" 172.16.1.64 - A linkUp trap signifies that the SNMPv2 entity, 18 up up Vlanif103

无法识别trap文件格式。

4.配置snmptt

snmptt配置文件有2个

  • /etc/snmp/snmptt.ini snmptt主要配置文件
  • /etc/snmp/snmptt.conf 系统默认的策略文件,包括一些基本的端口up/down的配置
    修改默认的snmptt.ini 配置文件,主要修改一下几个地方
mode = standalone
multiple_event = 0
net_snmp_perl_enable = 1
translate_log_trap_oid = 1
date_time_format = %Y/%m/%d %H:%M:%S
syslog_enable = 0

在这里需要加载刚才转换完成的snmptt.conf.HUAWEI-SECURITY-LOGIN配置文件
在snmptt.ini文件末尾如下添加snmptt.conf.HUAWEI-SECURITY-LOGIN

[TrapFiles]
# A list of snmptt.conf files (this is NOT the snmptrapd.conf file).  The COMPLETE path
# and filename.  Ex: '/etc/snmp/snmptt.conf'
snmptt_conf_files = <<END
/etc/snmp/snmptt.conf
/etc/snmp/snmptt.conf.HUAWEI-SECURITY-LOGIN
END

snmptt有二种模式,分别为

  • standalone 每次收到trap消息时读取snmptt.ini配置文件调用snmpt版权声明:本文遵循 CC 4.0 BY-SA 版权协议,若要转载请务必附上原文出处链接及本声明,谢谢合作!thandler来处理trap消息
  • daemon 顾名思义守护进程方式,启动snmptrap时,初始化时一次性读取snmptt.ini
    二种方式各有区别,选择使用即可,具体区别可查看官方说明snmptt mode

由于这里测试使用,经常修改snmptt.ini配置文件,如果使用daemon模式,那么每次修改snmptt.ini配置文件就需要重启snmptt,因此这里我使用standalone模式。

5.配置snmptrap

snmp trap消息为主动通知,因此需要配置服务器来接收设备发送过来的 snmp trap消息。net snmp接收trap消息后,通过traphandle调用snmptt来对trap消息进行处理。
安装net snmp,建议安装net-snmp的所有关联包

yum install net-snmp* -y

即可完成snmp安装。
修改/etc/sysconfig/snmptrapd 为以下内容

OPTIONS="-m +ALL -On"

修改/etc/snmp/snmptrapd.conf 配置文件,添加如下

authCommunity execute public
traphandle default /usr/sbin/snmptt

authCommunity可以配置多个
启动snmptrap服务

systemctl start snmptrapd
systemctl enable snmptrapd

在usg 6320上配置trap消息,并指向snmp trap server,配置Community为public

配置之后,通过web登录USG和退出USG,都会收到trap消息。snmptt日志文件为/var/log/snmptt/snmptt.log 即可看到

[root@localhost snmp]# tail -f /var/log/snmptt/snmptt.log
2019/10/23 13:27:32 hwSecLOGINSucced Normal "Status Events" 172.16.1.64 - ZBXTRAP 172.16.1.64 admin 10.128.23.19 2019/10/23 12:24:04 web 15 
2019/10/23 13:27:50 hwSecLOGOUTSucced Normal "Status Events" 172.16.1.64 - ZBXTRAP 172.16.1.64 admin 10.128.23.19 2019/10/23 12:24:21 web 
2019/10/23 13:27:56 hwSecLOGINFailed Normal "Status Events" 172.16.1.64 - ZBXTRAP 172.16.1.64 53w5 10.128.23.19 2019/10/23 12:24:27 web 0

表示配置处理trap成功,原始内容都为变量内容,不太友好,
可以通过调整snmptt.conf.HUAWEI-SECURITY-LOGIN,配置trap消息输出格式。
snmptt.版权声明:本文遵循 CC 4.0 BY-SA 版权协议,若要转载请务必附上原文出处链接及本声明,谢谢合作!conf.HUAWEI-SECURITY-LOGIN配置文件内容大致如下

...
EVENT hwSecLOGINSucced .1.3.6.1.4.1.2011.6.122.62.2.1 "Status Events" Normal
FORMAT ZBXTRAP $aA $*
SDESC

The user login succeeded.
Variables:
  1: hwSecLOGINUser
     Syntax="OCTETSTR"
     Descr="The user name."
  2: hwSecLOGINIP
     Syntax="OCTETSTR"
     Descr="The User IP address."
  3: hwSecLOGINTime
     Syntax="OCTETSTR"
     Descr="The User login time."
  4: hwSecLOGINType
     Syntax="OCTETSTR"
     Descr="The User access type."
  5: hwSecLOGINLevel
     Syntax="INTEGER32"
     Descr="The User login level."
EDESC
......

其中 FROMAT就是需要修改定义的,其中包括很多变量,具体可在SNMPTT.CONF-FORMAT 常用的几个如下:

  • $aA snmp trap的代理IP,即源IP
  • $* 所有变量
  • $n n为数字,表示变量次序
    Variables 为trap变量,基本可以看懂
  • hwSecLOGINUser 登录用户名
  • hwSecLOGINIP 登录IP
  • hwSecLOGINTime 登录时间
  • hwSecLOGINType 登录类型
  • hwSecLOGINLevel 登录级别
    按照变量,可以对trap消息进行定制化,还支持中文!将FORMAT一行修改为
FORMAT ZBXTRAP $aA User login succeed!userName = $1, loginIP = $2, loginTime = $3, accessType = $4, userLevel = $5

修改后,登录USG,查看snmptt.log日志,日志已经被格式成需要的格式,已经可以看懂了!

2019/10/23 15:08:49 hwSecLOGINSucced Normal "Status Events" 172.16.1.64 - ZBXTRAP 172.16.1.64 User login succeed!userName = admin, loginIP = 10.128.23.19, loginTime = 2019/10/23 16:54:08, accessType = web, userLevel = 15

至此完成了snmp trap消息的接收及翻译工作。

三.配置 Zabbix

1.zabbix安装注意事项

zabbix 可以配置读取接收到的trap文件,从而实现对对trap消息的告警,如过zabbix是编译安装,系统需要安装net-snmp-devel包,编译时需要添加以下参数

–with-net-snmp

2.修改zabbix server配置文件

修改zabbix server配置文件

SNMPTrapperFile=/var/log/snmptt/snmptt.log
StartSNMPTrapper=1

制定trap文件为snmptt日志文件,并开启strap 处理的poller,修改之后重启zabbix server。

3.配置snmptrap item

添加一个主机

SNMP interfaces添加机器Ip,添加之后创建item

  • Type 为SNMP trap
  • snmptrap为zabbix内置的key,用来获取trap文件内容
  • Type of information 选择log
  • Log time format 和snmptt配置一致,配置为yyyy/MM/dd hh:mm:ss
    直接配置Key为snmptrap,表示获取snmptt日志里的所有消息。配置之后登录设备,退出设备,可在Last data看到数据已经采集。

4.配置Trigger

目前已经采集了trap日志,需要配置对应的trigger对trap消息进行告警。以usg设备登录错误为例,登录错误时间类型为:hwSecLOGINFailed,因此配置如下trigger

配置之后,用错误的用户登录USG,发现已经告警了。

当查看告警内容,发现有点模糊,同样修改下snmptt.conf.HUAWEI-SECURITY-LOGIN,将登录失败的内容修改为容易理解的中文,即修改FORMAT为中文 :

EVENT hwSecLOGINFailed .1.3.6.1.4.1.2011.6.122.62.2.2 "Status Events" Normal
FORMAT ZBXTRAP $aA 用户登录设备失败!用户名 = $1,登录ip = $2, 登录时间 = $3, 接入类型 = $4, 用户级别 = $5
SDESC

The user login failed.
Variables:
  1: hwSecLOGINUser
     Syntax="OCTETSTR"
     Descr="The user name."
  2: hwSecLOGINIP
     Syntax="OCTETSTR"
     Descr="The User IP address."
  3: hwSecLOGINTime
     Syntax="OCTETSTR"
     Descr="The User login time."
  4: hwSecLOGINType
     Syntax="OCTETSTR"
     Descr="The User access type."
EDESC

5.一般用法

以上只是简单测试,生产环境中应该注意以下事项

  • 分析需要告警的trap event 类型
    如:hwSecLOGINFailed/warmStart/linkDown/coldStart/authenticationFailure 根据类型,配置对应的triger即可
  • 可直接配置对应的key来采集对应的指标,只要收到消息就告警。如下图配置只采集hwSecLOGINSucced的指标。

配置对应的trigger,进行告警

  • 如只配置了采集对应的item,而没有配置snmptrapkey,建议配置一个snmptrap.fallback的item,配有匹配的item消息,都会保存到此item里
  • 更多配置及用法参考zabbix 官网配置zabbix trap

四.注意事项

1.MIB文件

一定要确保MIb文件的准确性,设备版本与MIB文件版本必须一致,包括大小版本。如不一致会看到解析文件出现以类似错误

2019/10/23 08:34:23 .1.3.6.1.4.1.2011.6.122.62.2.2 Normal "Status Events" 172.16.1.64 - the user 123 login with web on 10.128.23.19 in 2019/10/23 08:34:22 by time on 2019/10/23 08:34:22 ,status is Wrong Type (should be OCTET STRING): 0

说明mib文件里定义的trap变量类型和实际收到的trap消息变量类型不一致,解析错误。

2.zabbix配置

建议对同一类型设备配置统一的snmp trap模版,相同型号直接关联模版即可使用。

3.snmptt日志

随之snmp trap消息的增多,snmptt会逐渐变大,建议配置logrotate对日志进行切分,使用yum安装的snmptt已经自动配置了,使版权声明:本文遵循 CC 4.0 BY-SA 版权协议,若要转载请务必附上原文出处链接及本声明,谢谢合作!用编译安装的,可以参考
/etc/logrotate.d/snmptt

/var/log/snmptt/snmptt*.log /var/log/snmptt/snm ptthandler.debug {
    weekly
    notifempty
    missingok
}
/var/log/snmptt/snmptt.debug {
    weekly
    notifempty
    missingok
    postrotate
        /etc/init.d/snmptt reload >/dev/null 2>/dev/null || true
    endscript
}

snmptt可开启debug日志,建议在测试阶段开启debug日志,以便进行排错。

参考文献

http://snmptt.sourceforge.net/docs/snmptt.shtml

https://www.miraclelinux.com/product-service/zabbix/tech-lounge/zbx-tl-001

0 条回应