Brocade IronWare SNMP Broken

Fatal SNMP requests after upgrading to latest version. In revision there is a much better way pulling the requested information from Brocade routers. I debugged a lot during the last days to find the differences.

SQL[SELECT `sensor_oid` FROM `sensors` WHERE `device_id` = '396' AND `poller_type` = 'snmp' AND `sensor_deleted` = '0' ORDER BY `sensor_oid`]

Difference 1:

# Working request:

CMD[/usr/bin/snmpbulkwalk -t '5' -r '2' -v2c -c *** -Pu -OQUsn -M /opt/observium/mibs 'udp':'brocade-router':'161' .1.3.6.1.4.1.1991.1.1.3.3.6.1.4]

CMD EXITCODE[0]

CMD RUNTIME[4.1907s]

STDOUT[

.1.3.6.1.4.1.1991.1.1.3.3.6.1.4.1 = "   34.830 mA: Normal"

<cutted - a lot more results from other interfaces present here>

.1.3.6.1.4.1.1991.1.1.3.3.6.1.4.962 = "  0.000 mA: Low-Alarm"

]

SNMP STATUS[TRUE]

CMD[/usr/bin/snmpbulkwalk -t '5' -r '2' -v2c -c *** -Pu -OQUsn -M /opt/observium/mibs 'udp':'brocade-router':'161' .1.3.6.1.4.1.1991.1.1.3.3.6.1.2]

CMD EXITCODE[0]

CMD RUNTIME[4.5478s]

STDOUT[

.1.3.6.1.4.1.1991.1.1.3.3.6.1.2.1 = " -002.2548 dBm: Normal"

<cutted - a lot more results from other interfaces present here>

.1.3.6.1.4.1.1991.1.1.3.3.6.1.2.962 = "-214.3647 dBm: Low-Alarm"

]

SNMP STATUS[TRUE]

CMD[/usr/bin/snmpbulkwalk -t '5' -r '2' -v2c -c *** -Pu -OQUsn -M /opt/observium/mibs 'udp':'brocade-router':'161' .1.3.6.1.4.1.1991.1.1.3.3.6.1.3]

CMD EXITCODE[0]

CMD RUNTIME[4.59s]

STDOUT[

.1.3.6.1.4.1.1991.1.1.3.3.6.1.3.1 = " -008.0576 dBm: Normal "

<cutted - a lot more results from other interfaces present here>

.1.3.6.1.4.1.1991.1.1.3.3.6.1.3.962 = "007.9372 dBm: Normal"

]

SNMP STATUS[TRUE]

CMD[/usr/bin/snmpbulkwalk -t '5' -r '2' -v2c -c *** -Pu -OQUsn -M /opt/observium/mibs 'udp':'brocade-router':'161' .1.3.6.1.4.1.1991.1.1.3.3.6.1.1]

CMD EXITCODE[0]

CMD RUNTIME[4.5544s]

STDOUT[

.1.3.6.1.4.1.1991.1.1.3.3.6.1.1.1 = "   33.8906 C: Normal"

<cutted - a lot more results from other interfaces present here>

.1.3.6.1.4.1.1991.1.1.3.3.6.1.1.962 = "     N/A     "

]

SNMP STATUS[TRUE]

# Broken request:

CMD[/usr/bin/snmpget -t '5' -r '2' -v2c -c *** -Pu -OQUsn -M /opt/observium/mibs 'udp':'brocade-router':'161' .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.1.1 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.1.2 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.1.4 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.1.5 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.2.1 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.2.2 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.2.4 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.2.5 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.3.1 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.3.2 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.3.4 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.3.5 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.6.1 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.6.2 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.6.4 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.6.5]

CMD EXITCODE[0]

CMD RUNTIME[0.0059s]

STDOUT[

Yes, there is no output visible... after STDOUT[ observium is trying to pull other information that are not pulled in r8534 i.e.

Difference #2:

1. Working request

CMD[/usr/bin/snmpbulkwalk -t '5' -r '2' -v2c -c *** -Pu -OQUsn -M /opt/observium/mibs 'udp':'brocade-router':'161' .1.3.6.1.4.1.1991.1.1.2.13.1.1.4]

CMD EXITCODE[0]
CMD RUNTIME[0.0062s]
STDOUT[
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.1.1 = 129
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.1.2 = 130
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.1.4 = 141
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.1.5 = 145
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.2.1 = 97
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.2.2 = 94
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.2.4 = 107
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.2.5 = 107
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.3.1 = 102
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.3.2 = 101
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.3.4 = 105
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.3.5 = 106
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.6.1 = 90
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.6.2 = 90
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.6.4 = 101
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.6.5 = 101
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.15.1 = 127
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.15.2 = 121
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.15.4 = 146
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.15.5 = 148
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.16.1 = 97
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.16.2 = 94
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.16.4 = 102
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.16.5 = 110
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.17.1 = 64
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.17.2 = 92
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.18.1 = 56
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.18.2 = 83
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.19.1 = 67
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.19.2 = 67
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.19.3 = 67
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.20.1 = 60
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.20.2 = 60
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.20.3 = 60
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.21.1 = 56
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.21.2 = 56
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.21.3 = 56
]

SNMP STATUS[TRUE]

1. Broken request:

CMD[/usr/bin/snmpget -t '5' -r '2' -v2c -c *** -Pu -OQUsn -M /opt/observium/mibs 'udp':'brocade-router':'161' .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.15.1 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.15.2 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.15.4 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.15.5 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.16.1 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.16.2 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.16.4 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.16.5 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.17.1 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.17.2 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.18.1 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.18.2 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.19.1 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.19.2 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.19.3 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.20.1]

CMD EXITCODE[0]
CMD RUNTIME[0.0269s]
STDOUT[
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.15.1 = 127
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.15.2 = 121
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.15.4 = 146
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.15.5 = 148
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.16.1 = 97
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.16.2 = 93
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.16.4 = 102
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.16.5 = 110
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.17.1 = 65
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.17.2 = 92
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.18.1 = 56
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.18.2 = 84
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.19.1 = 68
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.19.2 = 68
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.19.3 = 68
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.20.1 = 60
]

CMD[/usr/bin/snmpget -t '5' -r '2' -v2c -c *** -Pu -OQUsn -M /opt/observium/mibs 'udp':'brocade-router':'161' .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.20.2 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.20.3 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.21.1 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.21.2 .1.3.6.1.4.1.1991.1.1.2.13.1.1.4.21.3 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.1 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.2 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.3 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.4 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.5 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.6 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.7 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.8 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.9 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.11 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.12]

CMD EXITCODE[0]
CMD RUNTIME[8.3916s]
STDOUT[
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.20.2 = 60
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.20.3 = 60
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.21.1 = 56
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.21.2 = 56
.1.3.6.1.4.1.1991.1.1.2.13.1.1.4.21.3 = 56
.1.3.6.1.4.1.1991.1.1.3.3.6.1.1.1 = "   33.8984 C: Normal"
.1.3.6.1.4.1.1991.1.1.3.3.6.1.1.2 = "   29.4218 C: Normal"
.1.3.6.1.4.1.1991.1.1.3.3.6.1.1.3 = "   31.0585 C: Normal"
.1.3.6.1.4.1.1991.1.1.3.3.6.1.1.4 = "   46.0781 C: Normal"
.1.3.6.1.4.1.1991.1.1.3.3.6.1.1.5 = "   25.9726 C: Normal"
.1.3.6.1.4.1.1991.1.1.3.3.6.1.1.6 = "   37.4687 C: Normal"
.1.3.6.1.4.1.1991.1.1.3.3.6.1.1.7 = "   31.0625 C: Normal"
.1.3.6.1.4.1.1991.1.1.3.3.6.1.1.8 = "   44.4960 C: Normal"
.1.3.6.1.4.1.1991.1.1.3.3.6.1.1.9 = "   28.6875 C: Normal"
.1.3.6.1.4.1.1991.1.1.3.3.6.1.1.11 = "   32.4062 C: Normal"
.1.3.6.1.4.1.1991.1.1.3.3.6.1.1.12 = "   33.7265 C: Normal"
]

CMD[/usr/bin/snmpget -t '5' -r '2' -v2c -c *** -Pu -OQUsn -M /opt/observium/mibs 'udp':'brocade-router':'161' .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.13 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.14 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.15 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.16 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.17 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.18 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.65 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.66 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.67 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.68 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.69 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.70 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.71 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.72 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.74 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.75]

CMD EXITCODE[1]
CMD RUNTIME[15.0186s]
STDOUT[

]
STDERR[
Timeout: No Response from udp:brocade-router:161.
]

CMD[/usr/bin/snmpget -t '5' -r '2' -v2c -c *** -Pu -OQUsn -M /opt/observium/mibs 'udp':'brocade-router':'161' .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.76 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.78 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.79 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.80 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.81 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.82 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.83 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.84 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.129 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.130 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.131 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.132 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.133 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.135 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.136 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.137]

CMD EXITCODE[1]
CMD RUNTIME[15.0163s]
STDOUT[

]
STDERR[
Timeout: No Response from udp:brocade-router:161.
]

CMD[/usr/bin/snmpget -t '5' -r '2' -v2c -c *** -Pu -OQUsn -M /opt/observium/mibs 'udp':'brocade-router':'161' .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.138 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.139 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.140 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.141 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.142 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.143 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.144 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.145 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.146 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.148 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.321 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.322 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.323 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.324 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.325 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.326]

CMD EXITCODE[1]
CMD RUNTIME[15.0176s]
STDOUT[

]
STDERR[
Timeout: No Response from udp:brocade-router:161.
]

CMD[/usr/bin/snmpget -t '5' -r '2' -v2c -c *** -Pu -OQUsn -M /opt/observium/mibs 'udp':'brocade-router':'161' .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.327 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.328 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.329 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.330 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.331 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.332 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.333 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.334 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.335 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.336 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.337 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.338 .1.3.6.1.4.1.1991.1.1.3.3.6.1.1.897 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.1 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.2 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.3]

CMD EXITCODE[1]
CMD RUNTIME[15.0079s]
STDOUT[

]
STDERR[
Timeout: No Response from udp:brocade-router:161.
]

CMD[/usr/bin/snmpget -t '5' -r '2' -v2c -c *** -Pu -OQUsn -M /opt/observium/mibs 'udp':'brocade-router':'161' .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.4 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.5 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.6 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.7 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.8 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.9 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.11 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.12 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.13 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.14 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.15 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.16 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.17 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.18 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.65 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.66]

CMD EXITCODE[1]
CMD RUNTIME[15.0134s]
STDOUT[

]
STDERR[
Timeout: No Response from udp:brocade-router:161.
]

CMD[/usr/bin/snmpget -t '5' -r '2' -v2c -c *** -Pu -OQUsn -M /opt/observium/mibs 'udp':'brocade-router':'161' .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.67 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.68 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.69 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.70 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.71 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.72 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.74 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.75 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.76 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.78 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.79 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.80 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.81 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.82 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.83 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.84]

CMD EXITCODE[1]
CMD RUNTIME[15.0178s]
STDOUT[

]
STDERR[
Timeout: No Response from udp:brocade-router:161.
]

CMD[/usr/bin/snmpget -t '5' -r '2' -v2c -c *** -Pu -OQUsn -M /opt/observium/mibs 'udp':'brocade-router':'161' .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.129 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.130 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.131 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.132 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.133 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.135 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.136 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.137 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.138 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.139 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.140 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.141 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.142 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.143 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.144 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.145]

CMD EXITCODE[1]
CMD RUNTIME[15.0182s]
STDOUT[

]
STDERR[
Timeout: No Response from udp:brocade-router:161.
]

CMD[/usr/bin/snmpget -t '5' -r '2' -v2c -c *** -Pu -OQUsn -M /opt/observium/mibs 'udp':'brocade-router':'161' .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.146 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.148 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.321 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.322 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.323 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.324 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.325 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.326 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.327 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.328 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.329 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.330 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.331 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.332 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.333 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.334]

CMD EXITCODE[1]
CMD RUNTIME[15.0181s]
STDOUT[

]
STDERR[
Timeout: No Response from udp:brocade-router:161.
]

CMD[/usr/bin/snmpget -t '5' -r '2' -v2c -c *** -Pu -OQUsn -M /opt/observium/mibs 'udp':'brocade-router':'161' .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.335 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.336 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.337 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.338 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.897 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.961 .1.3.6.1.4.1.1991.1.1.3.3.6.1.2.962 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.1 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.2 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.3 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.4 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.5 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.6 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.7 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.8 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.9]

CMD EXITCODE[1]
CMD RUNTIME[15.0181s]
STDOUT[

]
STDERR[
Timeout: No Response from udp:brocade-router:161.
]

CMD[/usr/bin/snmpget -t '5' -r '2' -v2c -c *** -Pu -OQUsn -M /opt/observium/mibs 'udp':'brocade-router':'161' .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.11 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.12 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.13 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.14 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.15 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.16 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.17 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.18 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.65 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.66 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.67 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.68 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.69 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.70 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.71 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.72]

CMD EXITCODE[1]
CMD RUNTIME[15.0179s]
STDOUT[

]
STDERR[
Timeout: No Response from udp:brocade-router:161.
]

CMD[/usr/bin/snmpget -t '5' -r '2' -v2c -c *** -Pu -OQUsn -M /opt/observium/mibs 'udp':'brocade-router':'161' .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.74 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.75 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.76 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.78 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.79 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.80 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.81 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.82 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.83 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.84 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.129 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.130 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.131 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.132 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.133 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.135]

CMD EXITCODE[1]
CMD RUNTIME[15.0182s]
STDOUT[

]
STDERR[
Timeout: No Response from udp:brocade-router:161.
]

CMD[/usr/bin/snmpget -t '5' -r '2' -v2c -c *** -Pu -OQUsn -M /opt/observium/mibs 'udp':'brocade-router':'161' .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.136 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.137 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.138 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.139 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.140 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.141 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.142 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.143 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.144 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.145 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.146 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.148 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.321 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.322 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.323 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.324]

CMD EXITCODE[1]
CMD RUNTIME[15.0182s]
STDOUT[

]
STDERR[
Timeout: No Response from udp:brocade-router:161.
]

CMD[/usr/bin/snmpget -t '5' -r '2' -v2c -c *** -Pu -OQUsn -M /opt/observium/mibs 'udp':'brocade-router':'161' .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.325 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.326 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.327 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.328 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.329 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.330 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.331 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.332 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.333 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.334 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.335 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.336 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.337 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.338 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.897 .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.961]

CMD EXITCODE[1]
CMD RUNTIME[15.0157s]
STDOUT[

]
STDERR[
Timeout: No Response from udp:brocade-router:161.
]

CMD[/usr/bin/snmpget -t '5' -r '2' -v2c -c *** -Pu -OQUsn -M /opt/observium/mibs 'udp':'brocade-router':'161' .1.3.6.1.4.1.1991.1.1.3.3.6.1.3.962 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.1 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.2 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.3 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.4 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.5 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.6 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.7 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.8 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.9 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.11 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.12 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.13 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.14 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.15 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.16]

CMD EXITCODE[1]
CMD RUNTIME[15.0147s]
STDOUT[

]
STDERR[
Timeout: No Response from udp:brocade-router:161.
]

CMD[/usr/bin/snmpget -t '5' -r '2' -v2c -c *** -Pu -OQUsn -M /opt/observium/mibs 'udp':'brocade-router':'161' .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.17 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.18 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.65 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.66 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.67 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.68 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.69 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.70 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.71 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.72 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.74 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.75 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.76 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.78 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.79 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.80]

CMD EXITCODE[1]
CMD RUNTIME[15.0181s]
STDOUT[

]
STDERR[
Timeout: No Response from udp:brocade-router:161.
]

CMD[/usr/bin/snmpget -t '5' -r '2' -v2c -c *** -Pu -OQUsn -M /opt/observium/mibs 'udp':'brocade-router':'161' .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.81 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.82 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.83 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.84 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.129 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.130 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.131 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.132 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.133 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.135 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.136 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.137 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.138 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.139 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.140 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.141]

CMD EXITCODE[1]
CMD RUNTIME[15.0181s]
STDOUT[

]
STDERR[
Timeout: No Response from udp:brocade-router:161.
]

CMD[/usr/bin/snmpget -t '5' -r '2' -v2c -c *** -Pu -OQUsn -M /opt/observium/mibs 'udp':'brocade-router':'161' .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.142 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.143 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.144 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.145 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.146 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.148 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.321 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.322 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.323 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.324 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.325 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.326 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.327 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.328 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.329 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.330]

CMD EXITCODE[1]
CMD RUNTIME[15.0185s]
STDOUT[

]
STDERR[
Timeout: No Response from udp:brocade-router:161.
]

CMD[/usr/bin/snmpget -t '5' -r '2' -v2c -c *** -Pu -OQUsn -M /opt/observium/mibs 'udp':'brocade-router':'161' .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.331 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.332 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.333 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.334 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.335 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.336 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.337 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.338 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.897 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.961 .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.962]

CMD EXITCODE[1]
CMD RUNTIME[15.0183s]
STDOUT[

]
STDERR[
Timeout: No Response from udp:brocade-router:161.

Difference 3:

# Working request:

SQL[SELECT * FROM `sensors` WHERE `sensor_class` = 'current' AND `device_id` = '396' AND `sensor_deleted` = '0']

SQL RUNTIME[0.00125694s]

Checking (snmp) current 10GigabitEthernet1/1 DOM TX Bias Current

  /opt/observium/includes/polling/functions.inc.php:71

array(

  [sensor_id]                 => string(5) "11686"

  [sensor_deleted]            => string(1) "0"

  [sensor_class]              => string(7) "current"

  [device_id]                 => string(3) "396"

  [poller_type]               => string(4) "snmp"

  [sensor_oid]                => string(33) ".1.3.6.1.4.1.1991.1.1.3.3.6.1.4.1"

  [sensor_mib]                => null

  [sensor_object]             => null

  [sensor_index]              => string(1) "1"

  [sensor_type]               => string(11) "brocade-dom"

  [sensor_descr]              => string(40) "10GigabitEthernet1/1 DOM TX Bias Current"

  [sensor_unit]               => null

  [sensor_multiplier]         => string(5) "0.001"

  [sensor_limit]              => string(8) "0.052377"

  [sensor_limit_warn]         => null

  [sensor_limit_low]          => null

  [sensor_limit_low_warn]     => null

  [sensor_custom_limit]       => string(1) "0"

  [entPhysicalIndex_measured] => null

  [measured_class]            => string(4) "port"

  [measured_entity]           => string(5) "25262"

  [entPhysicalIndex]          => string(1) "1"

  [entPhysicalClass]          => null

  [sensor_ignore]             => string(1) "0"

  [sensor_disable]            => string(1) "0"

  [sensor_value]              => string(7) "0.00000"

  [sensor_event]              => string(2) "ok"

  [sensor_status]             => string(0) ""

  [sensor_polled]             => string(10) "1503040880"

  [sensor_last_change]        => string(10) "1496291756"

)

value taken from oid_cache

  /opt/observium/includes/polling/functions.inc.php:165

array(

  [sensor_value] => double(34.83)

)

RRD CMD[update brocade-router/sensor-current-brocade-dom-1.rrd N:0.03483 --daemon unix:/var/run/rrdcached.sock]

RRD RUNTIME[0.0011s]

RRD STDOUT[OK u:0.00 s:0.00 r:18.14]

RRD_STATUS[TRUE]

 > $data /opt/observium/includes/alerts.inc.php:61

array(

  [sensor_value]        => double(0.03483)

  [sensor_event]        => string(2) "ok"

  [sensor_event_uptime] => int(6751741)

  [sensor_status]       => string(0) ""

)

# Broken request:

SQL[SELECT * FROM `sensors` WHERE `sensor_class` = 'current' AND `device_id` = '396' AND `sensor_deleted` = '0' ORDER BY `sensor_oid`]

SQL RUNTIME[0.00140595s]

Checking (snmp) current 10GigabitEthernet1/1 DOM TX Bias Current

  /opt/observium/includes/polling/functions.inc.php:72

array(

  [sensor_id]                 => string(5) "11686"

  [sensor_deleted]            => string(1) "0"

  [sensor_class]              => string(7) "current"

  [device_id]                 => string(3) "396"

  [poller_type]               => string(4) "snmp"

  [sensor_oid]                => string(33) ".1.3.6.1.4.1.1991.1.1.3.3.6.1.4.1"

  [sensor_mib]                => null

  [sensor_object]             => null

  [sensor_index]              => string(1) "1"

  [sensor_type]               => string(11) "brocade-dom"

  [sensor_descr]              => string(40) "10GigabitEthernet1/1 DOM TX Bias Current"

  [sensor_unit]               => null

  [sensor_multiplier]         => string(5) "0.001"

  [sensor_limit]              => string(8) "0.052377"

  [sensor_limit_warn]         => null

  [sensor_limit_low]          => null

  [sensor_limit_low_warn]     => null

  [sensor_custom_limit]       => string(1) "0"

  [entPhysicalIndex_measured] => null

  [measured_class]            => string(4) "port"

  [measured_entity]           => string(5) "25262"

  [entPhysicalIndex]          => string(1) "1"

  [entPhysicalClass]          => null

  [sensor_ignore]             => string(1) "0"

  [sensor_disable]            => string(1) "0"

  [sensor_value]              => string(7) "0.00000"

  [sensor_event]              => string(2) "ok"

  [sensor_status]             => string(0) ""

  [sensor_polled]             => string(10) "1503036938"

  [sensor_last_change]        => string(10) "1496291756"

)

CMD[/usr/bin/snmpget -t '5' -r '2' -v2c -c *** -Pu -OQv -m SNMPv2-MIB -M /opt/observium/mibs/rfc:/opt/observium/mibs/net-snmp 'udp':'brocade-router':'161' .1.3.6.1.4.1.1991.1.1.3.3.6.1.4.1]

CMD EXITCODE[1]

CMD RUNTIME[15.0192s]

STDOUT[

]

STDERR[

Timeout: No Response from udp:brocade-router:161.

]

SNMP STATUS[FALSE]

SNMP ERROR[#1002 - Request timeout]

SQL[SELECT * FROM `snmp_errors` WHERE `device_id` = '396' AND `error_code` = '1002' AND `snmp_cmd` = 'snmpget' AND `mib` = 'SNMPv2-MIB' AND `oid` = '.1.3.6.1.4.1.1991.1.1.3.3.6.1.4.1';]

SQL RUNTIME[0.00072193s]

SQL[UPDATE `snmp_errors` set `error_count` ='13',`updated` ='1503040880' WHERE `error_id` = '9880']

SQL RUNTIME[0.00699902s]

  /opt/observium/includes/polling/functions.inc.php:167

array(

  [sensor_value] => string(0) ""

)

RRD CMD[update brocade-router/sensor-current-brocade-dom-1.rrd N:0 --daemon unix:/var/run/rrdcached.sock]

RRD RUNTIME[0.0011s]

RRD STDOUT[OK u:0.00 s:0.00 r:302.64]

RRD_STATUS[TRUE]

The combination of all three major changes how to pull information from Brocade Router let's the routers run into a SNMP non responding state to every SNMP client.