Bericht zum Ausfall von Nexus am 31.10.

[Daniel Baumann]

Hallo zusammen

Kurzfassung
===========

  * am 31.10. war Infoblox (DHCP) von 13:58 bis 14:30 offline.

  * am 31.10. war BEnet von 13:58 bis kurz vor 17 Uhr nicht erreichbar.


Hintergrund
===========

  * Wir haben zwei Cisco Nexus-Switches im RZ in Bern an denen frueher
    alle Server im Cage-B angeschlossen waren. Letzten Maerz ging ein
    Nexus kaputt, vergl.:

https://lists.bfh.science/pipermail/bfh-linux-announce/2022-March/thread.html

  * Der Leih-Nexus und unser eigener Nexus sind zusammen ein Paerchen
    (VPC). Beim kontrollierten Abschalten zur Rueckgabe des Leih-Nexus
    gab es ein Synchronisations-Problem das unseren Nexus dazu
    veranlasst hat, alle VLANs zu blockieren (13:58 Uhr).

  * Dadurch war die Verbindung zum einzigen im dem Zeitpunkt noch auf
    dem Nexus eingesteckten relevanten System (Infoblox) unterbrochen,
    so dass im BFH Netzwerk keine neuen DHCP Leases mehr ausgegeben
    wurden. Somit konnten sich Geraete die neu mit dem Netz verbunden
    wurden, keine Adresse beziehen und waren defakto offline.

    Gleichzeitig war fuer alle auch die Verbindung ins BEnet
    unterbrochen, da diese eine letzte Verbindung auch noch
    ueber den Nexus laeuft.

  * Nach dem wir sogleich ins RZ geeilt sind, konnten wir unseren
    Nexus um 14:30 wieder flicken. Fuer den BEnet Zugang hats bis knapp
    vor 17 Uhr gedauert.

Wir entschuldigen uns fuer die dadurch enstandenen Unannehmlichkeiten
und danken fuer euer Verstaendnis.

Gruesse,
Daniel

-- 
Berner Fachhochschule / Bern University of Applied Sciences
Services / IT-Services
Daniel Baumann
Teamleiter Linux & Infrastructure Services
___________________________________________________________
Dammweg 3, CH-3013 Bern
Telefon direkt +41 31 848 48 22
Telefon Servicedesk +41 31 848 48 48
daniel.baumann at bfh.ch
https://bfh.ch
https://bfh.science