Netzwerk Total-Ausfall heute 11:43 bis 13:03 Uhr

[Daniel Baumann]

Hallo zusammen

Hier unser Bericht zum heutigen Netzwerk Total-Ausfall
von 11:43 bis 13:03 Uhr.


Hintergrund
===========

  * alle BFH Standorte (ausser Dammweg, Bern) sind ueber Layer 3
    (d.h. geroutet) via ein BFH-weites Transit-Netz an den Core
    Router in Bern angeschlossen.

  * der Core Router in Bern ist zusaetzlich via Firewall mit
    den Border-Routern verbunden. Diese stellen ueber die Uni Bern
    ins SWITCH-Netz schlussendlich die Internet-Anbindung der BFH
    zur Verfuegung. Der Core Router wiederum stellt, logisch gesehen,
    diese Internet-Anbindung via Transit-Netz allen Standorten und
    Systemen zur Verfuegung.

  * der Dammweg in Bern als Standort der IT-Services ist speziell
    weil "nur" ueber Layer 2 (d.h. geswitched) angeschlossen, dafuer
    brauchte es gestern keine Aenderung am Transit-Netz.

  * um die HAFL, wie alle anderen "normalen" Standorte der BFH,
    auf die Linux-Firewall umzurouten, braucht es die ensprechenden
    Aenderungen im Transit-Netz.


Ausfall
=======

  * die Person welche die Aenderungen am Transit-Netz in unserem Auftrag
    vornahm, hat beim Einfuegen der Aenderungen fuer die HAFL
    unabsichtlich eine scheinbar nicht genutzte ACL im Transit-Netz
    entfernt.

  * dadurch konnte keiner der Standorte mehr ueber das Transit-Netz
    kommunizieren, so dass jeglicher Traffic der einen Standort
    verlaesst, verworfen wurde.

  * somit war jeder BFH-Standort von 11:43 bis 13:03 Uhr komplett sowohl
    vom BFH-Netz als auch vom Internet getrennt. Davon betroffen waren
    insbesondere auch alle Server in BFH.ch wie Mail, Intranet, Moodle,
    etc., welche in diesem Zeitraum weder von aussen, innen oder via VPN
    erreichbar waren.

  * da der Dammweg via Layer 2 angeschlossen ist, ist ein Login auf den
    Core Router prinzipiell moeglich geblieben. Allerdings kennt niemand
    von uns die Login-Informationen (und nachschauen im Passwort
    Management Tool der BFH ging nicht weil ja nicht mehr erreichbar),
    so dass (trotzdem dass wir am Dammweg vorort waren) wir auch nicht
    weiterhelfen konnten.

  * spaeter konnte die fuer die Core Router Anpassungen beauftragte
    Person nach kurzer Anreise an den Dammweg, zusammen mit der
    ihr bekannten Login-Informationen, die fehlende ACL wieder
    einsetzen, so dass um 13:03 Uhr alle Netzwerk-Verbindungen wieder
    funktionierten.

  * der Vollstaendigkeit halber:
    - die meisten Cloud-Dienste die die BFH nutzt (z.B. Office 356,
      MS-Teams, etc.) waren nicht betroffen.
    - www.bfh.ch war nicht betroffen weil extern gehostet.
    - BFH.science war nicht betroffen resp. waren von aussen normal
      erreichbar, weil die Netze der Science DMZ (mit allen Vor- und
      Nachteilen) nicht mit dem BFH.ch Netz verbunden sind.


Massnahmen
==========

  * auf unseren Systemen verwenden wir fast ausschliesslich
    kryptographische Schluessel statt Passwoerter. Die wenigen
    Passwoerter die es noch gibt, sind versioniert in einem Git
    Repository abgelegt. Damit ist jederzeit ein verteilter als auch
    offline Zugriff moeglich. Daher werden wir in den naechsten Tagen
    alle Netzwerk-bezogenen Passwoerter aus der Passwort Manager
    Applikation in unser Git Repo verschieben.

  * da wir die Gesamtverantwortung fuer das Cisco-Netzwerk (BFH.ch)
    per 1.5. vom vorherigen Netzwerk-Team uebernommen haben, aber
    operativ selber nichts machen/machen koennen, koennen wir keine
    Cisco-spezifischen Massnahmen zu einer kuenftigen Fehlervermeidung
    beitragen. Wo immer moeglich, werden wir die allgemeinen
    Sorgfaltspflichten so gut wie es uns moeglich ist, hochhalten und
    warnehmen.

Wir entschuldigen uns fuer die Unannehmlichkeiten und bedanken uns fuer
euer Verstaendnis.

Gruesse,
Daniel

-- 
Berner Fachhochschule / Bern University of Applied Sciences
Services / IT-Services
Daniel Baumann
Teamleiter Linux & Infrastructure Services
___________________________________________________________
Dammweg 3, CH-3013 Bern
Telefon direkt +41 31 848 48 22
Telefon Servicedesk +41 31 848 48 48
daniel.baumann at bfh.ch
https://bfh.ch
https://bfh.science