Hintergrund zum Border-Austausch-Versuch 2 vom 18.9.

[Daniel Baumann]

Hallo zusammen

Heute wollten wir im zweiten Versuch die beiden Cisco Border-Router
durch zwei temporaere Arista-Geraete ersetzen, mehr zum "Warum" des
Wechsels siehe auch die Hintergrund Informationen zum Versuch 1:

   https://lists.bfh.science/pipermail/bfh-linux-announce
   /2021-September/000142.html

Im Folgenden einige Hintergrund-Informationen zu unserer
Dokumentation und das weitere Vorgehen aus dem nicht erfolgreichen
Austausch-Versuch vom 18.9.

Zur Ausgangslage und zum Beschrieb des technischen Aufbaus siehe
ebenfalls oben verlinkte Hintergrund Informationen zum Versuch 1.


Border-Austausch, Versuch 2
===========================

Das "Drehbuch" fuer den Border-Tausch heute sah folgendermassen aus:

   1. sicherstellen dass Firewall-1 die aktive Firewall ist

   2. alle Border-Interfaces von Firewall-2 an den Arista Border
      haengen
      -> damit ist Firewall-2 nur an den Arista Switches und es gibt
         kein Entscheid-Problem mit LACP wie beim Versuch 1.

   3. Uplink von Cisco Border auf Arista Border wechseln
      -> das gibt einen kurzen Internet-Unterbruch.

   4. Failover von Firewall-1 auf Firewall-2
      -> damit ist BFH.ch wieder online.

   5. Umstecken aller restlichen Links von Cisco auf Arista
      -> damit ist u.a. BFH.science wieder online.

   6. Profit :)

Schritt 1 bis 3 haben wir bereits kurz vor 11 Uhr gemacht weil
Standart-Operation.

Schritt 4 erfolgte zu Beginn des Wartungsfenster um 11:01 und ging
ebenfalls einwandfrei... nur hatte die Firewall danach keine
Verbindung zum Internet:

   * die Arista Switches hatten eine funktionierende Verbindung ins
     Internet.

   * alle LACP Interfaces und Verbindungen waren fehlerfrei,
     Server und Switch sahen sich gegenseitig.

   * von der Firewall liessen sich die physischen Interfaces am
     Switch pingen.

   * die virtuelle Gateway-Adresse des Border-Routers, welche das
     Standard-Gateway der Firewall ist, war von der Firewall aus
     nicht erreichbar. Damit war von der Firewall auch keine
     Verbindung ins Internet moeglich.

Da die Status auf Switches und Server alle korrekt und in Ordnung
waren und die Firewall ja die Konstante im Aufbau ist, folgern wir:
die Konfiguration auf den Aristas fuer den Routing-Teil hat irgendwo
einen Fehler.

Weil das nicht auf die Schnelle fixbar ist (sonst waers ja beim
Erstellen der Konfiguration schon aufgefallen), haben wir die
Migration abgebrochen und rueckgaengig gemacht.

Um 11:11 waren alle Systeme und Verbindungen wieder online.


Weiteres Vorgehen
=================

Weil wir die Konfiguration der Arista Switches nicht "scharf"
debuggen koennen (gaebe demensprechend langen Internet-Unterbruch),
haben wir heute im Anschluss noch einen Server aus Cage-A (neuer
RZ-Teil) geholt, in Cage-B (bestehender RZ-Teil) neben die Border
eingebaut und auf die Arista Switches verbunden.

Damit koennen wir die notwendige Konstellation "offline" replizieren
und in den naechsten Tagen den Fehler in der Routing-Konfiguration
finden.

Da die Border wichtiger Teil zum naechsten Abschnitt in der
Netzwerk-Gesamterneuerung sind, muss der Austausch zuegig und damit
ohne lange Ankuendigungs-Vorlaufszeit erfolgen.

Wir werden wieder informieren sobald wir fuer den dritten Versuch bereit
sind und den damit unweigerlich verbundenen kurzen Internet-
Unterbruch wie immer auf die "best moeglichst" gewaehlte Randzeit
legen.

Danke fuers Verstaendnis.

Gruesse,
Daniel

-- 
Berner Fachhochschule / Bern University of Applied Sciences
Services / IT-Services
Daniel Baumann
Teamleiter Linux & Infrastructure Services
___________________________________________________________
Dammweg 3, CH-3013 Bern
Telefon direkt +41 31 848 48 22
Telefon Servicedesk +41 31 848 48 48
daniel.baumann at bfh.ch
https://bfh.ch
https://bfh.science