News zur Netzwerk Gesamterneuerung

[Daniel Baumann]

Hallo zusammen

Am 30. Juni hat der Schulrat der Finanzierung der Netzwerk
Gesamterneuerung zugestimmt.

Wir freuen uns, euch nun ueber folgende Dinge informieren zu duerfen.


1. Ausgangslage
===============

Nach Einfuehrung von MS-Teams als Ersatz fuer Cisco VoIP im 2020 wurde
festgestellt, dass das bestehende Netzwerk den neuen Anforderungen nicht
mehr genuegt.

Neben der dringend notwendigen Betriebsstabilisierung nach Uebernahme
des Gesamtnetzwerk im Mai 2020 gab es insbesondere im WLAN-Bereich viele
und grosse Probleme, vergl. die Zusammenfassung des (bis heute
gueltigen) aktuellen Standes vom September 2020:

https://lists.bfh.science/pipermail/bfh-linux-announce/2020-September/thread.html


2. Netzwerkstrategie
====================

Ab Mai bis September 2020 haben wir eine Gesamt-Netzwerkstrategie und
Gesamt-Netzwerkarchitektur auf Basis der Technologie und Umsetzung der
Science DMZ entwickelt. Diese haben die folgenden Eckpunkte:

  * Ein Netz fuer alle:
    Anerkennung der Heterogenitaet der Anforderungen und Netznutzung,
    keine Standort-abhaengige oder Medium-abhaengige (RJ45, WLAN, VPN)
    Segmentierung des Netzes.

  * Zeitgemaesse "Quality of Experience" (QoE):
    Die notwendige Qualitaet in der notwendigen Quantitaet.

  * Automation und Sicherheit:
    Mit beschraenkter Personenzahl (2.8 FTE Netzwerkspezialisten) muss
    eine komplexe Umgebung betrieben werden. Die vorhandenen Ressourcen
    investieren Zeit in Know-How und Engineering, nicht in
    automatisierbare Standardtasks des Betriebs.

  * Offene Technologien, offene Standards, Wirtschaftlichkeit:
    Durch Einsatz offener Software und Fokus auf offene Standards
    erreichen wir die Balance zwischen Wirtschaftlichkeit und
    Abdeckung der Anforderungen.

  * Standardisierung:
    Der Geraetepark wird auf wenige Modelle reduziert (Building Blocks),
    so werden Beschaffung und Standortunabhaengigkeit optimiert.

  * Leaf/Spine statt Access/Distribution/Core:
    Zur Umsetzung wird die Netzwerk-Architektur von der starken
    Segmentierung weg zum aktuellen Best-Practice Aufbau nach
    "Leaf/Spine"-Modell umgestellt; dieses ist kompatibler mit den
    Veraenderungen, die in den naechsten Jahren anstehen:

    - Grundsaetzliches Routing statt Switching erhoeht
      Verfuegbarkeit (Anycast) und Performance (ECMP).

    - Die Skalierbarkeit erlaubt die notwendige Anpassungsfaehigkeit,
      spezifisch auch im Bezug auf die verschiedenen Standortvorhaben
      (inkl. Campus).

    - Aufbau nach Software-Defined-Networking Prinzipien mit
      Underlay/Overlay, inkl. dynamischem Routing Protokoll (eBGP).

    - Der Einsatz von allgemeinen und offenen Standards wie EVPN und
      VXLAN etc. garantiert Interoperabilität und die
      standortunabhaengige Verfuegbarkeit aller Services.

Der Schulrat hat im Dezember 2020 diesen Punkten zugestimmt.
Ein externes, unabhaengiges Expertenreview im Mai 2021 ebenfalls.


3. Hardware Evaluation
======================

Ab August bis Oktober 2020 haben wir die passende Hardware zur Umsetzung
der Netzwerkstrategie und Netzwerkarchitektur evaluiert.

Von vielen angeschauten Produkten verblieben in der Schlussrunde noch
Geraete von Cisco, Juniper und Arista.

Fuer LAN haben wir uns fuer Arista entschieden, da diese als einzige ein
vollstaendig offenes, Linux-orientiertes Oekosystem bieten. Dies deckt
sich ideal mit unserer Linux-Server Strategie und Architektur. Damit
bleibt die Weiterentwicklung und Synergie des Netzwerks fuer den
naechsten und uebernaechsten Lifecycle gewaehrleistet. Ausserdem haben
wir sehr gute Erfahrungen seit 2018 mit der Science DMZ gemacht haben,
welche vollstaendig auf Arista Switches basiert.

Fuer WLAN haben wir uns ebenfalls fuer Arista entschieden. Wenn man beim
Wifi RF-Management (alles was mit "Funk" zu tun hat) Automatismen will,
gibt es am Markt nur proprietaere Loesungen. Arista bietet einerseits
die beste und fuer uns geeignetste Umsetzung davon und andererseits
koennen die Accesspoints direkt VXLAN - was fuer die Implementierung
unsere Netzwerkarchitektur mitentscheident war.

Der Schulrat hat im Dezember 2020 unsere Vendor-Wahl bestaetigt.


4. Ausfall Biel und Konsequenzen
================================

Im Januar 2021 ist eine Linecard im Core Biel ausgefallen, was nur durch
sehr viel Glueck abgemildert werden konnte weil alle Komponenten seit
Jahren EOL und am Markt nicht mehr erhaehltlich sind, siehe:


https://lists.bfh.science/pipermail/bfh-linux-announce/2021-January/000107.html

Im Nachgang zum Ausfall haben wir die uns genannten EOL-Daten fuer den
Core Bern ueberprueft und festgestellt, dass dieser nicht 2024 EOL ist,
sondern im Oktober 2021 (Chassis+Fans) resp. bereits Oktober 2020 (alle
Netzwerkkomponenten).

Deshalb mussten wir alle Arbeiten am neuen Rechenzentrums-Teil (Cage-A)
in Bern notfallmaessig wiederum pausieren und haben Februar und Maerz
2021 die bestehende Netzwerkarchitektur weiter ausgearbeitet. D.h. wir
mussten die Details fuer den Ersatz des Core Bern und Zusammenschluss
der einzelnen Teil-Rechenzentren welcher zur Ausarbeitung fuer 2023
vorgesehen war, sofort und in kuerzester Zeit mit Loesung des
Gesamtpuzzles und aller dahingehender Einzel-Problemstellungen "in der
Luft/auf Papier" auf einmal angehen, statt einem iterativen Vorgehen.

Zur Diskussion standen im wesentlichen eine Superspine-Architektur
versus eine Direkt-Verbindung von einzelnen Spines. Nach einem
Superspine POC haben wir uns aus Zeitgruenden (haette alles im Herbst
2021 fertig sein muessen, inkl. Cage-A) fuer eine zweiteilige Umsetzung
entschieden: Direkt-Verbindung jetzt, Superspine irgendwann spaeter.

Diese Variante macht absolut gesehen zwar mehr Aufwand, ist aber die
einzige welche unter den gegeben Zeit- und Ressourcenvorgaben umsetzbar ist.

Das Architekturboard hat diesem Vorgehen im Maerz 2021 zugestimmt.


5. Neue Standorte
=================

Obwohl wir ab Sommer 2020 konstant ueberall kommuniziert haben, dass
neue Standorterschliessungen ab Ausloesung der Materialbestellung bei
uns im Minimum zwingend 6 Monate Vorlauf brauchen, musste er neue SIP in
Biel trozdem per 1. Juni erschlossen werden. Dies hat uns im Mai
unplanmaessig und vollstaendig ausgelastet/blockiert.

Weitere Standorte im 2021 wie Holzikofenweg (HKB) und Volkshaus (AHB)
werden von einem externen Partner mit "Internet-only" erschlossen. Diese
Standorte koennen zu einem spaeteren Zeitpunkt, als Teil des Gesamt-
Lifecycles, durch uns umgeruestet und ins BFH-Netzwerk integriert
werden.

Die bestehende Hardware-Liefersituation (siehe unten), die fehlenden
personellen Ressourcen in den IT-Services und die Kurzfristigkeit von
Bedarfsanmeldungen aus den Departementen bleiben eine ungeloeste
Herausforderung.

Zu diesen Themen haben zwischen April und Juni 2021 diverse
"Roundtables" zwischen den Abteilungen Immobilienmanagement,
Projektmanagement und IT-Services stattgefunden.


6. Hardware Beschaffung (WTO)
=============================

Die Gesamtsumme fuer die Beschaffung aller notwendigen Geraete setzt
eine Auschreibung nach WTO-Regeln voraus.

Die von Februar bis Mai 2021 laufende Ausschreibung hatte
ausschliesslich die Lieferung von Hardware zum Inhalt weil wir bei
Fragen zu Arista-spezifischen Dingen dank des "Direct Support"-Modells
von Arista direkt und unkompliziert auf deren Engineers zugreifen
koennen. Gewinner der Ausschreibung ist Adfinis.

Die jeweiligen Simap Publikationen koennen am einfachsten gefunden
werden via:

https://www.beschaffungsstatistik.ch/auftraggeber/projekt/rahmenvertrag-gesamterneuerung-bfhnetzwerk/214779


7. Lifecycle Planung und Durchfuehrung
======================================

Wir haben im April 2021 die Grobplanung des Lifecycles unter
Beruecksichtigung der technischen Ausgangslage (Standortkonzentration,
Standortbedeutung aus Netzwerksicht, Standortgroesse, etc.) und des dazu
notwendigen, zusaetzlichen Personals abgeschlossen.

Die Grobplanung war ebenfalls Hauptbestandteil des unabhaengigen
Expertenreviews im Mai 2021 und wurde so bestaetigt.

Die Eckpunkte sind:

  * bis Ende Q1/2022 sind die drei Rechenzentren (neuer RZ Cage-A in
    Bern, bestehender RZ Cage-B in Bern, RZ Quellgasse Biel)
    vollstaendig erneuert.

  * bis Ende Q2/2022 sind alle Dienste der IT-Services in die neuen
    Netze migriert.

  * der Abschluss der Arbeiten in den Rechenzentren ist eine zwingende
    Vorbedingung zum Beginn der Standort-Lifecycle. Dieser kann somit
    Q2/2022 beginnen und soll bis Ende 2023 abgeschlossen sein.

    Bis dahin sind alle Netzwerkkomponenten (ca. 400 Switches und 800
    WLAN Accesspoints bestehend, sowie 400 zusaetzliche Accesspoints) an
    den Standorte erneuert resp. aufgebaut.

Wir erarbeiten unter Einbezug der Services-Abteilung Project Management
in den naechsten Wochen eine detailierte Ablauforganisation und
Ablaufplanung, welche wir voraussichtlich im Verlauf des Herbst
kommunizieren werden koennen. Die "Beschaffung" des notwendigen
Personals zum Vorort-Rollout durchs Projektmanagement ist diese Woche
angelaufen.


8. Finanzierung / Hardware Liefersituation
==========================================

Mit dem eingangs erwaehnten positiven Entscheid des Schulrates ist die
Gesamtfinanzierung des Lifecycles aller Netzwerk-Aktivkomponenten nun
gesichert. Wir bedanken uns an dieser Stelle fuer das in uns gesetzte
Vertrauen.

Leider ist aber auch mit gesicherter Finanzierung die Liefersituation
von Netzwerkausruestung ein globales Problem. Aufgrund der
Corona-Pandemie und anderen, weiteren Ereignissen gibt es eine globale
"Chip-Shortage" welche noch lange andauern wird, vergl. als
Gesamtuebersicht zum allgemeinen "Shortage 2021" Thema anstatt vieler:

  https://www.youtube.com/watch?v=b1JlYZQG3lI

Konkret heisst dies, dass Switches aktuell eine Lieferfrist von 4 bis 6
Monaten haben. Auf jetzt bestellte WLAN Accesspoints muessten wir sogar
mindestens 15(!) Monate warten, Tendenz stark steigend.

Trotz dieser Aussichten konnten wir mit unglaublich viel Glueck und
Wohlwollen von Arista im April/Mai 2021 das benoetigte Material
sicherstellen, so dass wir u.a. die gesamten 1'200 Accesspoints im
Verlauf des Herbsts erhalten. Das ist eine einmalige und beispiellose
Privilegierung am Markt. Nur so koennen wir trotz allem noch ueberhaupt
rechtzeitig mit dem Lifecycle beginnen und diesen innerhalb moeglichst
kurzer Zeit abschliessen.


9. Weitere Arbeiten
===================

In Kuerze steht der Netzwerk-Testbetrieb des neuen Rechenzentrums in der
Bedag in Bern (Cage-A) an. Dieses Vorhaben vereint viele Dinge auf
einmal, die wir im Rahmen der Netzwerk-Gesamterneuerung mit viel
Synergie und in Parallel-Aufbau aufeinmal durchfuehren koennen:

  * Hardware-Lifecycle von fast allen Linux-Servern
  * Software-Lifecycle aller Linux-Server (Debian 10 auf 11)
  * Verschmelzung von BFH.science und BFH.ch zu einem Gesamtnetzwerk
  * Kompletterneuerung und -Ersatz aller Infrastruktur-Dienste
  * IPv6 fuer alle
  * Umzug Rechenzentrum fuer hoeher/schneller/weiter IT-Ressourcen
    dezidiert fuer Lehre, Forschung und Entwicklung von bisher 2 Racks
    auf jetzt 5 und in den Folgejahren auf 10 Racks

Damit koennen wir eine moderne, leistungsfaehige Infrastruktur bieten,
die die aktuellen und zukuenftigen Anforderungen insbesondere fuer
Lehre, Forschung und Entwicklung, tragen wird.

Wir freuen uns, euch in den kommenden Wochen wieder mit regelmaessigen
Meldungen ueber unseren Fortschritt informieren zu duerfen.


10. Fragen
==========

Fragen rund um die Netzwerk-Gesamterneuerung beantwortet unser
IT-Leiter, Martin Christen <martin.christen at bfh.ch>.

Siehe auch die Intranet-News dazu von heute morgen:
https://intranet.bfh.ch/BFH/de/Aktuell/Newseintraege/Seiten/210714_IT_Netzwerk.aspx

Gruesse,
Daniel

-- 
Berner Fachhochschule / Bern University of Applied Sciences
Services / IT-Services
Daniel Baumann
Teamleiter Linux & Infrastructure Services
___________________________________________________________
Dammweg 3, CH-3013 Bern
Telefon direkt +41 31 848 48 22
Telefon Servicedesk +41 31 848 48 48
daniel.baumann at bfh.ch
https://bfh.ch
https://bfh.science