Science DMZ: When size matters...

[Daniel Baumann]

Hallo zusammen

In der vergangenen Woche haben wir die letzten Arbeiten und Tests zum
(Neu)Aufbau unseres Software-Defined Storage Clusters innerhalb der
Science DMZ abgeschlossen:

  * Am Freitag Nachmittag haben wir den neuen, IPv6-only Ceph Cluster
    basierend auf dem in der Vorwoche freigegebenen Ceph 14 (nautilus)
    im ersten Rack produktiv gesetzt.

  * Aktuell stehen jetzt mit jeweils Replica 3 rund 600TB Storage auf
    HDDs (brutto 1.8PB) und rund 38TB Storage auf NVMe SSDs (brutto
    115TB) mit einer nutzbaren Netzwerkanbindung von 240Gbit/s zur
    Verfuegung. Damit haben wir das erste Storage System im Petabyte-
    Bereich an der BFH eingefuehrt.

  * Mit dem Zusammenschluss des zweiten Racks innerhalb der naechsten
    zwei Wochen verdoppelt sich sowohl die Kapazitaet auf netto 1.2PB
    HDDs (brutto 3.6PB) und 76TB NVMe SSDs (brutto 230TB), als auch die
    Bandbreite auf 480Gbit/s.

  * Statt CephFS (welches in der Vergangenheit fuer unseren Workload
    sich als zuwenig stabil erwiesen hat) verwenden wir nun RBDs,
    welche im Betrieb etwas weniger flexibel als CephFS sind, dafuer
    aber absolut stabil. Diese Aenderung konnten wir wegen der
    Ueberfuellung des alten Clusters leider erst jetzt realisieren.

  * Gestern und heute haben wir alle Shares mit einer Groesse unter 10TB
    schon auf den neuen Cluster verschoben, die >10TB Shares kopieren
    noch...

  * Grundsaetzlich wird der neue Ceph Cluster primaer direkt von den
    Systemen aus der Science DMZ via 40Gbit/s Anbindung pro Server
    benutzt, fuer "Legacy"-Anwendungen haben wir aber ein SMB Gateway
    (fuer Windows und MacOS) und spaeter ein NFS Gateway (fuer Linux),
    mit jeweils 20Gbit/s Anbindung zum Cluster und 20Gbit/s ins BFH.ch
    Netz, vorgeschaltet.

  * Das SMB Gateway ist im DFS unter P:\LFE eingebunden welches auf
    allen BFH Windows Standard Clients vorhanden ist.

    Nicht-BFH Windows Standard Clients koennen aus dem BFH.ch Netz
    via \\bfh.ch\data\LFE resp. smb://bfh.ch/data/LFE darauf zugreifen.

  * Damit neue Shares im Self Services durch die Nutzenden
    selbststaendig bezogen werden koennen, bedarf es noch eine
    Erweiterungen am BFH Identity Management System (IDM).

    Bis dies soweit ist, muessen neue Shares via Ticket unter
    https://servicedesk.bfh.ch bestellt werden.

Gruesse,
Daniel

-- 
Berner Fachhochschule / Bern University of Applied Sciences
Services / IT-Services
Daniel Baumann
Teamleiter Linux Services
___________________________________________________________
Dammweg 3, CH-3013 Bern
Telefon direkt +41 31 848 48 22
Telefon Servicedesk +41 31 848 48 48
daniel.baumann at bfh.ch
https://bfh.ch
https://bfh.science