Ceph "Abschaltung" per Ende Monat weil voll

[Daniel Baumann]

Hallo zusammen

kurze Fassung:

  * Leider haben wir es aus nicht-technischen Gruenden nicht geschafft,
    die Kapazitaet unseres Ceph Cluster rechtzeitig zu vergroessern.

  * Heute morgen wurde die maximal Belegung erreicht, bei welcher wir
    die Datenintegritaet garantieren koennen.

  * Wir werden daher spaetestens per Ende Monat den Cluster auf
    read-only umschalten muessen.

  * Folgende Dienste werden danach bis auf weiteres nicht mehr zur
    Verfuegung stehen:

    - rstudio.linux.bfh.ch
    - photoscan.linux.bfh.ch
    - *.lfe.bfh.ch (d.h. alle Container auf unseren Number Crunchern)

  * Alle Dateishares welche unter smb.ceph.bfh.ch resp. P:\LFE
    zugaenglich sind, werden weiterhin online bleiben, aber nur
    lesend (d.h. keine Schreibzugriffe: kein Aendern, Loeschen oder
    Hinzufuegen von Daten).


lange Erklaerung:

  * Die im 2016 bestehenden, konkreten Beduerfnisse nach Storage fuer
    LFE ueberstieg schon die Kapazitaet unseres Ceph Clusters. Als wir
    Ceph im Februar 2017 in den produktiven Betrieb ueberfuehrt haben,
    war daher ein Ausbau der Kapazitaet schon fuer das laufende Jahr
    geplant und budgetiert.

    Aufgrund einer internen Re-Priorisierung von personellen Ressourcen
    im Linux Bereich zu gunsten der NetApp Migration konnten wir den
    Ausbau nicht vornehmen und musste auf 2018 verschoben werden.

  * Im 2018 haben wir alle neuen Anfragen nach Storage auf Ceph
    abgelehnt resp. auf nach dem Ausbau vertroestet, damit fuer die
    aktuellen Nutzenden der Betrieb aufrecht erhalten werden kann.

  * Wir haben das "volllaufen" des Clusters auf Ende August 2018
    prognostiziert. Geplant und abgemacht war, dass Ende Maerz die
    Netzwerk-Adressierungen da sind und im Juli die Hardware
    eingebaut werden kann.

    Die Netzwerk-Adressierungen haben wir nach langem hin- und her
    erst Mitte September erhalten, die Hardware durfte bisher noch nicht
    bestellt werden.

  * Ab Freigabe der Hardware-Bestellung rechnen wir mit einer
    Lieferfrist von ungefaehr 6 Wochen. Danach muessen wir den Cluster
    von einem Rack auf zwei Racks erweitern (daher die notwendigen
    Netzwerk-Adressierungs Arbeiten und Umadressierung auf IPv6).

  * Wir rechnen damit, dass per Ende 1. Quartal 2019 der Dienst
    wieder normal aufgenommen werden kann.

  * Momentan gibt es keine alternative Ausweichsmoeglichkeit oder
    Linderungsmoeglichkeiten um den Betrieb aufrecht zu erhalten.
    Wir werden punktuell mit den Betroffen schauen, wo allenfalls
    individuelle Uebergangsloesungen gefunden werden koennen.

  * Wir bedauern dass es zu diesem Schritt kommt. Leider muessen
    wir diese Massnahme treffen, um die Datensicherheit und -integritaet
    gewaehrleisten zu koennen. Ceph zu "ueberfuellen" und Datenverlust
    in Kauf zu nehmen ist fuer uns keine Option.

Gruesse,
Daniel

-- 
Berner Fachhochschule / Bern University of Applied Sciences
IT-Services / Team Infrastructure Services
Daniel Baumann
IT System Engineer Linux
___________________________________________________________
Dammweg 3, CH-3013 Bern
Phone direct +41 31 848 48 22
Phone Servicedesk +41 31 848 48 48
daniel.baumann at bfh.ch
https://servicedesk.bfh.ch
https://www.bfh.ch
https://linux.bfh.ch