Ceph: aktueller Stand

[Daniel Baumann]

Hallo zusammen

hier der aktuelle Stand nach einer ereignisreichen Nacht (dazu dann mehr
spaeter in zwei separaten Mails fuer die technisch Interessierten und
zur Dokumentationin im Verlauf der nachsten Tage)..


Vorfall
=======

  * seit Donnerstag um 06:35 Uhr sind alle Ceph Shares offline.

  * Grund: Verkettung von vier "Murphy's law"-Ereignissen rund um
    die Situation, dass unser Cluster aktuell nur halbe Groesse/
    halbe Redundanz hat wegen des RZ-Umzug, der letztes Jahr mittendrin
    abgebrochen werden musste.


Auswirkungen
============

  * alle "Enduser-Systeme" in der Science DMZ (*.bfh.science) sind
    offline: z.B. alle Number Cruncher-Dienste, viele Web- und
    Datenbankserver, Nextcloud sowie alle SMB Shares (P:\LFE) und
    viele weitere kleinere Dienste stehen im Moment nicht zur
    Verfuegung.

  * alle Basis-Dienste in der Science DMZ laufen segregiert und sind
    nicht betroffen. Alle LNI-Dienste die noch nicht in der Science DMZ
    laufen, d.h. Linux-Altlasten in *.bfh.ch, sind nicht betroffen.

  * alle Daten auf dem Ceph Cluster sind sicher, garantiert (haben wir
    ueberprueft).


Weitere Schritte
================

  * die erste Speicherbereinigung von dem rund 1 Petabyte
    (= 1'000 Terabyte) Daten das auf Ceph liegt, laeuft und wird ca.
    Samstag morgen fertig sein. Danach erst kann die notwendige
    Loeschung von alten Snapshots erfolgen.

  * die zweite Speicherbereinigung laeuft ca. bis Sonntag Mittag.

  * voraussichtlich im Verlauf des Sonntag Abends sind alle Systeme
    wieder online und alle Dienste stehen wie gewohnt zur Verfuegung.

Danke fuers Verstaendnis.

Gruesse,
Daniel

-- 
Berner Fachhochschule / Bern University of Applied Sciences
Services / IT-Services
Daniel Baumann
Teamleiter Linux & Infrastructure Services
___________________________________________________________
Dammweg 3, CH-3013 Bern
Telefon direkt +41 31 848 48 22
Telefon Servicedesk +41 31 848 48 48
daniel.baumann at bfh.ch
https://bfh.ch
https://bfh.science