Moodle Disk voll, Upgrade am 25.5.2020

[Daniel Baumann]

Hallo zusammen

Kurzfassung
===========

  * ab heute Morgen ca. 9 Uhr bis 12 Uhr war Moodle sporadisch nicht
    benutzbar weil die lokalen Disks auf denen moodle-data liegt (das
    sind alle Daten die durch die User hochgeladen werden) voll gelaufen
    sind.

  * durch weiteres Verschieben von Daten ist Moodle wieder benutzbar.

  * wir werden zeitgleich mit dem Ausbau der Leih-Firewall am Mittwoch
    die Disks durch groessere ersetzen.


Hintergrund
===========

  * wir haben letzten September Moodle an das dafuer zustaendige Team
    und Personen uebergeben und festgehalten, dass die Disks in den
    naechsten zwei Monaten voll sein werden und gewechselt werden
    muessten. Leider ist dies nicht passiert.

  * wie bekannt sein duerfte, haben wir wegen der Personalfluktuation
    in diesem Bereich uebergangsweise den Notfall-Betrieb von Moodle
    seit Dezember wieder zurueck uebernommen. Seither haben wir immer
    wieder manuell Backup-Daten von den lokalen Disks weggeschoben um
    freien Platz zu schaffen.

  * leider werden aktuell mehr/schneller neue Daten hochgeladen als wir
    verschieben konnten, weshalb die Disks heute voll waren.

  * normalerweise haetten wir die Disks im Januar selbst gewechselt.
    Leider ist es aus diversen Gruenden nicht passiert:

    - Unklarheit ueber Zustaendigkeiten bzgl. Moodle: eigentlich haette
      mehrmals die Uebergabe in unterschiedlichen Varianten an eine
      andere Person/Team/Firma stattfinden sollen.

    - Priorisierung: alle anderen uebernommenen Baustellen waren
      wichtiger (Basis-Dienste, Netzwerk, Firewall, etc.) oder wurden
      uns als wichtiger priorisiert.

    - Personelle Ressourcen: systematische Ueberlastung im Team LNI

  * weiteres Vorgehen.. eigentlich einfach, neue Disks einsetzen :)

    - die Moodle Daten liegen auf einem Software RAID-1 aus 2x 4TB
      SATA Disks.

    - wir werden am Montag, 25.5. eine Disk entfernen, durch
      eine neue, groessere ersetzen und als neues RAID-1 Array
      (bestehend aus einer existierenden und einer fehlenden Disk)
      einbinden.

    - bis am Mittwoch 27.5. werden wir alle Daten (4TB) manuell
      synchronisieren, waehrend dieser Zeit wird Moodle ggf.
      etwas traeger reagieren als gewohnt.

    - am Mittwoch waehrend des Ausbaus der Leih-Firewall ab 18 Uhr
      werden wir Moodle abschalten, nochmals Daten synchronisieren,
      die zweite neue Disk einsetzen und dem neuen Array hinzufuegen,
      sowie das Array synchronisieren.

    - ab spaetestens 20 Uhr, zeitgleich mit dem Abschluss des Ausbaus
      der Leih-Firewall, werden wir Moodle wieder anschalten. Waehrend
      des Abends (solange das RAID resync laeuft) wird Moodle
      ggf. etwas traeger reagieren als gewohnt.

    - fuer den unwahrscheinlichen Fall dass zwischen Montag Mittag
      und Mittwoch Abend waehrend dem nur eine Disk mit den Moodle Daten
      sich im Server befindet, diese ausfaellen wuerde, muessten wir
      einen laenger dauernden Restore vom Backup aus Biel machen.

Gruesse,
Daniel

-- 
Berner Fachhochschule / Bern University of Applied Sciences
Services / IT-Services
Daniel Baumann
Teamleiter Linux & Infrastructure Services
___________________________________________________________
Dammweg 3, CH-3013 Bern
Telefon direkt +41 31 848 48 22
Telefon Servicedesk +41 31 848 48 48
daniel.baumann at bfh.ch
https://bfh.ch
https://bfh.science