Ceph SSD Cache

[Daniel Baumann]

Aloha,

hab mir mal endlich ein wenig Zeit genommen.. um die erste OSD Node
(storage1.ceph.bfh.ch; fuer den Rest kann mans dann halb-automatisch
durchlaufen lassen) das Write-Journal auf die dafuer vorgesehen SSDs zu
schieben.

[Frueher verwendete Ceph by default /journal bei OSDs mit filestor, z.B.
/var/lib/ceph/osd/ceph-0 ist der Mount der (Haupt-)Partition der Disk
fuer den OSD, in /var/lib/ceph/osd/ceph-0/current liegen dessen Objekte,
und in /var/lib/ceph/osd/ceph-0/journal das Write-Journal.

Seit den letzten ~2 Versionen von Ceph ist /journal by default ein
Symlink auf ein Blockdevice, welches vollstaendig durch Ceph verwaltet
wird (d.h. es verwendet dieses dann als ganzes und direkt, ohne ein
Linux FS darunter wie das beim filestor mit xfs der Fall ist).
Normalerweise ist dies eine zweite, kleine Partition auf der Disk welche
dem OSD zugewiesen ist.

Bei uns ist das das Block Device neu ein Raid 1 aus zwei 10gb
Partitionen auf den dafuer vorgesehenen SSDs. Warum RAID? Wenn das
Write-Journal ausfaellt, faellt der OSD aus.]

Resultat: hab ein paar Benchmarks vorher und nachher laufen lassen.. nun
sind die OSDs auf derselben Box im Schnitt zwischen 50% und 100%
schneller als vorher (zwischen 130 und 170MB/s statt 80MB/s). Das ist im
Rahmen des zu Erwartenden.

Wenn man weis wie, geht das
offline-nehmen+journal-flushen+journal-init+online-nehmen der OSDs ohne
Rebalancing.. d.h. ich werd naechstens die verbleibenden OSD Nodes
ebenfalls noch umstellen.. ;)

Gruesse,
Daniel