Avant :

$ df -h
Sys. de fich.         Tail. Occ. Disp. %Occ. Monté sur
/dev/mapper/VG1-LVroot
9,9G  3,7G  5,7G  40% /
/dev/mapper/VG1-LVhome
26G  853M   23G   4% /home
/dev/sdc1             145G   83G   54G  61% /backup
/dev/sdb1             184G  111G   64G  64% /data1
/dev/sda1             236M   29M  195M  13% /boot
/dev/mapper/VGraid-LVraid
459G  216G  220G  50% /raid

D’une part, cela me faisait beaucoup de montages (NFS) sur mes Mac alors que je pouvais – théoriquement – rassembler /backup et /data1 en un seul volume, et d’autre part, je désirais passer en full LVM pour plus de flexibilité.

La limitation des systèmes de fichiers classiques m’imposait d’avoir ces deux partitions séparées, celles-ci étant sur deux disques différents. C’est là que LVM montre sa puissance : la possibilité de créer un groupe de volumes sur les deux disques, soit au final avoir une seule partition virtuelle de 360Go unique sur les deux disques.

Après :

$ df -h
Sys. de fich.         Tail. Occ. Disp. %Occ. Monté sur
/dev/mapper/VG1-LVroot
9,9G  3,7G  5,7G  40% /
/dev/mapper/VG1-LVhome
26G  855M   23G   4% /home
/dev/mapper/VGdata-LVdata
331G  1,8G  312G   1% /mnt/data
/dev/sda1             236M   29M  195M  13% /boot
/dev/mapper/VGraid-LVraid
459G  275G  162G  63% /mnt/raid

Après avoir déplacé mes données sur un autre disque pour faire la modification, redéfini sdb1 et sdc1 en partition de type 8e (Linux LVM) dans fdisk, j’ai opéré comme suit pour ajouter un groupe de volumes VGdata contenant un unique volume logique LVdata de la totalité de l’espace disponible (je ne détaillerai pas, les étapes ayant été un peu mieux expliquées dans ce billet) :

# pvcreate /dev/sdb1
# pvcreate /dev/sdc1
# vgcreate -s 16M VGdata /dev/sdb1 /dev/sdc1
# lvcreate -l 21462 VGdata -n LVdata
# mkfs.ext3 /dev/VGdata/LVdata
# mkdir /mnt/data
# mount /dev/VGdata/LVdata /mnt/data

Ajout du montage dans fstab :

/dev/VGdata/LVdata	/mnt/data		ext3	defaults	1 2

Cet article parle du RAID logiciel, sur une machine en Fedora 10.

Mise en place d’un RAID 1 logiciel

Je dispose de deux disques SATA 500Go que je désire utiliser en RAID 1, celui-ci fonctionne avec 2 disques (ou plus). Il s’agit d’une simple copie des données d’un disque sur l’autre, de façon transparente. Après avoir installé ces deux disques, je vérifie qu’ils soient reconnus par le système :

$ ls -l /dev/sd*
brw-rw---- 1 root disk 8,  0 déc. 28 21:37 /dev/sda
brw-rw---- 1 root disk 8,  1 déc. 28 21:37 /dev/sda1
brw-rw---- 1 root disk 8,  2 déc. 28 21:37 /dev/sda2
brw-rw---- 1 root disk 8,  3 déc. 28 21:37 /dev/sda3
brw-rw---- 1 root disk 8, 16 déc. 28 21:37 /dev/sdb
brw-rw---- 1 root disk 8, 17 déc. 28 21:37 /dev/sdb1
brw-rw---- 1 root disk 8, 32 déc. 28 21:37 /dev/sdc
brw-rw---- 1 root disk 8, 33 déc. 28 21:37 /dev/sdc1
brw-rw---- 1 root disk 8, 48 déc. 28 21:37 /dev/sdd
brw-rw---- 1 root disk 8, 64 déc. 28 21:37 /dev/sde

Il faut maintenant créer une partition physique sur ces disques et placer l’identificateur de ces partitions comme étant de type Linux RAID, ceci avec fdisk :

# fdisk /dev/sdd
Puis taper ces commandes pour un disque neuf :
n
p
1
<entrée>
<entrée>
t
fd
w

Faire de même pour le deuxième disque. Au final un fdisk -l devrait donner quelque chose comme ça :

Disque /dev/sdd: 500.1 Go, 500107862016 octets
255 heads, 63 sectors/track, 60801 cylinders
Units = cylindres of 16065 * 512 = 8225280 bytes
Disk identifier: 0x000b9726
Périphérique Amorce    Début         Fin      Blocs    Id  Système
/dev/sdd1               1       60801   488384001   fd  Linux raid autodetect
Disque /dev/sde: 500.1 Go, 500107862016 octets
255 heads, 63 sectors/track, 60801 cylinders
Units = cylindres of 16065 * 512 = 8225280 bytes
Disk identifier: 0x000b9726
Périphérique Amorce    Début         Fin      Blocs    Id  Système
/dev/sde1               1       60801   488384001   fd  Linux raid autodetect

Il est temps de combiner ces deux disques en une seule unité RAID 1, ceci par l’intermédiaire de la commande à tout faire mdadm :

# mdadm --create --verbose /dev/md0 --level=1 --raid-devices=2 /dev/sdd1 /dev/sde1

La syntaxe est assez explicite : création d’une pile RAID qui sera en md0, de niveau 1 utilisant les 2 disques préparés auparavent. Et voilà, le RAID 1 est crée! Petite vérification :

# mdadm --detail /dev/md0
/dev/md0:
Version : 0.90
Creation Time : Sun Dec 28 21:24:39 2008
Raid Level : raid1
Array Size : 488383936 (465.76 GiB 500.11 GB)
Used Dev Size : 488383936 (465.76 GiB 500.11 GB)
Raid Devices : 2
Total Devices : 2
Preferred Minor : 0
Persistence : Superblock is persistent
Update Time : Mon Dec 29 08:33:06 2008
State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0
UUID : d6b46a36:85a45c5f:5232c6b9:3d8a986e
Events : 0.8
Number   Major   Minor   RaidDevice State
0       8       49        0      active sync   /dev/sdd1
1       8       65        1      active sync   /dev/sde1

Si la ligne State rapporte bien clean, alors tout est en principe bon.

LVM sur le RAID

Le RAID fonctionne, il faut maintenant l’utiliser. Nous allons gérer md0 avec LVM, en commencant par créer un volume physique, ce qui va initilaiser md0 pour utiliser LVM :

# pvcreate /dev/md0

Ensuite, il faut créer le volume groupe, que j’appelle VGraid. La valeur par défaut du PE (Physical Extent) peut se révéler trop faible pour une grosse matrice RAID. Il est alors possible d’indiquer une taille de PE plus importante avec l’option -s. Leur nombre maximal est approximativement de 65000 et leur taille par défaut de 4Mo, partant delà, il faut prendre la taille du volume et de le diviser par 65000, puis de l’arrondir à l’entier significatif le plus grand le plus proche. Par exemple, pour un volume RAID de 500Go, grosso-modo 500000Mo cela donne : 500000 / 65000 = 7,69, soit 8Mo. Je vais le mettre à 32 pour être plus à l’aise.

# vgcreate -s 16M VGraid /dev/md0

Le VG est désormais crée, il faut maintenant le remplir avec un ou plusieurs volume(s) logique(s). Je vais en ajouter un seul – LVraid – qui prendra la taille du VG. Pour connaître cette taille en PE :

# vgdisplay VGraid
--- Volume group ---
VG Name               VGraid
System ID
Format                lvm2
Metadata Areas        1
Metadata Sequence No  2
VG Access             read/write
VG Status             resizable
MAX LV                0
Cur LV                1
Open LV               1
Max PV                0
Cur PV                1
Act PV                1
VG Size               465,75 GB
PE Size               32,00 MB
Total PE              14904
Alloc PE / Size       14904 / 465,75 GB
Free  PE / Size       0 / 0
VG UUID               D33fbC-w82v-I83g-TAgG-vZaA-8C52-1aVEfr

Et pour le créer :

# lvcreate -l 14904 VGraid -n LVraid

Ceci fait, /dev/VGraid/LVraid (également mappé sous /dev/mapper/VGraid-LVraid) peut être utilisé comme une partition « normale », donc on formate et on monte normalement :

# mkfs.ext3 /dev/VGraid/LVraid
# mkdir /mnt/raid
# mount /dev/VGraid/LVraid /mnt/raid

Notre filesystem est prêt à l’emploi et les données présentes dessus seront mirrorées. Pour connaître l’état de la pile RAID :

# cat /proc/mdstat
Personalities : [raid1]
md0 : active raid1 sdd1[0] sde1[1]
488383936 blocks [2/2] [UU]
unused devices: <none>

On voit qu’il est actif. [UU] désigne que les deux disques sont OK. En cas de problème sur un disque, cette info ressemblerait à [_U] ou [U_] suivant le disque défaillant.
Il est également possible de surveiller sa matrice et d’être avertit par email en cas de panne par cette commande :

# mdadm --monitor --mail=root@localhost --delay=1800 /dev/md0 &

A noter que --monitor peut même aller plus loin et lancer un programme ou un script au lieu d’un simple email.