BTRFS

Présentation du système de fichiers btrfs :

Le système de fichiers btrfs (B-tree File System) est un système de fichiers moderne et avancé développé conjointement par Oracle, Red Hat, Fujitsu, Intel, SUSE, STRATO AG. Il a été conçu pour répondre aux besoins des systèmes de stockage modernes, en offrant de nombreuses fonctionnalités intéressantes :

1. Copie sur écriture (Copy-on-Write) : Btrfs utilise la copie sur écriture, ce qui permet de créer rapidement des instantanés (snapshots) du système de fichiers sans consommer beaucoup d'espace disque.

2. Gestion du stockage : Btrfs permet de gérer facilement le stockage en utilisant des volumes logiques, des sous-volumes et des quotas. Cela facilite la gestion de l'espace disque.

3. Réplication et tolérance aux pannes : Btrfs prend en charge la réplication des données sur plusieurs disques, offrant ainsi une meilleure tolérance aux pannes.

4. Compression des données : Btrfs peut compresser les données en ligne, ce qui permet de réduire l'espace disque utilisé.

5. Déduplication : Btrfs peut détecter et supprimer les doublons de données, ce qui permet également de gagner de l'espace disque.

6. Équilibrage de charge : Btrfs peut automatiquement équilibrer la charge sur plusieurs disques pour optimiser les performances.

7. Vérification de l'intégrité des données : Btrfs peut vérifier l'intégrité des données et les corriger en cas d'erreurs.

Gestion BTRFS

Compression

Btrfs prend en charge la compression à la volée (transparent pour l'utilisateur), on renseigne la méthode et le niveau dans /etc/fstab.
Pour ma part, j'utilise l'algorithme qui a le meilleur compromis entre compression et performance.

Il suffit de rajouter cette option pour le montage :

compress=zstd:3

Dans cet exemple, j'utilise l'algorithme zstd et choisis le niveau 3, sachant que l'on peut aller de 1 à 15, niveau 1 très faible taux de compression, mais très grande rapidité, 15 énormes taux de compression, mais rapidité réduite.

On a donc la ligne dans le fichier fstab qui ressemble à ça :

UUID=aa78bd8c-d856-4059-b214-2be73e6d99aae /              btrfs   compress=zstd:3,subvol=/@,defaults 0 0

Documentation officielle.

Pour compresser les données déjà existantes, il faut lancer une défragmentation avec l'option de décompression :

sudo btrfs filesystem defragment -r -czstd /

L'option -r signifie que l'on va faire les sous-répertoires avec, l'option -c utilise la compression zstd est la méthode.

Pour vérifier la place gagnée, on peut utiliser la commande suivante :

sudo btrfs filesystem df /

Dans mon cas, voici le retour :

Data, single: total=339.01GiB, used=331.45GiB
System, DUP: total=8.00MiB, used=64.00KiB
Metadata, DUP: total=2.00GiB, used=1.22GiB
GlobalReserve, single: total=355.16MiB, used=0.00B

Sur la première ligne, on observe que j'ai 339 Go de données qui prend 331 Go sur le disque.

Lister les volumes

sudo btrfs subvolume list ./

Dans l'exemple, on liste des sous-volumes qui se trouvent dans /.

Créer/restaurer un instantané.

Avant de commencer, il faut que le système de fichier BTRFS soit monter (de préférence à la racine) pour pouvoir créer et restaurer correctement les instantanés.

Dans mon exemple, j'ai créé un dossier /btrfs.

sudo mkdir /btrfs

Ensuite, j'ai renseigné le point de montage dans mon fichier fstab, la ligne 10 dans l'exemple :

# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a device; this may
# be used with UUID= as a more robust way to name devices that works even if
# disks are added and removed. See fstab(5).
#
# <file system>             <mount point>  <type>  <options>  <dump>  <pass>
UUID=aa78bd8c-d856-4059-b214-2be73e6d99aae /              btrfs   compress=zstd:3,subvol=/@,defaults     0 0
UUID=aa78bd8c-d856-4059-b214-2be736d9e9aae /home          btrfs   compress=zstd:3,subvol=/@home,defaults 0 0
UUID=aa78bd8c-d856-4059-b214-2be736d9e9aae /btrfs         btrfs   defaults                               0 0
tmpfs                                      /tmp           tmpfs   defaults,noatime,mode=1777             0 0

Pour monter la partition.

sudo systemctl daemon-reload
sudo mount -a

Créer un instantané.

sudo btrfs subvolume snapshot /btrfs/@ /btrfs/@-$(date +%d-%m-%Y_%H-%M-%S)

Dans l'exemple, ont fait un instantané de la racine du système, la seconde partie est le chemin de l'instantané, à la fin, j'ai placé une variable pour l'horodater.

Restaurer un instantané.

Pour restaurer un instantané, il suffit d'utiliser la commande mv, le but de la manœuvre est d'intervertir le sous-volume de base avec l'instantané, puis on redémarre.

# Ont isole le sous-volume
sudo mv /btrfs/@ /btrfs/@_old
# ont déplace l'instantané en lieu et place du sous-volume
sudo mv /btrfs/@-05-02-2023_13-02-56 /btrfs/@
# ont redémarre l'ordinateur sur l'instantané
reboot

Démarrer sur un instantané sans restauration.

Il est possible de démarrer sur un instantané sans passer par une restauration.

Il faut avant tout connaitre le nom de l'instantané sur lequel ont désir démarré.

Dans ces manipulations, il se peut que la disposition clavier soit en QWERTY, voici un comparatif.

Il faut également modifier le fichier fstab et renseigner le subvolume souhaiter dans le subvolume lui-même, exemple pour @-05-02-2023_13-02-56 :

sudo nano /btrfs/@-05-02-2023_13-02-56/etc/fstab

Modifier la partie subvol=/@ en subvol=/@-05-02-2023_13-02-56 :

UUID=aa78bd8c-d856-4059-b214-2be73e6d99aae /              btrfs   compress=zstd:3,subvol=/@-05-02-2023_13-02-56,defaults 0 0

Systemd-boot.

Sur systemd-boot, au démarrage, restez appuyé sur la touche ECHAP du clavier.

Le menu systemd-boot apparait, laisser la ligne en surbrillance par défaut et appuyer sur la touche e pour accéder au mode édition.

Remplacer le @ par l'instantané souhaité.

Touche ENTRER pour démarrer sur l'instantané.

GRUB.

Sur GRUB, au démarrage, restez appuyé sur la touche SHIFT du clavier.

Le menu GRUB apparait, laisser la ligne en surbrillance par défaut et appuyer sur la touche e pour accéder au mode édition.
La ligne qui nous intéresse est celle commençant par linux.

Remplacer le @ par l'instantané souhaité.

Touche F10 pour démarrer sur l'instantané.

Maintenance.

Selon la documentation de Manjaro, le BTRFS n'a pas spécialement besoin de maintenance, il est conseiller de supprimer de temps à autre, de supprimer des instantanés non-utiliser pour libérer de l'espace.

Statistique

Voici une commande qui permet d'avoir des statistiques sur l'espace :

sudo btrfs filesystem usage -h /

Supprimer un instantané

La commande suivante permet de supprimer un instantané :

sudo btrfs subvolume delete /btrfs/@-05-02-2023_13-02-56

Informations sur un instantané

Pour obtenir des infos sur un instantané, il suffit de lancer la commande suivant en précisant bien le chemin vers celui-ci, dans l'exemple pour /btrfs/@.

sudo btrfs sub show /btrfs/@

Déduplication

La restauration de sauvegarde peut créer des fichiers en double dans le système de fichier, la commande suivante permet de supprimer les doublons :

sudo duperemove -drh --hashfile=/.duperemove.dat /

duperemove : C'est l'outil principal qui effectue la déduplication. Il identifie les fichiers en double et les remplace par des références à un seul fichier, économisant ainsi de l'espace disque.
-d : Cette option indique à duperemove de supprimer les fichiers en double qu'il trouve. Sans cette option, l'outil se contenterait d'identifier les fichiers en double sans les supprimer.
-r : Cette option signifie "récursif". Elle indique à duperemove de parcourir tous les sous-répertoires du répertoire spécifié (dans ce cas, /).
-h pour l'affichage humain des tailles
--hashfile=/.duperemove.dat : Cette option spécifie le chemin vers un fichier de hachage où duperemove stocke les informations sur les fichiers déjà traités. Cela permet à l'outil de ne pas avoir à recalculer les hachages des fichiers déjà analysés lors des exécutions ultérieures.
/ : C'est le répertoire cible pour l'analyse. Dans ce cas, il s'agit de la racine du système de fichiers, ce qui signifie que duperemove va analyser tous les fichiers et répertoires sur le système.

Scripts et configuration

Instantanés programmé

Sur Solus les mises à jour sont déployées le vendredi tard dans la nuit, je souhaite donc in instantané automatique chaque vendredi.

Voici le script que systemd va lancer tous les jours, le script contient une condition, c'est qu'on soit le 5ᵉ jour de la semaine.

Remplacer CHEMIN par le chemin voulu et enregistré à l'endroit voulu.

#!/bin/bash

# Vérifie si aujourd'hui est un vendredi (5)
if [ "$(date +%u)" -eq 5 ]; then
    # Placez ici les commandes que vous souhaitez exécuter
    btrfs subvolume snapshot /btrfs/@ /btrfs/@-$(date +%d-%m-%Y_%H-%M-%S)
    # Cette partie garde un historique du noyau utiliser lors de la création de cette instantanné
    echo "@-$(date +%d-%m-%Y_%H-%M-%S) kernel $(uname -a | awk '{print $3}')" >> /CHEMIN/index.txt
    chown 1000:1000 /CHEMIN/index.txt
    # Cette partie est spécifique à Solus, je récupère les entrées de systemd-boot
    clr-boot-manager mount-boot
    cp -r /boot/loader/entries /CHEMIN/entries-$(uname -a | awk '{print $3}')
    umount /boot
# Ajoutez d'autres commandes ici
else
    # Vous pouvez laisser cette ligne vide si vous ne voulez rien faire
    :
fi

Ensuite, il faut créer le service et le timer pour systemd.

Voici l'emplacement ou stocker les fichiers : /etc/systemd/system/ pour l'exemple, je vais les nommer btrfs_friday_snapshot

Pour le service, je crée dans le dossier /etc/systemd/system/ le fichier btrfs_friday_snapshot.service

[Unit]
Description=instantané BTRFS exécuté tous les vendredis

[Service]
Type=oneshot
ExecStart=/CHEMIN VERS DE SCRIPT/btrfs_friday_snapshot.sh

[Install]
WantedBy=multi-user.target

Pour le timer, je crée dans le dossier /etc/systemd/system/ le fichier btrfs_friday_snapshot.timer

[Unit]
Description=Timer pour exécuter un instantané BTRFS tous les vendredis

[Timer]
OnCalendar=daily
Persistent=true

[Install]
WantedBy=timers.target

Ensuite, on relance, active et démarre le service systemd.

sudo systemctl daemon-reload
sudo systemctl start btrfs_friday_snapshot.timer
sudo systemctl start btrfs_friday_snapshot.service
sudo systemctl enable btrfs_friday_snapshot.timer
sudo systemctl enable btrfs_friday_snapshot.service

On peut contrôler qu'il soit bien lancé avec la commande :

systemctl list-timers

RAID

Dans cette section, prenez en compte le fait qu'elle est écrite dans le sens ou vous avez déjà une bonne base du terminal et que vous connaissez les commandes lsblk, blkid, fdisk ... en rapport avec la gestion des disques.

Voici les différents RAID proposé par BTRFS (source) :

single: Une seule copie des informations. 100% de l’espace disque est utilisé. Le second disque ne sera utilisé que lorsque le premier est rempli. Le troisième que lorsque les deux premiers seront remplis.
dup: Chaque disque contient les données en double.
raid0: Une seule copie des informations. 100% de l’espace disque est utilisé. Tous les disques seront utilisés simultanément.
raid1: Copie en double. 50% de l’espace disque est utilisé. Un disque peut tomber en panne.
raid1c3: Copie en triple. 33% de l’espace disque est utilisé. Deux disques peuvent tomber en panne.
raid1c4: Copie en quadruple. 25% de l’espace disque est utilisé. Trois disques peuvent tomber en panne.
raid10: Mélange de RAID1 et RAID0.
raid5: Une copie et une copie de parité distribuée. Un disque peut tomber en panne. L’espace disque utilisable est 100x(N-1)/N %. N étant le nombre de disques. Ce mode n'est pas encore stable, donc pas conseillé.
raid6: Une copie et deux copies de parité distribuées. Deux disques peuvent tomber en panne. L’espace disque utilisable est 100x(N-2)/N %. N étant le nombre de disques.

Création

Nous allons d'abord créer le système de fichier BTRFS sur chaque disque qui fera partie du RAID.

Dans l'exemple, je souhaite faire un RAID1 avec deux disques dur SDB et SDC.

sudo mkfs.btrfs /dev/sdb /dev/sdb

Je vais maintenant monter mon premier disque dans le point de montage créé préalablement, /raid01 pour moi.

sudo mount /dev/sdb /raid01

Je rajoute désormais le deuxième disque à ce point de montage.

sudo btrfs device add /dev/sdc /raid01

À présent, on lance l'équilibrage et on indique le type de RAID.

sudo btrfs balance start -dconvert=raid1 -mconvert=raid1 /raid01

Vérification.

sudo btrfs filesystem show /raid01

Voici un résultat normal :

Label: none  uuid: 6f27cdf0-f9e8-4577-a1a8-541598274825
	Total devices 2 FS bytes used 8.00GiB
	devid    1 size 20.00GiB used 9.28GiB path /dev/vdb
	devid    2 size 20.00GiB used 9.28GiB path /dev/vdc

Un résultat avec problème sur /dev/vdc:

Label: none  uuid: 6f27cdf0-f9e8-4577-a1a8-541598274825
	Total devices 2 FS bytes used 8.00GiB
	devid    1 size 20.00GiB used 9.28GiB path /dev/vdb
	devid    3 size 0 used 0 path /dev/vdc MISSING

Remplacement d'un disque défectueux

La première étape est de changer physiquement le disque défectueux.

Une fois fait, il faut démonter le raid avec la commande umount, puis remonter en mode dégradé en lecture/écriture.

sudo moumount -o degraded,rw /raid01

Ajouter le disque dans le RAID, dans l'exemple le nouveau disque est sdd.

sudo btrfs device add /dev/sdd /raid01 -f

Puis, on retire le disque absent du RAID.

sudo btrfs device delete missing /raid01

Puis, on relance l'équilibrage des données.

sudo btrfs balance start -dusage=50 /raid01

Sauvegarde/restauration d'instantané

Le but est de pouvoir sauvegarder et restaurer un sous-volume à chaud, le principe est de créer un instantané en lecture seul et de l'envoyer dans un fichier.

Sauvegarde

Pour créer une sauvegarde, il faut d'abord créer un instantané en lecture seul :

sudo btrfs subvolume snapshot -r @ @-save

L'option -r permet de créer l'instantané en RO (lecture-seul), une autre solution pour un instantané déjà existant est :

sudo btrfs property set -f /btrfs/@-save ro true

Pour vérifier le status

btrfs property get -ts /btrfs/@-save

Avec la commande la fonction send, on peut exporter l'instantané dans un fichier :

sudo btrfs send @-save > /chemin/vers/la/destination/@-save.dump

Sauvegarde incrémentielle

Il est possible de faire une sauvegarde incrémentielle, c'est-à-dire qu'il met juste à jour les changement entre deux instantanés.

Dans l'exemple, j'ai créé par la suite un instantané @-save2 :

sudo btrfs send -p @-save @save2 > /chemin/vers/la/destination/@-save2.dump

Attention, @-save2.dump contient uniquement les changements depuis @-save.

Restauration

Voici la commande pour restaurer, /btrfs étant le point de montage global de la partition BTRFS :

cat /chemin/vers/la/destination/@-save.dump | sudo btrfs receive /btrfs

Variante pour le même résultat.

sudo btrfs receive -v /btrfs < /chemin/vers/la/destination/@-save.dump

L'option -v est là pour voir le détail (verbeux).

Mettre l'instantané en RW (Lecture-Écriture) :

sudo btrfs property set -f /btrfs/@-save ro false

Pour vérifier le status

btrfs property get -ts /btrfs/@-save

Restauration de fichiers incrémentiels ( ! pas encore tester ! )

Pour procéder à la restauration de fichiers incrémentiels, il faut d'abord restaurer le fichier qui contient la sauvegarde principale, puis les fichiers incrémentiels :

# Restauration du fichier principal
cat /chemin/vers/la/destination/@-save.dump | sudo btrfs receive /btrfs
# Restauration du fichier incrémentiel @-save2.dump
cat /chemin/vers/la/destination/@-save2.dump | sudo btrfs receive /btrfs

Sources :
https://www.deltasight.fr/remplacer-disque-raid1-btrfs/
https://debian-facile.org/doc:systeme:btrfs#raid-0-1-et-10
https://doc.ubuntu-fr.org/btrfs#le_raid_de_disques
https://docs.redhat.com/fr/documentation/red_hat_enterprise_linux/7/html/storage_administration_guide/btrfs-integrated_volume_management#btrfs-integrated_volume_management