Technologies
DRBD : une réplication qui tient quand un serveur meurt
Audit, réglage, migration et exploitation DRBD par l'équipe dont le fondateur a maintenu les paquets Debian de 2004 à 2007. Bascules mesurées, pas supposées.
Un cluster DRBD a l’air sain pendant des années. Puis un nœud meurt la nuit, la bascule se bloque ou les deux copies divergent, et personne dans l’équipe ne l’a jamais fait pour de vrai. Des commandes disparaissent sans le moindre message d’erreur.
Nous exploitons DRBD en production pour nos clients depuis au moins 2012, sur plus de 80 projets clients. Notre fondateur, développeur Debian officiel, a maintenu ses paquets Debian de 2004 à 2007, les a fait entrer dans leur première version stable de Debian, puis les a transmis avec succès à un nouveau mainteneur. Nous avons vécu les pannes, puis nous avons planté des serveurs exprès pour les mesurer.
Ce que nous avons mesuré
Tests de crash sur des nœuds jetables de notre cluster de production, avec écritures MySQL, PostgreSQL et fichiers en cours, DRBD 8.4.11, réplication asynchrone :
| Scénario | Interruption | Données perdues | Corruption |
|---|---|---|---|
| Kernel panic, le serveur redémarre | 86 s | Aucune | Aucune |
| Kernel panic, le serveur reste arrêté, bascule forcée | 47 s | Aucune | Aucune |
| Lien de réplication coupé, split-brain, bascule forcée | Non mesurée | 55 lignes MySQL, 50 lignes PostgreSQL, 52 fichiers | Aucune |
Ce que nous en avons appris :
- Six kernel panics sous charge, zéro corruption. Le vrai risque est la perte silencieuse : lors d’un split-brain, des écritures que votre application croyait enregistrées disparaissent, et la base reste parfaitement saine.
- La réplication synchrone ne l’aurait pas empêché. En protocole C, les écritures ont continué pendant la coupure : 10 855 écritures acquittées perdues à la bascule forcée.
- Les tests sans perte tournaient à faible débit d’écriture. Une bascule sous forte écriture reste à tester, et nous le disons.
Pourquoi nous avons fait ces tests
En 2024, une panne réseau chez un hébergeur a provoqué une bascule et un split-brain sur la plateforme d’un client. MySQL ne tenait plus et nous avons restauré la sauvegarde du matin : une journée de commandes perdue. Alors nous avons monté un laboratoire pour le reproduire. La perte de données se reproduit désormais à chaque fois, et nos procédures ont changé.
Un traitement cinq fois plus rapide, sans lien plus rapide
Chez un éditeur de solutions de paiement, les traitements tournaient trois fois moins vite et la réplication décrochait des heures chaque jour. La solution évidente : un lien réseau plus gros. Nous avons remonté la chaîne : plus d’un téraoctet par jour de fichiers temporaires de base de données, répliqués pour rien. Nous les avons passés en RAM en une soirée. Les traitements sont passés de 5 minutes à 1, la réplication est restée active et l’extension du lien a été annulée.
Ce que nous faisons
- Audit de votre cluster DRBD : configuration réellement appliquée, bascule testée, écarts écrits noir sur blanc. La plupart des audits sont terminés en une semaine
- Réglage sous charge réelle : une réplication qui suit vos écritures sans les ralentir
- Migration de clusters DRBD et Pacemaker hors de systèmes en fin de vie. Nous migrons en ce moment un cluster MariaDB de CentOS vers Debian
- Diagnostic des blocages, resynchronisations bloquées et split-brains, puis post-mortem écrit en clair
- Exploitation complète de serveurs répliqués, 24/7, avec notre reprise d’activité infogérée
Les travaux ponctuels passent par une mission DevOps : cadrée et chiffrée avant de commencer.
Pour qui
Les CTO dont la plateforme repose sur DRBD et qui veulent une preuve plutôt qu’une supposition. Pas pour vous si vous cherchez un tutoriel ou l’hébergeur le moins cher.