Proč selhávají RAID pole: 8 nejčastějších scénářů
RAID mělo chránit vaše data. Mělo přežít selhání disku. Mělo být spolehlivé. A přesto selhalo.
Příčin selhání RAID je mnoho a ne všechny souvisí s disky. Studium statistik ukázalo překvapivý fakt: většina selhání RAID není způsobena vadným hardwarem, ale lidskou chybou.
V tomto článku rozebereme 8 nejčastějších scénářů a jak jim předejít.
1. Multiple Disk Failure
Co to znamená
Selhání více disků, než RAID konfigurace toleruje:
- RAID 5: 2+ selhané disky
- RAID 6: 3+ selhané disky
- RAID 10: oba disky jednoho mirror páru
Proč k tomu dochází
Disky ze stejné výrobní šarže: Pokud koupíte 8 disků najednou, pravděpodobně jsou ze stejné šarže. Mají podobné vlastnosti – včetně podobné životnosti. Pokud jeden selže po 4 letech, ostatní jsou pravděpodobně blízko.
Dominový efekt při rebuildu: Když jeden disk selže a spustíte rebuild, ostatní disky jsou pod extrémním zatížením. Rebuild čte 100% všech sektorů. U disků na hranici životnosti to může být poslední kapka.
Ignorovaný degraded status: Firma ignoruje varování "RAID Degraded" měsíce. Další disk selže a data jsou pryč.
Prevence
- Kupujte disky z různých šarží
- Proaktivně vyměňujte staré disky (4-5 let)
- Nikdy neignorujte degraded status
- Zvažte RAID 6 místo RAID 5 (toleruje 2 selhání)
Záchrana
S profesionálním vybavením lze často rekonstruovat i RAID s 2 vadnými disky. Úspěšnost závisí na rozsahu poškození.
2. Controller Failure
Co to znamená
RAID controller – hardware, který řídí pole – selže. Pole zmizí, jako by nikdy neexistovalo.
Příčiny
Elektrické poškození: Přepětí, zkrat, vadný zdroj mohou spálit controller.
Firmware bug: Software v controlleru může obsahovat chyby, které se projeví za specifických podmínek.
Hardware defekt: Kondenzátory, čipy, paměť – jakákoli komponenta controlleru může selhat.
Důsledky
Pole není rozpoznáno: I když jsou všechny disky v pořádku, bez controlleru je systém nevidí jako RAID.
Metadata v controlleru: Některé controllery ukládají kritické informace o konfiguraci pouze v controlleru, ne na discích.
Řešení
Výměna za kompatibilní controller: Stejný model, ideálně stejná revize firmware. Controller přečte metadata z disků a pole by mělo být opět dostupné.
Profesionální recovery: Pokud kompatibilní controller není k dispozici, lze pole rekonstruovat virtuálně pomocí specializovaných nástrojů.
Prevence
- UPS proti přepětí
- Dokumentujte model controlleru a firmware verzi
- Mějte náhradní controller připravený (pro kritické systémy)
3. URE při rebuildu
Co je URE
Unrecoverable Read Error – chyba čtení, kterou disk nedokáže opravit ani po opakovaných pokusech.
Proč se objevuje při rebuildu
Běžný provoz nečte všechny sektory. Některé soubory nebyly otevřeny roky. Rebuild ale musí přečíst každý sektor každého disku.
Sektory, které roky nikdo nečetl, mohou být degradované. Při rebuildu se to poprvé projeví.
Statistika
| Disk | URE rate | Pravděpodobnost při plném čtení |
|---|---|---|
| Consumer 4TB | 10^14 | ~10-20% |
| Consumer 12TB | 10^14 | ~50-90% |
| Enterprise 12TB | 10^15 | ~5-15% |
Důsledky pro RAID
RAID 5: Jeden URE při rebuildu = selhání rebuildu. Pole je neopravitelné standardním způsobem.
RAID 6: Toleruje jeden URE díky druhé paritě. Proto je RAID 6 bezpečnější pro velké disky.
Prevence
- Používejte RAID 6 pro velká pole a velké disky
- Enterprise disky mají lepší URE rate
- Pravidelné scrubby (kontrola integrity) odhalí URE včas
Podrobně o rizicích rebuildu →
4. Chybný rebuild po výměně disku
Co se stává
IT technik vidí "disk failed" a vymění disk. Jenže vymění špatný. Nebo vymění správný, ale inicializuje pole místo rebuildu.
Typické scénáře
Špatně označený vadný disk: Systém hlásí "Disk 3 failed". Technik vytáhne disk ze slotu 3. Jenže číslování slotů neodpovídá číslování v softwaru. Vytáhl zdravý disk.
Výměna více disků najednou: "Raději vyměním všechny staré disky." Jenže výměna více disků najednou může spustit inicializaci celého pole.
Initialize místo Rebuild: V management interface je vedle tlačítka "Rebuild" tlačítko "Initialize". Jedno obnoví data, druhé je smaže.
Důsledky
Ztráta dat, která mohla být zachráněna. Někdy kompletní, někdy částečná.
Prevence
- Před výměnou vyfotografujte stav
- Dvojitá kontrola čísla disku
- Nikdy neměňte více disků najednou
- Školení pro IT personál
- Dokumentace postupů
5. Power failure bez UPS
Co se stává
Elektrický proud vypadne uprostřed operace. Data v write cache se nenapíší. Metadata mohou být nekonzistentní.
Proč je to kritické
Write cache: RAID controller má write cache – dočasnou paměť, kam zapisuje data před uložením na disky. Při výpadku proudu se cache vymaže.
Metadata: RAID udržuje metadata o stavu pole, stripe mapování, stavu disků. Pokud se metadata neaktualizují atomicky, mohou být nekonzistentní.
Consumer vs Enterprise
Consumer controllery: Malý kondenzátor pro dokončení aktuálního zápisu. Nestačí na zapsání celé cache.
Enterprise controllery: BBU (Battery Backup Unit) nebo FBWC (Flash Backed Write Cache) – baterie nebo flash paměť, která udrží cache i při výpadku proudu.
Důsledky
- Ztracená data z cache
- Poškozená metadata
- Pole v "foreign" nebo "offline" stavu
Prevence
- UPS pro každý server s RAID
- BBU/FBWC na enterprise controlleru
- Pravidelný test UPS a baterie
6. Firmware bug v controlleru
Příklady z praxe
HP Smart Array bugs: Některé verze firmware HP Smart Array měly bugy, které mohly způsobit ztrátu dat za specifických podmínek.
Dell PERC issues: Problémy s BBU, false positive disk failures.
Specifické verze: Téměř každý výrobce má v historii verzi firmware, která způsobovala problémy.
Proč se to děje
RAID controller je komplexní systém. Software řídí:
- Čtení a zápis na mnoho disků
- Výpočet parity
- Cache management
- Hot spare failover
- Error handling
V takto komplexním kódu jsou chyby nevyhnutelné. Většina je odhalena během testování, ale některé projdou.
Edge cases
Bugy se často projevují za specifických podmínek:
- Plný disk + konkrétní typ zápisu
- Degraded rebuild + power failure
- Specifická kombinace disků
Prevence
- Sledujte release notes firmware updates
- Neaplikujte update hned po vydání (počkejte na feedback)
- Před updatem vždy zálohujte
- "Pokud to funguje, neměňte to" (ale mějte zálohu)
7. Human Error (Lidská chyba)
Statistika
Studie ukazují, že 40-60% selhání RAID je způsobeno lidskou chybou, ne hardwarem.
Časté chyby
Inicializace pole místo rebuildu: Tlačítka jsou vedle sebe. Jeden klik může smazat vše.
Špatná konfigurace: Vytvoření pole se špatným stripe size, špatným RAID typem, špatným pořadím disků.
Nesprávné pořadí disků: Po servisu jsou disky vloženy v jiném pořadí. Pole se nesestaví správně.
Formátování: "Myslel jsem, že formátuji ten druhý disk."
Odstranění "vadného" disku: "Svítilo to červeně, tak jsem ho vytáhl." Jenže to bylo warning, ne critical.
Urgentní kroky při degraded stavu →
Prevence
- Školení: Každý, kdo pracuje s RAID, musí rozumět základům
- Dokumentace: Písemné postupy pro běžné operace
- Kontrolní mechanismy: Než něco smaži, zeptám se kolegy
- Zálohy: Když udělám chybu, mám fallback
8. Aging – Simultánní selhání ze stáří
Co to znamená
Disky zakoupené ve stejnou dobu mají podobnou životnost. Pokud jsou provozovány ve stejných podmínkách, budou selhávat přibližně ve stejnou dobu.
"Bathtub curve"
Spolehlivost disků sleduje křivku ve tvaru vany:
- Vysoká úmrtnost na začátku: Vadné kusy selžou brzy
- Stabilní období: Spolehlivý provoz
- Rostoucí úmrtnost na konci: Opotřebení se projevuje
Disky ze stejné šarže vstoupí do poslední fáze přibližně současně.
Proč je to problém
U RAID 5 s 8 disky po 5 letech:
- 1 disk selže (očekávatelné)
- Spustíte rebuild
- Během rebuildu selže 2. disk (měl stejné stáří)
- Data ztracena
Prevence
Staggered replacement: Nevyměňujte všechny disky najednou. Postupná výměna znamená disky různého stáří.
Různé šarže: Při nákupu kupte disky od různých dodavatelů nebo v různých časech.
Proaktivní výměna: Po 4-5 letech zvažte preventivní výměnu, i když disky fungují.
SMART monitoring: Sledujte SMART hodnoty. Reallocated Sector Count a Current Pending Sector předpovídají selhání.
Co dělat při selhání RAID
1. STOP
Nepodnikejte ukvapené kroky. Většina škod vzniká po prvním selhání nevhodným zásahem.
2. Dokumentujte
- Screenshot stavu (pokud možné)
- Které LED svítí jakým způsobem
- Event logy
- Co předcházelo selhání
3. Nevyměňujte disky náhodně
Bez dokumentace a promyšleného plánu můžete situaci zhoršit.
4. Kontaktujte odborníka
Profesionální diagnostika zdarma. Zjistíme, co se stalo a jaké jsou možnosti.
FAQ
Lze předejít všem selháním RAID?
Ne. Ale lze minimalizovat riziko a být připraven na selhání. Zálohy jsou jediná skutečná ochrana.
Jak často selhávají RAID pole?
Záleží na mnoha faktorech. Kvalitní enterprise RAID s novými disky, správnou konfigurací a monitoringem může fungovat roky. Levné NAS s consumer disky a bez záloh je časovaná bomba.
Je lepší RAID nebo záloha?
Obojí. RAID chrání před selháním disku (okamžitý výpadek). Záloha chrání před vším ostatním (smazání, ransomware, požár, lidská chyba). Jedno nenahrazuje druhé.
Potřebujete pomoc?
Pokud vaše RAID pole selhalo, můžeme zjistit příčinu a možnosti záchrany. Diagnostika je zdarma.
Nonstop linka: 775 220 440
[Objednat diagnostiku →]