"TATi-e" informatyka - szkolenia ECCC, komputery, sieci, eco4eco - w budowie

http://www.raid-calculator.com/

• http://forum.dug.net.pl/viewtopic.php?pid=141380

• Prezentacja RAID:

http://www.acnc.com/04_01_00.html

• http://www.w-files.pl/troche-podstaw-o-raid/

w uj?ciu praktycznym.

To s? wolne my?li, zebrane po ostatniej awarii u klienta. Pracowa?em z IBM xSystems 345 z ServeRAID6 ale informacje s? raczej uniwersalne.

1. pierwsza i najwa?niejsz? rzecz? przy pracy z b??dami macierzy jest backup. Trywializm, ale w chwilach awarii czasem nie my?li si? do ko?ca trze?wo - tutaj ma to o tyle drastyczne znaczenie, ?e niektórzy uwa?aj?, i? redundancja zwalnia ich z konieczno?ci trzymania backupu. W tym przypadq po pierwsze by?y backupy, po drugie oby?o si? bez nich, ale po pierwsze: jak strzeli kontroler, potrafi czasem zniszczy? struktury informacji na dyskach [lipek mo?e si? pochwali? takim przypadkiem, wcale nie tak dawno q:], po drugie - komunikaty i informacje wypisywane przez kontroler s? cz?sto bardzo mylne, lakoniczne czy wr?cz enigmatyczne - i wystarczy raz ?le nacisn?? nie ten guzik… i po danych. RAID to fajne za?o?enia, i du?e bezpiecze?stwo ale jak co? huknie, to trzeba pami?ta?, ?e pod spodem jest tylko sprz?t z prymitywnym, BIOSowym interfejsem.

2. drugim prozaicznym problemem jest ‘zawsze miej p?ytk? diagnostyczn?/startow? do serwera’. ?ci?gni?cie z netu CD startowej do danego modelu mo?e trwa? wieki. Szukanie takiej p?yty to równie? du?a strata czasu. Jest ona niezb?dna, poniewa? niektóre modele kontrolerów dysponuj? bardzo ograniczonymi mo?liwo?ciami z poziomu BIOS, dopiero soft z p?yty pozwala na realn? diagnostyk? i konfiguracj?. Tutaj bardzo “fajne” zachowanie p?yty do IBM, wykazuj?ce jak ci??kimi ideami kieruj? si? du?e korporacje - niektóre g?upoty microsoftu to piq? przy tym, co prezentuje IBM. Otó? zestresowany awari? admin odpala p?yt? i co widzi? ekran instalacji systemu operacyjnego. Trzeba wybra? konkretny system operacyjny i rozpocz?? ‘jakby instalacj?’. Dopiero potem jest opcja konfiguracji ServeRAID ale najbardziej rozwalaj?cy jest ekran z napisem ‘CLEAR ALL DISK DATA’ z opisem, i? to usunie wszystkie dane z dysków. Do wyboru guziki ‘next’ i ‘back’. I trzeba po prostu wiedzie?, ?e po klikni?ciu ‘next’ pojawia si? kolejny ekran z opisem ’skip this step’… ale to troch? tak jakby kogo? dla ?artu wyrzuci? z samolotu i w po?owie drogi powiedzie? mu ‘a tu masz spadochron’. Dodam jeszcze, ?e p?yta ma równie? opis ‘drivers’, ale kiedy sprawdzi si? p?yt? to stery s?, owszem, ale wymagaj? dyskietek [SIC!] bo nie ma opcji rozpakowania ich na dysk. Do tego s? to stery do instalacji a nie dla samego systemu - przynajmniej ten konkretny dla RAID. Masakra!!

3. struktury RAID to dyski fizyczne i logiczne. Dyski fizyczne przyjmuj? statusy ‘defunct’ oraz ‘ok’ [lub inne równoznaczne okre?lenie]. Wa?ne jest aby pami?ta?, i? ‘defunct’ nie jest wcale równoznaczny z ‘dysk jest uszkodzony i nie-do-u?ycia’. Oznacza to, i? zosta? wykryty b??d i dysk zosta? wy??czony z dzia?ania. Powinna by? dost?pna opcja ‘bring online’ i dopiero po w??czeniu przekonamy si? czy dzia?a, czy nie. Dyski logiczne z kolei przyjmuj? standardowo statusy ‘offline’, ‘online’ oraz ‘critical’. To ostatnie nie oznacza wcale, ?e macierz dzia?a? nie b?dzie - oznacza brak redundancji i informacj? w stylu ‘jak teraz co? si? spieprzy to jeste? w dupie’.

4. kolejn? ?mieszn? opcj? s? komunikaty wy?wietlane przez kontroler. W przypadq tego konkretnego, podczas w??czania dysków z defunct do online pojawia si? pi?kna informacja i? ‘je?li w??czysz ten dysk to utracisz wszystkie dane z macierzy! czy jeste? pewien?!’. No i oczywi?cie trzeba by? pewnym, poniewa? nie do??, ?e dane wcale nie gin?, to jest to jedyny sposób na przywrócenie poprawionej macierzy do dzia?ania. W ka?dym razie w tym przpadq wszytko zahula?o.

5. z tym defunctem to w tym przypadq w ogóle by?o nieciekawie, poniewa? oba dyski z RAID1 pokazywa?y i? s? nie-do-u?ycia. Zgaduj-zgadula i trzymanie kciuków, trafili?my za pierwszym razem. Wymiana jednego dysq, bring online [uwaga, utracisz dane!] i za chwil? wszystko dzia?a, system si? odpala, a drugi dysk jest w stanie ‘resyncing’. Znów trzeba po prostu wiedzie?

6. kolejnym ciekawym zachowaniem jest w?a?nie resync. Operacja ta trwa czasem nawet wiele godzin [dla dysq 36GB, ultrawide SCSI, to by?o ok 1h przy niewykorzystanym kompie]. Je?li w??czy si? t? operacj? mo?na tak siedzie? i gapi? si?… albo po prostu zrestartowa? kompa i pracowa?. I to znów sprawa, która dla osoby nie miaj?cej do czynienia z RAIDami mo?e kosztowa? d?ugie godziny. Resync po uruchomieniu wykonuje si? w tle, mo?na spokojnie restartowa? maszyn? - ca?y uk?ad b?dzie dzia?a? na dobrej cz??ci a w mi?dzyczasie resyncowa? na nowy dysk. Jest oczywi?cie niebezpiecze?stwo - je?li co? strzeli w trakcie to game over, wi?c je?li czas si? ma - warto poczeka?. Ale zazwyczaj czasu si? nie ma q:

7. podczas wykonywania resynca jednego dysq logicznego, nie mo?na wykona? ?adnych operacji macierzowych na pozosta?ych strukturach. W przypadq o którym pisz?, uszkodzone by?y dyski z dwóch struktur logicznych, wi?c trzeba by?o czeka? a? sko?czy si? resync pierwszego, ?eby naprawi? drugi.

8. RAIDy maj? t? niemi?? cech?, ?e je?li padnie jeden dysk, bardzo szybko lubi pa?? nast?pny. Dla tego tak d?ugo, jak tylko to jeszcze w ogóle dzia?a nale?y: od??czy? dost?p do dysq dla u?ytkowników [obni?y? obci??enie], zrobi? backup - i dopiero w nast?pnej kolejno?ci bawi? si? w zmiany dysków, resync itd. O ile to oczywi?cie mo?liwe - czasem system jest na tyle krytyczny, ?e nale?y podj?? ryzyko i zrobi? to w locie - teoretycznie to w?a?nie jest poprawne dzia?anie, ale przy powiedzmy macierzy z dyskami 2ooGB i pe?nym obci??eniu, resync mo?e trwa? kilka godzin - je?li co? si? w tym czasie stanie, a prawdopodobie?stwo jest zwi?kszone, poprzez mocniejsze doci??enie wszystkich dysków….

9. ostatnim bardzo cz?stym problem… b??dem… nie wiem jak to nazwa? - mo?e niedopatrzeniem - jest fakt, i? poniewa? po uszkodzeniu pojedynczego dysq w macierzy wszystko dzia?a prawid?owo - cz?sto jest to przeoczane przez adminów. Tu znów wymaga jest profilaktyka - powinno si? za?o?y? jakie? event-trapy lub inne mechanizmy, które szybko poinformuj? o takiej sytuacji. Bo inaczej mamy RAIDa, który z bardzo du?ym prawdopodobie?stwem wkrótce przestanie dzia?a?…

wszystkie powy?sze informacje nie s? ?adnym konkretnym guidem ani nie zawieraj? niby nic specjalnego, jednak podczas awarii - liczy si? ka?da chwila a je?li sytuacja jest stresowa… bywa ci??ko. Mam wi?c nadziej?, ?e te kilka trywializmów b?dzie przydatne dla ew. czytaj?cych, którzy si? z RAIDami nie zmagali - a niestety jest to praca toporna i ryzykowna, wi?c najlepsza pozostaje profilaktyka… i telefon do przyjaciela (;

Komentarze (6)

1. kojn napisa?:

   szok ?ycia

2. daro napisa?:

   “RAIDy maj? t? niemi?? cech?, ?e je?li padnie jeden dysk, bardzo szybko lubi pa?? nast?pny” To nie tylko cecha, to ich standardowe zachowanie :-) ilekro? co? si? wypieprza?o, to natymiast pada?y pozosta?e dyski, jakby tylko na to czeka?y… :-)
   Oczywi?cie to jest zwi?zane z faktem, ?e jak ju? mamy kase na serwer ze sprz?towym raidem, to akurat ma on co robi?, wiec userzy orz? taki “dysk” do upad?ego. Faktem jest, ?e fajnie jakby takie kontrolery zamiast mruga? lampkami, wysy?a?y sms’a albo co? - akurat tutaj to jest potrzebne. Wi?kszo?? firm M?P nie ma wyjebanych systemów do monitoringu, znaczy jest tzw interfejs bia?kowy - siedzi admin i patrzy w logi. Do serwerowni si? nie chodzi co godzine. Jak admin jest zajebisty, to patrzy w te logi raz dziennie, prawo Murpiego mówi, ?e taki raid pierdolnie zaraz po tym jak admin sprawdzi czy jest ok, no i mamy 24 godziny pracy pod pe?nym obci??eniem, jakbym by? takim dyskiem w RAID5 to sam by pierdoln??, tak jak kolega przed chwila, a co kurwa, sami b?dziemy robi?, ten leser tutaj sobie “offilne” zrobi?…
   Tak tak, ?ycie informatyka jest przejebane :-)
   Kupili?my teraz serwer z RAID6 to sie zobaczy jak to ?yje, Wiki ora? to w ka?d? stron? i jest zadowolony, a jego ci??ko zadowoli? :-). Ale jak zwykle wszystko wyjdzie w praktyce.

3. nExoR napisa?:

   @kojn: ?

4. kojn napisa?:

   ;) szok ?ycia, to takie standardowe powiedzenie mojego Pozna?skiego kolegi admina…. co do “Wi?kszo?? firm M?P nie ma wyjebanych systemów do monitoringu..” to jest teraz sporo darmówek do tego typu rzeczy a nie wiem czy nie jest w obecnie ka?dym pude?ku z macierz? sofcik do wywys?ania mejla o problemach. Problem wi?c oczywi?cie w czynniku ludzkim i zazwyczaj jest to lenistwo.
   Co do zaje?dznaia dysków, to te? g?ownie robi? to admini z lenistwa, ustawiajac codzienne pe?ne backupy, zamiast sensowniejszej polityki. Pozatym du?o si? s?yszy o padaj?cych dwóch dyskach na raz, bo jak pada jeden, to albo kto? to olewa i robi go znowu on-line albo poprostu o tym si? nie mówi. Zazwyczaj hot-spare za?atwia spraw?, ale o tym te? nie zawsze si? pami?ta.

   .. a pozatym po co tyle agresji )

5. kojn napisa?:

   i jeszcze jak sie juz nakreci?em … jak mo?na zar?n?? dysk.
   1. Zbyt cz?ste pe?ne backupy
   2. w??czona kompresja plików (np. odtwarcie 2GB zipa na kompresowanej partycji mieli po dysku kilkanascie minut … )
   3. Za malo ramu lub trzymanie pliku wymiany na obci??onej patrycji
   4. Nie robienie defragmentacji (plik exchnage w 3000 kaw??kach, pliki userów w setkach, widywa?em ma?e pliczki w setkach kawa?ków …. i nie dyskutujcie ze mna na temat defragmentacji bo na laptopach i serwerach to ma naprawde kluczowe znaczenie
   5. trzymanie ?mieci, backupowanie smieci i ogolnie ba?agan ;)
   pozatym …
   kupowanie najta?szych dysków … z ma?ym buforem itp. ogólnei s? modele lepsze i gorsze ale juz sie nei bede rozwodzi?
   7. konfiguracja programów anty vir … np skanowanie przez 300 osób dysków sieciowych w poszukiwaniu wirusów … rezultt 300 razy ten sam plik jest skanowany … to samo z programami inventory scan itp…
   8. Pierdzielone indeksery … copernicus itp…. ludzie nie wiedza co robia i podpinaja do indeksowania dyski sieciowe i katalogi publiczne … i milino katalogów mowi im ze nie maja dostepu lub co gorsza daja sie z indeksowac
   9.pewno by sie cos tu jeszcze znalazlo
   10. cholerawa wie … nieraz poprostu nie ma si? szcz?scia do dysków…

6. nExoR napisa?:

   @kojn: z ta agresja to chyba nie do mnie q: a co do lipka - to raczej tez nie agresja tylko taki lipkowy sposób wyra?ania emocji (;
   co do zaje?d?ania dysqw: my?l?, ?e co najmniej po?owa punktów nie tyczy si? macierzy serwerowej [coperniqsy, swap, 3oo osób etc].

   a tak w ogóle to zastanawia?em si? nad faktem, czy faktycznie spowodowane to jest zwi?kszonym obci??eniem. nie mia?em czasu [i zajawki] ?eby bada? RAID5 bez jednego dysq, ale jestem gotów si? za?o?y?, ?e obci??enie nie b?dzie wiele wi?ksze [je?li w ogóle] - bo przecie? dok?adnie tyle samo odczytów i zapisów na te dyski idzie! czemu wi?c padaj? po sobie? odpowied? jest prosta: poniewa? s? to dyski z tej samej serii, które schodz? z ta?my w odleg?o?ciach kilq seqnd, z tego samego sklepu i tak samo transportowane - nie dziwne, ?e ich ?ycie ko?czy si? równie? w podobnych odst?pach czasowych. Powinno si? do RAID qpowa? dyski z kilq ró?nych serii (:

Orygina?:

http://forum.pclab.pl/topic/519408-Poradnik-RAID-co-to-jest-i-jak-to-dzia%C5%82a/

Jaki RAID i co to w?a?ciwie jest ?

Dzi?ki upowszechnieniu technologi RAID poprzez wprowadzenie jej na szeroki rynek p?yt g?ównych, coraz wi?cej forumowiczów styka si? z t? technologi?. Coraz cz??ciej te? zadaj? oni pytania wiedz?c ?e gdzie? dzwoni, ale nie wiedz?c w którym ko?ciele. Spróbuj? nieco uchyli? r?bek tajemnicy, rozja?ni? te mroki...

RAID i JBOD - troszk? teorii i praktyki.

Oba systemy RAID i JBOD zosta?y stworzone w jednym celu. ??cz? one dyski twarde tak, ?e system (komputer) widzi je jako jeden. Dyski ??czymy w celu uzyskania wi?kszej wydajno?ci, wi?kszej pojemno?ci, zwi?kszenia bezpiecze?stwa danych lub kombinacji tych?e cech. Dzieje si? to za pomoc? odpowiedniego sprz?tu i oprogramowania. Sprz?tem jest zwykle kontroler, a oprogramowaniem sterownik, rozszerzenie BIOSu, program do zarz?dzania. Przy czym przewaga w procesie obs?ugi jednego albo drugiego powoduje ?e nazywamy je potocznie hard- lub soft-werowymi ale granica jest bardzo p?ynna jako ?e jedno bez drugiego dzia?a? nie mo?e. W dzisiejszych czasach w?a?ciwie wszystkie spotykane p?yty g?ówne oferuj? nam tryby pracy RAID dzi?ki wbudowanym funkcjom kontrolera. Tak?e w?a?ciwie wszystkie obecnie dost?pne systemy operacyjne oferuj? nam typowo programowe tryby RAID z wykorzystaniem zainstalowanego sprz?tu. Oto krótka charakterystyka trybów i spotykanych systemów na popularnych kontrolerach dla dwóch dysków (je?li wymagane to trzech):

RAID czyli macierz dyskowa (Redundant Array of Independent Disks - Nadmiarowa Macierz Niezale?nych Dysków), zdefiniowany standard posiadaj?cy 7 ró?nych poziomów, w naszych tanich kontrolerach najcz??ciej spotykamy poziomy 0,1 i czasami 5.

RAID 0: minimum 2 dyski, rozmiar = 2 * dysk, pr?dko?? = ~ 2 * dysk, bezpiecze?stwo = ~ 2 * mniejsze
Zwany czasem trybem pasków (stripes) jako ?e dane na dyskach zapisywane s? w blokach z przeplotem na dyski zwanych z angielskiego paskami. Dla dwóch identycznych dysków dzi?ki temu poziomowi uzyskujemy dwa razy wi?ksz? pojemno?? i w przybli?eniu dwa razy wi?ksz? pr?dko?? odczytu i zapisu, kosztem jest bezpiecze?stwo. Kiedy ??czymy ró?ne dyski uzyskana pojemno?? jest dwa razy wi?ksza od najmniejszego, a pr?dko?? dwa razy wi?ksza od najwolniejszego.

Oto porównanie wydajno?ci pojedynczego dysku WD 500GB i dwóch takich dysków w RAID 0 odpowiednio dla odczytu i zapisu:





W czasie definiowania tego poziomu mo?emy si? natkn?? na parametr Stripe size, to w?a?nie rozmiar paska-bloku danych, najcz?stsze rozmiary to 32, 64, 128KB. Proponuj? zostawi? domy?lny jako ?e ten parametr w znacz?cy sposób zale?y od kontrolera i wp?ywa na jego wydajno??.

Niestety, nie ma ró?y bez kolców, najwi?kszym minusem jest drastyczny spadek bezpiecze?stwa. Poniewa? wszystkie dane s? poszatkowane na dyskach w macierzy jak kartka papieru w niszczarce wystarczy ?e jeden z dysków zawiedzie i dane s? nie do odzyskania. Prawdopodobie?stwo uszkodzenia pojedynczego dysku w okresie pierwszych trzech lat jego u?ywania wynosi ~3%. Szansa na uszkodzenie dwu dyskowej macierzy wynosi wi?c dwa razy wi?cej czyli ~6%. Przy u?ywaniu takich macierzy nale?y ekstremalnie cz?sto wykonywa? kopi? bezpiecze?stwa lub pogodzi? si? z my?l? o utracie danych.

RAID 1: 2 dyski, rozmiar = dysk, pr?dko?? = ~ dysk, bezpiecze?stwo = ~ 300 * wi?ksze
Zwany tak?e lustrem (mirror) jako ?e jeden dysk jest lustrzanym odbiciem drugiego, dane zapisywane s? równolegle na oba dyski. Dzi?ki temu poziomowi uzyskujemy bezpiecze?stwo danych kosztem pojemno?ci. Tym razem wielko?? macierzy jest równa najmniejszemu dyskowi, a pr?dko?? przy odczycie zwykle jest wi?ksza, przy zapisie mniejsza ni? najwolniejszego dysku. I znów porównanie wydajno?ci:





Prawdopodobie?stwo uszkodzenia macierzy i utrat? danych wynosi (3%)^2 = 0,09% ! Bezpiecze?stwo bardzo du?e, ale koszt macierzy to podwojony koszt dysku !

RAID 5: minimum 3 dyski, rozmiar = 2 * dysk, pr?dko?? odczyt = ~ 2 * dysk, pr?dko?? zapis = ~ 2 ~5 * dysk, bezpiecze?stwo = ~ 300 * wi?ksze
Ten poziom RAID to prawie z?oty ?rodek. Oferuje bardzo dobre bezpiecze?stwo danych dzi?ki zapisywaniu danych nadmiarowych, bardzo dobry transfer przy odczycie dzi?ki paskom, wady to bardzo s?aby transfer przy zapisie i wymagana ilo?? trzech dysków. Transfery:




Podobnie jak w przypadku RAID 0 musimy ustawi? parametr Stripe size.
Prawdopodobie?stwo utraty danych wynosi podobnie jak w RAID 1 oko?o 0,09% jako ?e dwa dyski w tym samym czasie musz? ulec uszkodzeniu. Znacz?c? wad? jest spadek wydajno?ci przy zapisie (szczególnie dla kontrolerów zintegrowanych) i potrzeba posiadania trzeciego dysku. To ?e potrzebujemy tylko jeden ekstra dysk, a nast?pne zwi?kszaj? bezpo?rednio ilo?? wolnej przestrzeni macierzy jest ma?? pociech? dla u?ytkownika domowego komputera.

JBOD: minimum 2 dyski, rozmiar = suma pojemno?ci, pr?dko?? to ?rednia z dysków
Czyli Jakie? Po??czone Dyski (Just a Bunch of Disks), nie jest to system tak rozbudowany jak RAID i bardzo cz?sto zaliczany do jednego z poziomów RAID cho? tak nie jest. Dla nas to prosty system ??czenia dysków w sposób liniowy, tak ?e na ko?cu jednego znajduje si? drugi. Dzi?ki temu mo?emy np. powi?kszy? macierz JBOD o nowy dysk i rozszerzy? na? partycj?. Nie daje ?adnego przyspieszenia, a w przypadku awarii jednego dysku, macierz przestaje dzia?a?. Dane z dysku dzia?aj?cego mo?na odratowa? za pomoc? popularnych programów. To czy dane pliki znajduj? si? na tym dzia?aj?cym dysku to ju? kwestia szcz??cia. A wi?c prawdopodobie?stwo uszkodzenia macierzy jest takie samo jak w RAID 0 = 6%. Porównanie pr?dko?ci:




Z czym to je??, jak to zrobi? ?
Aby uaktywni? tryby RAID nale?y wej?? do BIOSu naszego komputera i uaktywni? t? opcj? dla kontrolera dysków.
Przyk?adowe BIOSy z t? opcj?:




Nast?pnie nale?y wej?? do BIOSu kontrolera i zdefiniowa? RAID. Dzieje si? to podobnie jak partycjonowanie zwyk?ego dysku. Zamiast partycji mamy woluminy (volumes) - zwykle mo?emy ustawi? jeden wolumin na jednym dysku. Ustawiamy odpowiednie obszary dysków i ??czymy je w RAID. Je?eli kontroler umo?liwia utworzenie kliku woluminów na jednym dysku nale?y wystrzega? si? bezsensownych konfiguracji jak utworzenie JBOD albo jakiegokolwiek RAIDu z kilku woluminów tego samego dysku... Kilka zdj??:



Nast?pnie restartujemy komputer i kontroler RAID powinien wykry? macierz RAID. Pierwszym znakiem rozpoznawczym jest znikni?cie dysków ze g?ównego ekranu informacyjnego BIOSu komputera. Drugim ekran informacyjny kontrolera RAID:



Przy konfiguracji macierzy nale?y pami?ta? ?e jakikolwiek operacje na dyskach z poziomu BIOSu kontrolera RAID prowadz? zwykle do ca?kowitej utraty zawartych na nich danych...
Je?eli macierz ma by? dyskiem systemowym nale?y przygotowa? odpowiednie sterowniki, na szcz??cie Windows Vista i 7 wi?kszo?? maj? ju? wbudowane, ale XP niestety nie. Aby system post?pujemy dok?adnie jak z problematycznym kontrolerem SATA, poradnik: http://forum.pclab.p...hp?t508509.html

A co to RAID 10 i 15.
To tak zwane tryby zagnie?d?one. Skoro system widzi dwa dyski w RAID 0 jako jeden, a nast?pne dwa w RAID 0 jako drugi. To po??czmy dyski jeden i dwa w RAID 1 czyli lustro. Czy b?dziemy mieli szybko?? RAID 0 i bezpiecze?stwo RAID 1. Tak. Genialnie proste. St?d te? mamy tryby jak 01 i 10 które s? ró?ne. Tylko niektóre tanie kontrolery umo?liwiaj? konfiguracj? macierzy zagnie?d?onych.

Dysk pad?, co teraz ?
RAID 1 i 5 oferuj? mo?liwo?? odbudowy po zainstalowaniu nieuszkodzonego dysku w miejsce zepsutego. Dysk zast?puj?cy musi by? takiej samej wielko?ci albo wi?kszy ni? u?ywany wcze?niej. Zwykle macierz odbudowuje si? automatycznie po zaznaczeniu w BIOSie kontrolera nowego dysku jako spare, czyli zapasowy. Procedura ta jest niestety inna dla ka?dego kontrolera.

Z tak? dawk? informacji, my?l?, b?dziecie ju? mogli dokona? wyboru i samodzielnie skonfigurowa? w?asny RAID.
A je?li chcecie wiedzie? wi?cej, zapraszam do dalszej lektury.

Troch? wi?cej teorii:

JBOD:
W?a?ciwie nie ma tu nic wi?cej istotnego do dodania. Schemat rozlokowania przedstawia rysunek.




Zaznaczy?em na nim schemat roz?o?enia systemu FAT32 i NTFS z najistotniejszymi dla tych systemów strukturami danych, czyli tablicami FAT (File Allocation Table) oraz MFT (Master File Table) dla NTFSu. Wida? z niego ?e dla obu tych systemów uszkodzenie innego dysku w macierzy powoduje utrat? danych ca?ej macierzy, a nie tylko zawartych na tym konkretnym dysku. Oczywi?cie macierz przestaje pracowa? tak czy owak, a odzyska? dane mog? tylko zaawansowani u?ytkownicy/serwisy, w zale?no?ci od rodzaju uszkodzenia. Prawdopodobie?stwo dzia?ania macierzy sk?adaj?cej si? z n dysków opisuje wi?c wzór (wszystkie dyski musz? dzia?a?):

P' = (1 - B) ^ n gdzie B to % okre?lenie szansy na uszkodzenie dysku, z informacji dost?pnych w internecie przyj??em warto?? 3% (prawdopodobie?stwo uszkodzenia dysku w pierwszych trzech latach jego u?ytkowania, po tym okresie prawdopodobie?stwo wzrasta).

Prawdopodobie?stwo utraty danych (czyli prawdopodobie?stwo uszkodzenia przynajmniej jednego dysku):
P = 1 - P' , dla 2 dysków w macierzy otrzymujemy warto?? 5,91%, dla trzech 8,73%, a dla czterech 11,47%.

Rozmiar macierzy jest sum? rozmiarów wszystkich dysków.
R = dysk1 + dysk2 + ... + dyskn

Transfer (oraz ?redni czas dost?pu) jest ?redni? wa?on? wszystkich warto?ci transferu, gdzie wag? jest pojemno?? dysków.
T = (p1t1 + p2t2 + ... + pntn) / (p1 + p2 + ... + pn), gdzie T to transfer macierzy, t - pojedynczych dysków, p natomiast to ich pojemno??.


RAID:
Opisany pierwszy raz w Berkeley jako Redundant Array of Inexpensive Disks czyli Nadmiarowa Macierz Niedrogich Dysków, która to mia?a zast?pi?, popularne wtedy, dyski SLED - Single Large Expensive Disk - Pojedyncze Du?e Drogie Dyski. Chodzi?o o to aby za pomoc? kilku ma?ych dysków zast?pi? jeden du?y, zwi?kszone prawdopodobie?stwo awarii (zwi?kszone poprzez u?ycie wi?kszej ilo?ci elementów) zneutralizowano za pomoc? zapisywania danych nadmiarowych które umo?liwiaj? ich odbudow? w przypadku awarii. Zdefiniowano 5 trybów pracy RAID zwanych poziomami (levels) (od 1 do 5). Pó?niej, kiedy Du?e Dyski odesz?y w niepami??, zmieniono nazw? systemu na Redundant Array of Independent Disks czyli Nadmiarowa Macierz Niezale?nych Dysków i dodano dwa poziomy, 0 i 6. Wszystkie inne jednocyfrowe poziomy RAID jak 7, 6E, czy 5EE s? firmowymi rozszerzeniami lub modyfikacjami oryginalnych 7 poziomów RAID i nie nale?? do standardów. A oto krótka przechadzka po drabince poziomów RAID:

RAID 0 - STRIPES, czyli ZERO RAIDu.
Ten poziom specjalnie dosta? numer zero poniewa? zapisuje zero danych nadmiarowych! Oferuje on bardzo szybkie transfery danych zwi?kszaj?ce si? z ka?dym dodanym dyskiem, ale bezpiecze?stwo danych proporcjonalnie maleje. Nadaje si? do zastosowania w systemach gdzie dane s? warto?ci? drugorz?dn?, a najwa?niejsz? spraw? jest transfer. Np. w serwerach Proxy, gdzie dane nie musz? by? nawet odbudowywane, a najwa?niejsza jest pr?dko??. Bardzo cz?sto u?ywany w domowych komputerach, gdzie dane nie s? najwa?niejsze, np. komputerach do gier.
Dane na dyskach zapisywane s? w paskach (stripe) o ustalonej wcze?niej wielko?ci na zasadzie przeplotu. Sposób zapisywania danych przedstawia rysunek.



Dzi?ki takiemu sposobowi uporz?dkowania, odczyt i zapis mo?e dokonywa? si? równolegle dla n dysków w macierzy, teoretycznie zwi?kszaj?c transfer danych nawet do n razy. Praktycznie najwi?kszy wzrost pr?dko?ci obserwujemy przy dwóch dyskach wzgl?dem jednego, nast?pnie te wielko?ci si? zwi?kszaj? ale nie o pe?n? wielokrotno?? - nale?y pami?ta? ?e wszystko zale?y od u?ytego kontrolera, sterownika, systemu plików itd. Niestety ten typ macierzy ma te? i wady, poniewa? kontroler nie zapisuje na dyskach ?adnych danych nadmiarowych jakakolwiek korekta b??dów nie jest mo?liwa. Uszkodzenie jednego dysku powoduje uszkodzenie ca?ej macierzy i utrat? danych. Odzyskiwanie danych jest dodatkowo utrudnione poprzez zapis danych w paskach na wszystkich dyskach macierzy.

Prawdopodobie?stwo utraty danych jest wi?c identyczne jak w systemie JBOD, zak?adamy prawdopodobie?stwo uszkodzenia jednego dysku jako B = 3%:
P = 1 - (1 - B) ^ n , dla 2 dysków w macierzy otrzymujemy warto?? 5,91%, dla trzech 8,73%, a dla czterech 11,47%

Rozmiar macierzy jest iloczynem ilo?ci dysków i rozmiaru najmniejszego z nich.
R = n * min(dysk1 , dysk2 , ... , dyskn)

Warto?? transferu teoretycznie jest sum? transferów dysków w macierzy:
T = t1 + t2 + .. + tn, a czas dost?pu ?redni? z n dysków.

RAID 1 - MIRROR, czyli lustro.
W odpowiedzi na najwi?ksz? bol?czk? RAID 0, czyli bezpiecze?stwo danych, wymy?lono RAID 1, czyli mirroring. Kontroler po prostu zapisuje dwie kopie danych odpowiednio na dwóch dyskach macierzy. Gdy jeden dysk ulegnie uszkodzeniu, macierz ca?y czas dzia?a korzystaj?c z jednego (taki tryb pracy nazywamy zredukowanym). Kiedy wymienimy uszkodzony dysk, macierz si? odbuduje i ponownie zapewnia pe?n? funkcjonalno??. Takie macierze stosujemy w kluczowych dla dzia?ania systemu punktach, np. partycje systemowe serwerów bardzo cz?sto wykorzystuj? ten rodzaj RAIDu. Jest te? on cz?sto wykorzystywany w macierzach zagnie?d?onych razem z RAID 1 ??cz?c zalety obu tych poziomów.



Kosztem zwi?kszonego bezpiecze?stwa jest zmniejszona pojemno?? macierzy. Z dwóch dysków uzyskujemy pojemno?? tylko jednego. Pr?dko?? odczytu i zapisu jest porównywalna do jednego dysku. Mimo ?e kontroler musi zapisywa? wszystkie dane dwa razy, mo?e to robi? równolegle, przy odczycie natomiast niektóre kontrolery zachowuj? si? jakby dane zapisane by?y w paskach (znanych z RAID 0) i oci?gaj? teoretyczne dwukrotne przyspieszenie.

Prawdopodobie?stwo uszkodzenia dysku w macierzy jest takie samo jak dla dwu dyskowych macierzy RAID 0:
P = 1 - (1 - B) ^ 2 = 5,91% ale macierz nie zostaje w tym monecie uszkodzona, i mo?e pracowa? dalej!
Przy poprawnej obs?udze macierzy (natychmiastowej wymianie uszkodzonego dysku i braku awarii w czasie odbudowy) aby macierz zosta?a uszkodzona musz? ulec zniszczeniu oba dyski w tym samym czasie! A wi?c prawdopodobie?stwo utraty danych z macierzy:
P= B ^ 2 = 0,09% a wi?c jest ponad 300 razy mniejsze ni? pojedynczego dysku.

Rozmiar macierzy równy jest rozmiarowi mniejszego dysku:
R = min(dysk1, dysk2)

Warto?? transferu (czas dost?pu) teoretycznie równy jest wolniejszemu dyskowi:
T = min(dysk1, dysk2)

RAID 2, czyli kod Hamminga,
W odpowiedzi na bardzo du?y koszt nadmiarowych danych oraz brak mo?liwo?ci po??czenia wi?cej ni? dwóch dysków w RAID 1 opracowano RAID 2. Zak?ada si? ?e dyski pracuj? z t? sam? pr?dko?ci? obrotow?, w starszych systemach odnosi?o si? to do dysków po??czonych na sztywno. Zapis i odczyt odbywa si? równolegle do i z wszystkich dysków jako ?e dane dzielone s? na bardzo ma?e paski, zwykle wielko?ci bajtów lub s?ów. Na dysk z danymi nadmiarowymi zapisywany jest zwykle kod Hamminga pozwalaj?cy korygowa? b??dy jedno bitowe (podobnie jak kod parzysto?ci o czym pó?niej) jak i wykrywa? dwu bitowe. Dzi?ki zastosowaniu kodu Hamminga zredukowano liczb? nadmiarowych danych lecz nadal jest ona du?a, jest proporcjonalna do logarytmu liczby dysków z danymi. Macierze RAID 2 spotyka si? bardzo rzadko, najcz??ciej w o?rodkach naukowych jako obiekty bada?. Podstawow? zalet? tego trybu, w za?o?eniu, mia?o by? zredukowanie liczby nadmiarowych danych oraz korekta b??dów. Jednak?e komplikacje przy implementowaniu kodu Hamminga w porównaniu z bitem parzysto?ci spowodowa?y brak popularno?ci tego rozwi?zania. Jedyna zaleta, rozpoznawanie b??dów dwu bitowych, zosta?a zniwelowana przez wprowadzony pó?niej tryb RAID 6 który z powodzeniem wykrywa i koryguje takie b??dy mniejszym kosztem.



I znów prawdopodobie?stwo uszkodzenia jednego dysku w macierzy wynosi:
P = 1 - (1 - B) ^ n , dla trzech dysków w macierzy otrzymujemy warto?? 8,73%, a dla czterech 11,47%, ale macierz uszkodzimy awari? dwóch dysków jednocze?nie:
P= B ^ 2 = 0,09%

Rozmiar macierzy zale?y od zastosowanego rodzaju kodu, podobnie jak transfery i czas dost?pu.


RAID 3, parzysto?? na poziomie bitów:
Nast?pnym krokiem by?a rezygnacja ze skomplikowanego kodu Hamminga i wprowadzenie prostego kodu parzysto?ci obliczanego za pomoc? funkcji eXclusive OR czyli XOR. Dzi?ki temu bez wzgl?du na liczb? dysków z danymi zawsze wystarczy jeden dysk z danymi nadmiarowymi.
Niech B(2) b?dzie kodem parzysto?ci dla dysków B(0) i B(1). Uzyskujemy go wykonuj?c dzia?anie:
B(2) = B(0) xor B(1), dla n dysków b?dzie to:
B(n) = B(0) xor B(1) xor ... xor B(n-1).

W tym trybie paski ci?gle s? bardzo ma?e, na poziomie bitów, bajtów lub s?ów. Dzi?ki temu uzyskujemy bardzo wysokie transfery rz?du wielokrotno?ci transferów jednego dysku dla odczytów i zapisów. Jednak?e dost?p równoleg?y do macierzy jest nie mo?liwy, poniewa? wszystkie dyski bior? udzia? w ka?dej operacji odczytu lub zapisu. RAID 3 cz?sto implementowany jest w macierzach zagnie?d?onych, a tak?e w pami?ciach ECC RAM.



W przypadku uszkodzenia jednego dysku, np. dysku nr 1, jego dane s? odtwarzane za pomoc? funkcji:
dodaj?c xor B(2) xor B(1) do równania B(2) = B(0) xor B(1)
otrzymujemy B(1) = B(0) xor B(2).
Tak wi?c zawarto?? jednego paska mo?e zosta? odzyskana z pozosta?ych. Ta zasada b?dzie obowi?zywa? dla pozosta?ych poziomów RAID.

Podobnie jak poprzednio prawdopodobie?stwo uszkodzenia jednego dysku wynosi:
P = 1 - (1 - B) ^ n , dla trzech dysków w macierzy otrzymujemy warto?? 8,73%, a dla czterech 11,47%, ale macierz uszkodzimy awari? dwóch dysków jednocze?nie:
P= B ^ 2 = 0,09%

Rozmiar macierzy to iloczyn liczby dysków pomniejszony o jeden i rozmiaru najmniejszego z nich.
R = (n - 1) * min(disk1, disk2, ... ,diskn)

Warto?? transferu teoretycznie jest sum? transferów dysków w macierzy:
T = t1 + t2 + .. + tn, a czas dost?pu równy najwolniejszemu z dysków.

Podstawowymi wadami RAID 3 to brak asynchronicznej pracy macierzy, skomplikowane kontrolery i okre?lona ilo?? dysków w macierzy jak 5, 9, 17. Liczby te mog? by? ró?ne w zale?no?ci od danego wdro?enia.

RAID 4, parzysto?? na poziomie pasków:
Wady poziomu 3 eliminuje nast?pny RAID. Czwórka rozszczepia dane na poziomie pasków o du?ej wielko?ci (znanych ju? z RAID 0), a dane nadmiarowe, obliczane za pomoc? kodu parzysto?ci, zapisywane s? na dysku danych nadmiarowych. Uzyskujemy dzi?ki temu bardzo szybki transfer danych, oraz bardzo dobry dost?p równoleg?y dzi?ki asynchronicznej pracy macierzy. Dzi?ki temu ?e dane zapisane s? w stosunkowo du?ych blokach danych macierz mo?e si? lepiej dostosowa?. Wad? jest bardzo spowolniony zapis. Dla ka?dej operacji zapisu macierz fizycznie musi wykona? minimum jedna operacja odczytu i dwie zapisu:

Niech B(2) b?dzie kodem parzysto?ci dla dwóch dysków B(0) i B(1), a wi?c:
B(2) = B(0) xor B(1) bo aktualizacji danych B(0) przechodzi w B'(0), a wi?c nowy kod
B'(2) = B'(0) xor B(1)

Ale ju? dla czterech dysków plus dysk nadmiarowy B(4) by?o by to:
B'(4) = B'(0) xor B(1) xor B(2) xor B(3) czyli trzy operacje odczytu B plus dwie zapisu B', dla n dysków jest to (n-2) operacji odczytów i dwie zapisu. To niesamowicie wyd?u?a proces zapisu, mimo stosowania optymalizacji:

B'(4) = B'(0) xor B(1) xor B(2) xor B(3) czyli
B'(4) = B'(0) xor B(1) xor B(2) xor B(3) xor B(0) xor B(0) jako ?e xor B(0) xor B(0) daje zero,
B'(4) = B(0) xor B(1) xor B(2) xor B(3) xor B'(0) xor B(0) zamieniaj?c miejscami B'(0) z B(0), a podstawiaj?c pierwsze równanie do naszego uzyskujemy:
B'(4) = B(4) xor B'(0) xor B(0)

Optymalizacja ta skraca ilo?? odczytów z (n-2) do dwóch ale zapis ci?gle jest bardzo d?ugi, mimo mo?liwo?ci równoleg?ego odczytu z dwóch dysków i zapisu na dwóch dyskach. Problem ten nie wyst?powa? w RAID 3 poniewa? wszystkie warto?ci pasków dla których obliczamy sum? kontroln? s? zawsze znane jako ?e RAID 3 operuje on na bitach, bajtach lub s?owach które s? najmniejszymi jednostkami zapisywanymi na urz?dzeniach blokowych takich jak dyski.
Drug? powa?n? wad? RAID 4 jest w?skie gard?o dysku z danymi nadmiarowymi, otó? ka?dy zapis na macierzy skutkuje zapisem na tym dysku.



W przypadku uszkodzenia jednego dysku, jego dane s? odtwarzane za pomoc? kodu parzysto?ci jak w przypadku RAID 3.

Prawdopodobie?stwo uszkodzenia jednego dysku w macierzy wynosi:
P = 1 - (1 - B) ^ n , dla trzech dysków w macierzy otrzymujemy warto?? 8,73%, a dla czterech 11,47%, ale macierz uszkodzimy awari? dwóch dysków jednocze?nie:
P= B ^ 2 = 0,09%

Rozmiar macierzy to iloczyn ilo?ci dysków pomniejszony o jeden i rozmiaru najmniejszego z nich.
R = (n - 1) * min(disk1, disk2, ... ,diskn)

Warto?? transferu odczytu teoretycznie jest sum? transferów dysków w macierzy z wy??czeniem dysku nadmiarowego:
T = t1 + t2 + .. + tn-1, a czas dost?pu równy ?redniej dysków z danymi.

Transfer dla zapisu b?dzie du?o mniejszy, zale?nie od implementacji algorytmu ale mo?e by? nawet 10 krotnie mniejszy ni? odczyt.

RAID 5, parzysto?? rozproszona na poziomie pasków,
RAID 5 rozwi?zuje problem poprzednika z dyskiem danych nadmiarowych jako w?skim gard?em macierzy. A mianowicie kontroler zapisuje dane nadmiarowe rotacyjnie na wszystkich dyskach. Dysk danych nadmiarowych zostaje zlikwidowany, a dane nadmiarowe s? rozproszone po wszystkich dyskach.



Dzi?ki rozproszeniu danych nadmiarowych uzyskano znaczny wzrost pr?dko?ci zapisu w stosunku do RAID 4, ale ci?gle jest to pi?ta achillesowa tego systemu.

W przypadku uszkodzenia jednego dysku, jego dane s? odtwarzane za pomoc? kodu parzysto?ci jak w przypadku RAID 3 i 4

Znów prawdopodobie?stwo uszkodzenia jednego dysku w macierzy wynosi:
P = 1 - (1 - B) ^ n , dla trzech dysków w macierzy otrzymujemy warto?? 8,73%, a dla czterech 11,47%, ale macierz uszkodzimy awari? dwóch dysków jednocze?nie:
P= B ^ 2 = 0,09%

Rozmiar macierzy to iloczyn liczby dysków pomniejszony o jeden i rozmiaru najmniejszego z nich.
R = (n - 1) * min(disk1, disk2, ... ,diskn)

Warto?? transferu odczytu teoretycznie jest sum? transferów dysków w macierzy:
T = t1 + t2 + .. + tn, a czas dost?pu równy ?redniej z dysków.

Transfer dla zapisu b?dzie du?o mniejszy, zale?nie od implementacji algorytmu ale mo?e by? nawet 5 krotnie mniejszy ni? odczyt.

RAID 6, podwójna parzysto?? rozproszona na poziomie pasków,
W stosunku do RAID 5 szóstka dodatkowo zwi?ksza bezpiecze?stwo danych ponownie kosztem pr?dko?ci zapisu. Uzyskano to poprzez zdublowanie danych nadmiarowych. Powoduje to zwi?kszenie minimalnej liczby dysków do 4, ale te? warunkiem koniecznym utraty danych jest awaria 3 dysków w jednej chwili!



W przypadku uszkodzenia jednego lub dwóch dysków, ich dane s? odtwarzane za pomoc? kodu parzysto?ci jak w przypadku RAID 3, 4 i 5.

Prawdopodobie?stwo uszkodzenia jednego dysku w macierzy ci?gle wynosi:
P = 1 - (1 - B) ^ n czyli dla czterech dysków to 11,47%, ale macierz uszkodzimy awari? trzech dysków jednocze?nie:
P= B ^ 3 = 0,0027%

Prawdopodobie?stwo wyst?pienia awarii wzros?o o ~3% wzgl?dem RAID 5 ale bezpiecze?stwo danych wzros?o ponad 11 razy czyli do oko?o 3300 razy ponad bezpiecze?stwo danych na jednym dysku.

Rozmiar macierzy to iloczyn ilo?ci dysków pomniejszony o dwa i rozmiaru najmniejszego z nich.
R = (n - 2) * min(disk1, disk2, ... ,diskn)

Warto?? transferu odczytu teoretycznie jest sum? transferów dysków w macierzy:

To = t1 + t2 + .. + tn, a czas dost?pu równy ?redniej z dysków.

Transfer dla zapisu b?dzie du?o mniejszy, zale?nie od implementacji algorytmu ale mo?e by? nawet 7 krotnie mniejszy ni? odczyt. W stosunku do RAID 5 wyd?u?y? si? o jeden dodatkowy zapis mog?cy by? wykonany równolegle.

Odbudowa macierzy:
Tryby RAID wi?ksze ni? zero pozwalaj? na prac? macierzy mimo uszkodzonego jednego dysku (RAID 6 dwóch). Praca taka, w trybie zredukowanym (reduced mode) charakteryzuje si? znacznym spowolnieniem pracy i bardzo du?ym ryzykiem utraty danych. Prawdopodobie?stwo utraty danych jest równe wtedy prawdopodobie?stwu wyst?pienia awarii. Dlatego te? po takim zdarzeniu, powinno si? niezw?ocznie wymieni? uszkodzony dysk. Po wymianie, nast?puje odbudowa macierzy, a po niej macierz znów jest w pe?ni funkcjonalna.

Mam nadziej? ?e rozja?ni?em troszk? temat

Ciekawy test najcz??ciej spotykanych macierzy w porównaniu do profesjonalnego kontrolera:
http://www.tomshardw...ews/ich10r...0a,2374-11.html
Animowane przedstawienie dzia?ania macierzy dyskowych:
http://www.acnc.com/04_01_00.html

Ten post by? edytowany przez anglik666 dnia: 07 Listopad 2009 - 13:36

moonraker