Linux i RAID5 intel Degraded (dmraid status : nosync)

[luna3]

Witam serdecznie,

Mam problem odnośnie macierzy raid 5 w jednym z serwerów, mianowicie ni stąd ni z owąt jeden z dysków w macierzy przestał działać, po restarcie działa poprawnie tyle że partycja raid 5 postawiona na tych dyskach posiada status Degraded, z tego co mi wiadomo z poziomu systemu można to poprawić, niestety informacje są tylko na temat systemu wingrozy, na serwerku jest linux.

dmraid -s
*** Group superset isw_bebfajcgjc
--> Active Subset
name : isw_bebfajcgjc_md0
size : 3900702720
stride : 128
type : raid5_la
status : nosync
subsets: 0
devs : 3
spares : 0

dmraid -r
/dev/sda: isw, "isw_bebfajcgjc", GROUP, ok, 1953525165 sectors, data@ 0
/dev/sdb: isw, "isw_bebfajcgjc", GROUP, ok, 1953525165 sectors, data@ 0
/dev/sdc: isw, "isw_bebfajcgjc", GROUP, ok, 1953525165 sectors, data@ 0

Generalnie w miejscu status : nosync powinno być status : ok
/dev/sdb - Ten dysk był chwilowo nieudostępniony i to przez niego te problemy.

Proszę o pomoc

[Paweł Kraszewski]

http://goo.gl/0kK7u , pytanie i odpowiedź #2 albo http://goo.gl/pCZR4

[luna3]

Dzięki za pomoc, tak dla jasności żeby czegoś nie schszanić

mkfs -t ext4 /dev/md0
Powinno pomóc?
Rozumiem że to odbuduje tablice i rozwiąże problem?

Chodzi o to żeby dane nie zostały utracone.

ckraid - niestety nie mam tego w systemie, rozumiem ze warto to zainstalowac i starczy uruchomić:

ckraid --fix
?

Jak coś mdadm nie działa na tym devie. Używam dmraid i tam niestety nie widzę żadnych opcji naprawy tego.
mdadm --detail /dev/md0
mdadm: md device /dev/md0 does not appear to be active.

??

[Paweł Kraszewski]

Czytaj ze zrozumieniem.  mkfs -t ext4 /dev/md0 powinno pomóc. W sfomatowaniu partycji do czysta.

Masz do dyspozycji:
* chkraid (rozwiązanie #2 z 1 linku)
* odłączyć-wyczyścić-podłączyć-resynchronizować (post #2 z drugiego linku)
* oblecieć to jednym poleceniem (post #3 z drugiego linku)

Rozwiązanie #9 z drugiego linku to backup-odstrzelenie wszystkich danych-odtworzenie z backupu.

[luna3]

"Czytaj ze zrozumieniem. mkfs -t ext4 /dev/md0 powinno pomóc. W sfomatowaniu partycji do czysta."

No własnie tak mi coś mówiło, ale nie byłam pewna czy w tym przypadku tak by było

Hmm. Jeszce taka jedna rzecz mnie nurtuje, z tego co rozumiem to ten dysk po prostu wypadł z macierzy co podobno się czasem zdarza, i teraz po restarcie wszystkie dyski są teoretycznei widoczne poprawnie tylko partycja ma status zdegradowany (degraded) i dmraid -s krzyczy że nie ma synchronizacji.

I teraz w tle widzę że działa kraid45d na wyższych obrotach, i tu mam pytanie.

Czy przypadkiem ta macierz nie powinna się sama w tle odbudować? Jak tak to jak sprawdzić czy się odbudowuje?

W skrócie, jak włączyć z poziomu systemu odbudowę macierzy raid5, i sprawdzić status tej odbudowy?

Dzięki za jasna informacje co do synchronizacji Post 3 z 2 link ale możesz mnie jeszcze oświecić w powyższej kwestii?

P.S.

iostat na tym serwerku mówi że:


Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sda             218,00        11,25         7,19         11          7
sdb             183,00         1,38        14,81          1         14
sdc             236,00        11,19         8,38         11          8
...


Czyli wynika że dysk który wypadł wcześniej z macierzy ma wysoki zapis, a na to obciążenie to dyski pozostałe mają duży odczyt. Czy to znaczy że się w tle odbudowuje, tylko dziwne bo trwa to już troszkę czasu i nie wiem jak sprawdzić stan tej rzekomej odbudowy.

[Paweł Kraszewski]

Możliwe, że to odbudowa. watch -d cat /proc/mdstat powinno pokazać bieżące "życie" podsystemu MD. Przerwa przez ctrl-C

Z autopsji - w domu mam / na RAID0 via MD, więc "wypadnięcie" raczej szybko zauważę, a poskładanie roota do kupy będzie ciężkie W robocie z kolei witalne katalogi (m. in /boot i /) na RAID1 a resztę na RAID5, ale oba na sprzętowym kontrolerze (bodaj LSIlogic), więc w sumie niewidoczne z systemu (czyli system widzi po prostu dwa "zwykłe" dyski, jeden z montowany z 1-ek i drugi z 5-ek).

[luna3]

Hmm, tutaj akurat jest sprzętowy kontroler zintegrowany z płyta główną intela, i w biosie jest ustawiony raid5 tak że system widzi jeden dysk md0, i na nim są porobione partycje, dlatego sądzę że wypadł jeden dysk z macierzy, a ze względu na to że jest to sprzętowe to system działa, polecenie co pojadałeś wywala:

//////////////////////////////////////////////////////

Every 2,0s: cat /proc/mdstat                                                                                                                                                          Mon Apr  2 14:47:44 2012

Personalities :
unused devices:

///////////////////////////////////////////////////////

A nie wiesz w jaki sposób zarządzać tą macierzą intelowską z linuxa?
W biosie jest że md0 ma status zdegradowany a dyski są ok, i tam pisze że odbudowa tablic możliwa jest z systemu operacyjnego, dołączone oprogramowanie do tego niestety jest tylko na wingroze.

Generalnie z tego co udało mi się wyczaić to zarządza się poleceniem dmraid.

Po prostu z tego co wiem to muszę włączyć odbudowę macierzy, ale nie wiem jak to zrobić na linux, możesz mi jakoś w tym pomóc? (na wingrozie jest specjalne oprogramowanie do tego).

Z tego co wiem to na linux do tego służą dmraid i mdadm, z tym że w tym przypadku mdadm chyba nie jest używane, więc trzeba to zrobić z a pomocą dmraid, ale nie widzę w manualu nic co by mnie na to nakierowało, albo jakiś innym poleceniem/programem kompatybilnym.

[luna3]

Hmm, teraz proces kraid45d działa na poziomie jak działał ale dmraid -s daje:
ERROR: isw: Could not find disk /dev/sdc in the metadata
ERROR: isw: wrong number of devices in RAID set "isw_bebfajcgjc_md0" [2/3] on /dev/sda
ERROR: isw: wrong number of devices in RAID set "isw_bebfajcgjc_md0" [2/3] on /dev/sdb
*** Group superset isw_bebfajcgjc
--> *Inconsistent* Active Subset
name   : isw_bebfajcgjc_md0
size   : 1950351360
stride : 128
type   : raid5_la
status : inconsistent
subsets: 0
devs   : 2
spares : 0

No a iostat -m 1:


avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           1,25    0,00    0,50    1,12    0,00   97,12

Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sda              48,00         0,94         2,25          0          2
sdb              34,00         1,06         1,38          1          1
sdc              44,00         1,00         1,94          1          1
dm-0            116,00         0,00         0,45          0          0
dm-1              0,00         0,00         0,00          0          0
dm-2              0,00         0,00         0,00          0          0
dm-3              0,00         0,00         0,00          0          0
dm-4            116,00         0,00         0,45          0          0

Wiesz może co z tym zrobić albo co może być nie tak?

[Paweł Kraszewski]

Jeżeli widzisz poszczególne dyski macierzy to to d*a a nie sprzętowy kontroler W najlepszym wypadku "RAID programowy wspomagany sprzętowo" (np właśnie Intele wspierają sprzętowo liczenie sum kontrolnych). Tym bardziej, jeżeli system jest obciążony (jak iostat wskazuje) odbudową macierzy - co jest absolutnie niewykrywalne w prawdziwych sprzętowych RAIDach.

Myk z tymi nibykontrolerami jest taki: macierz jest widziana jako "zmontowana" przez stosowne przerwania BIOSu. Dzięki temu każdy system korzystający z BIOSU do dostępu do dysku zadziała (w tym GRUB/LILO/loader Windows). Przy starcie systemu w chwili porzucenia dostępu via BIOS aktywuje się sterownik przejmujący funkcjonalność RAID i prezentujący systemowi wirtualne urządzenie. Ale to dalej jest robione programowo, więc system widzi zarówno dyski składowe jak i macierz.

W rozwiązaniu sprzętowym dyski składowe są ukryte przed systemem operacyjnym (są ewentualnie dostępne przez specjalne IOCTLe, żeby podejrzeć status urządzenia albo fizyczną geometrię).

Linuksowy sterownik DMRAID po prostu rozumie format partycji Intela i je natywnie obsługuje.

---

1. Co mówi dmsetup status
2. Czy dmraid -R isw_bebfajcgjc_md0 /dev/sdc cos pomaga?

[luna3]

aha no to jest to co mówisz

dmsetup status
isw_bebfajcgjc_md0p5: 0 3675206052 linear
isw_bebfajcgjc_md0p3: 0 20482875 linear
isw_bebfajcgjc_md0p2: 0 204796620 linear
isw_bebfajcgjc_md0p1: 0 208782 linear
isw_bebfajcgjc_md0: 0 3900702720 raid45 3 8:0 8:16 8:32 2 AAA 14880/14880 1 core

dmraid -R isw_bebfajcgjc_md0
ERROR: isw: Could not find disk /dev/sdc in the metadata
ERROR: isw: wrong number of devices in RAID set "isw_bebfajcgjc_md0" [2/3] on /dev/sda
ERROR: isw: wrong number of devices in RAID set "isw_bebfajcgjc_md0" [2/3] on /dev/sdb
Rebuild: a hot-spare drive not found for a volume: "isw_bebfajcgjc_md0". Need a drive to rebuild a volume.

[Paweł Kraszewski]

Warning * warning * warning

Wygląda, że pozmieniały się nazwy dysków. Wypadnięty SDB został zastąpiony starym SDC. Sytuacja zmiany kolejności dysków w RAID5 grozi wysadzeniem wszystkich danych w powietrze! Doprowadź do tego, że widać 3 dyski w dowolnym stanie...

[luna3]

Dzięki za pomoc po prostu wymienię dyski w serwerze, chyba padło coś w nich.

Tak przy okazji bo nie wiem za bardzo gdzie się o to zapytać, chodzi mi o system do wirtualizacji Proximo. A konkretnie da się budować na nim klastry, szukam w wujku google ale niestety dostał amnezji i nie może mnie na tę informację nakierować.

Czy w klastrze opartym o Proxmox dane, tzn. pliki na wolumenach są rozlokowane tylko na mastrze, czy przypisane do któregoś, czy tu i tu i jak pada to działa nadal?

No i czy klaster oparty o Proxmox po dodaniu maszyny do klastra moc całego klastra w tym obecnych już maszym wzrasta o nową maszynę w tym ram i procesor?

No i czy lepiej Proxmox czy sam czysty OpenVZ, i jak ma się kastrowanie w OpenVZ?

[luna3]

Po zapoznaniu się z Proxmox to niestety stwierdzam że to takie sobie, lepiej wszystko samemu ustawić, polecam system plików postawić na glusterfs dla potomnych + loadbalancing wirtualek.