mdadm 레이드 복구 방법(hdd 불량)

1. 증상 및 원인

1-1 Pushover로 레이드 오류 확인

Pushover로 매일 정오에 "mdadm --detail /dev/md0" 실행해서 레이드 상태를 체크해서 메세지를 보내줍니다.

아래와 같이 critical오류를 보냈지만 몇일 지나서야 인지를 했습니다..ㅜㅜ

 

PushOver로 받은 오류 메세지

 

 

 

1-2 서버 레이드 확인

# mdadm --detail /dev/md0

RaidDevice는 총 3개 1TB하드디스크중 두번째 하드디스크가 인식이 되지 않는걸 확인할수 있습니다.

 

1-3 불량 하드디스크 확인

테스트용으로 레이드를 구성하다보니 몇번째 레이드하드디스크인지 확인이 불가능합니다.

그래서 하드디스크 시리얼번호를 확인해서 불량 하드디스크를 찾아봐야 됩니다.

이번 경우엔 하드디스크 정보가 출력되지 않는 하드디스크가 불량인 하드디스크인걸로 확인하고 정상적으로 출력되는 하드디스크는 정상이라 판단했습니다.

불량난 하드디스크를 제거하고 새로운 하드디스크 장착합니다.

 

하드디스크 시리얼넘버 확인 (smartctl)

# yum install smartmontools 
# smartctl -i /dev/sda 
..
# smartctl -i /dev/sdb
..
# smartctl -i /dev/sdc 
..

 

 

2. 해결방안

 

2-1. 하드디스크 교체 및 레이드구성

하드디스크를 교체후  하드디스크 구조를 확인하면 아래와 같이 /dev/sdc가 새로 장착되어 있는걸 볼수 있습니다.

fdisk로 파티션을 잡아서 레이드에 추가해주면 됩니다.

 

# lsblk

 

파티션 타입은 fd (Linux raid auto)로 설정

# fdisk /dev/sdc

 

 

신규 하드디스크 파티션까지 잡은상황

# lsblk

 

 

레이드에 신규 하드디스크 추가 및 확인

# mdadm --manage /dev/md0 --add /dev/sdc
# mdadm --detail /dev/md0

 

실시간 레이드 구성 확인방법 (watch)

watch명령어를 통해 레이드 빌드과정을 실시간으로 볼수 있습니다.

# cat /proc/mdstat
# watch -n 1 cat /proc/mdstat

 

 

불량난 하드디스크를 테스트해보니 물리적인 손상으로 판명됩니다.

하드디스크가 물리적으로 손상이 갔을경우 이렇게 복구가 가능합니다.

하지만 메인보드가 고장이 나는 경우는 레이드전체를 어떻게 복구해야될지는 좀더 알아봐야 될것 같습니다.