Объединение 2-х дисков в 1: настройка raid-массива на домашнем компьютере (просто о сложном)

Практическая реализация

Для
практической реализации RAID-массивов необходимы две составляющие: собственно
массив жестких дисков и RAID-контроллер. Контроллер выполняет функции связи
с сервером (рабочей станцией), генерации избыточной информации при записи и
проверки при чтении, распределения информации по дискам в соответствии с алгоритмом
функционирования.

Конструктивно контроллеры бывают как внешние, так и внутренние. Имеются также
интегрированные на материнской плате RAID-контроллеры. Кроме того, контроллеры
различаются поддерживаемым интерфейсом дисков. Так, SCSI RAID-контроллеры предназначены
для использования в серверах, а IDE RAID-контроллеры подходят как для серверов
начального уровня, так и для рабочих станций.

Отличительной характеристикой RAID-контроллеров является количество поддерживаемых
каналов для подключения жестких дисков. Несмотря на то что к одному каналу контроллера
можно подключить несколько SCSI-дисков, общая пропускная способность RAID-массива
будет ограничена пропускной способностью одного канала, которая соответствует
пропускной способности SCSI-интерфейса. Таким образом, использование нескольких
каналов может существенно повысить производительность дисковой подсистемы.

При использовании IDE RAID-контроллеров проблема многоканальности встает еще
острее, поскольку два жестких диска, подключенных к одному каналу (большее количество
дисков не поддерживается самим интерфейсом), не могут обеспечить параллельную
работу — IDE-интерфейс позволяет обращаться в определенный момент времени только
к одному диску. Поэтому IDE RAID-контроллеры должны быть как минимум двухканальными.
Бывают также четырех- и даже восьмиканальные контроллеры.

Другим различием между IDE RAID- и SCSI RAID-контроллерами является количество
поддерживаемых ими уровней. SCSI RAID-контроллеры поддерживают все основные
уровни и, как правило, еще несколько комбинированных и фирменных уровней. Набор
уровней, поддерживаемых IDE RAID-контроллерами, значительно скромнее. Обычно
это нулевой и первый уровни. Кроме того, встречаются контроллеры, поддерживающие
пятый уровень и комбинацию первого и нулевого: 0+1. Такой подход вполне закономерен,
поскольку IDE RAID-контроллеры предназначены в первую очередь для рабочих станций,
поэтому основной упор делается на повышение сохранности данных (уровень 1) или
производительности при параллельном вводе-выводе (уровень 0). Схема независимых
дисков в данном случае не нужна, так как в рабочих станциях поток запросов на
запись/чтение значительно ниже, чем, скажем, в серверах.

Основной функцией RAID-массива является не увеличение емкости дисковой подсистемы
(как видно из его устройства, такую же емкость можно получить и за меньшие деньги),
а обеспечение надежности сохранности данных и повышение производительности.
Для серверов, кроме того, выдвигается требование бесперебойности в работе, даже
в случае отказа одного из накопителей. Бесперебойность в работе обеспечивается
при помощи горячей замены, то есть извлечения неисправного SCSI-диска и установки
нового без выключения питания. Поскольку при одном неисправном накопителе дисковая
подсистема продолжает работать (кроме уровня 0), горячая замена обеспечивает
восстановление, прозрачное для пользователей. Однако скорость передачи и скорость
доступа при одном неработающем диске заметно снижается из-за того, что контроллер
должен восстанавливать данные из избыточной информации. Правда, из этого правила
есть исключение — RAID-системы уровней 2, 3, 4 при выходе из строя накопителя
с избыточной информацией начинают работать быстрее! Это закономерно, поскольку
в таком случае уровень «на лету» меняется на нулевой, который обладает великолепными
скоростными характеристиками.

До сих пор речь в этой статье шла об аппаратных решениях. Но существует и программное,
предложенное, например, фирмой Microsoft для Windows 2000 Server. Однако в этом
случае некоторая начальная экономия полностью нейтрализуется добавочной нагрузкой
на центральный процессор, который помимо основной своей работы вынужден распределять
данные по дискам и производить расчет контрольных сумм. Такое решение может
считаться приемлемым только в случае значительного избытка вычислительной мощности
и малой загрузки сервера.

Сергей Пахомов

КомпьютерПресс 3’2002

|

Теория: Уровни RAID и принципы восстановления данных

Чаще всего сейчас используются массивы уровней 0, 1, 10, 5, 50. В последнее время наблюдается возрастающий интерес к шестому уровню.

Ниже приведена краткая информация о принципах работы массивов. Более подробно, об этом можно прочитать в соответствующей статье.

RAID 0 – использование чередующейся записи (страйп). Строится из двух и более накопителей. Информация записывается на все диски массива блоками определенного (8кб,16кб,32кб,64 кб, 128кб…) размера. Файлы, размер которых один блок, равномерно распределяются по двум или более дискам.

Из-за отсутствия избыточности или дублирования данных, при выходе из строя одного из дисков, восстановить информацию в полном объеме невозможно без использования данных с неисправного накопителя. Исключением будут лишь файлы, размер которых меньше размера блока. Для полноценного восстановления информации в таких случаях необходимо сначала снять данные с неисправного диска, после чего восстанавливать RAID.

В случаях, когда все диски исправны, а массив отказывается корректно работать, восстановление производится программными методами, которые описаны

RAID 1 – использование технологии зеркалирования (зеркало). Строится из двух дисков. Информация одновременно пишется на оба накопителя, каждый диск является полной копией своего собрата. В случае выхода из строя одного из дисков массив остается работоспособным.

Если происходит сбой в работе контроллера и массив перестает определяться, то восстановление данных можно выполнить, воспользовавшись советами из статьи «Простое восстановление данных». Для этого один из дисков следует подключить к компьютеру на прямую, минуя RAID контроллер. Если повезёт, после подключения Ваши данные могут оказаться доступными и без использования программ, описанных в вышеуказанной статье.

RAID 10 – это объединение уровня 0 с уровнем 1, т.е. два страйпа объединяются в зеркало. В массиве используются минимум 4 диска. Он может остаться работоспособным при выходе из строя одного из составляющих его RAID 0.

При возникновении проблемы, в первую очередь необходимо определить, с чем именно возникли неполадки – с контроллером или с дисками

Когда проблема на уровне контроллера, Вам следует определить, какие винчестеры являются парами, составляющими страйпы

Здесь важно не перепутать диски, т.к. это приведет к потерянному времени и отсутствию результата

После того, как это станет известно, берётся одна такая пара, и с неё снимается информация таким же образом, как и с самостоятельного RAID 0.

Во время эксплуатации RAID 10, случается и такое, что выходят из строя два диска. Здесь возможны следующие варианты:

1) Оба диска принадлежат к одному страйпу, контроллер корректно обрабатывает исключительную ситуацию, и массив продолжает функционировать нормально.

2) Оба диска принадлежат к одному страйпу, но массив разваливается. В этом случае просто берём исправный страйп, и программно собираем его (об этом ниже).

3) Диски принадлежат к разным страйпам, но в одном из них уцелел первый, а в другом второй накопитель. Попробуйте программно собрать из них RAID 0.

4) Вышли из строя одноимённые диски разных страйпов. Увы  Один из сломанных дисков придётся отремонтировать, или каким-либо ещё образом снять с него данные. Затем программная сборка.

RAID 5 – массивы с контролем четности. Основным его достоинством является распределение блоков информации и контрольных блоков четности по всем дискам массива. Для создания такого массива требуется минимум три диска. Объём массива равен сумме объёмов составляющих его накопителей, минус один диск. Блоки контроля чётности используются для вычисления недостающей информации при выходе из строя одного из накопителей, составляющих массив. Таким образом, при утрате одного из дисков данные не теряются, и массив может продолжать работу.

Но, случается и такое, что после выхода из строя одного накопителя, контроллер неверно обрабатывает исключительную ситуацию и массив перестает корректно работать, либо полностью «падает». Подобный сбой может возникнуть также во время выполняемого после замены диска перестроения массива. Иногда в течение короткого времени после смерти первого диска, выходит из строя ещё один.

Если массив не работает, и количество неисправных дисков не более одного, то его можно собрать При выходе из строя двух накопителей, сначала потребуется восстановить работоспособность, или снять информацию на исправный диск с одного из них, и лишь затем можно заняться сборкой массива.

Нестандартные уровни RAID

RAID 1E

Схема дискового массива RAID 1E в двух вариантах для 3, 4 и 5 устройств

RAID 1E (enhanced — усовершенствованный) — зеркало, способное работать на нечётном количестве устройств.

Существуют как минимум два разных алгоритма RAID 1E:

• RAID 1E near (он же RAID 1E striped);
• RAID 1E interleaved.

В руководстве к вашему RAID-контроллеру может не указываться, какой именно тип RAID 1E (near или interleaved) он поддерживает. Общим для них является то, что они хорошо подходят для создания массива из трёх дисковых устройств.

В RAID 1E near первый блок данных записывается на диск № 1 и на диск № 2 (полная копия, как при RAID 1). Следующий блок — на диск № 3 и диск № 4 (если диски закончились, например, диска № 4 в массиве нет, 3-й диск последний — контроллер возвращается к диску № 1 и переходит к следующей полоске).

В RAID 1E interleaved данные чередуются по полоскам: в первую полоску пишутся сами данные, во вторую — их копия. При переходе от одной полоски к другой увеличивается индекс устройства, с которого начинается запись. Таким образом, первый блок данных записывается на диск № 1 в первой полоске и на диск № 2 во второй полоске, второй блок данных — на диск № 2 в первой полоске и на диск № 3 во второй полоске и так далее.

Результирующая ёмкость массива с использованием RAID 1E составляет S∗N2{\displaystyle S*N/2}, где N — количество дисков в массиве, а S — ёмкость наименьшего из них.

Преимущества:

1. Хорошая скорость передачи данных и обработки запросов.

2. В отличие от RAID 1 и RAID 10, реализована возможность организации зеркала на нечётном количестве устройств.

Недостатки:

1. Увеличение стоимости, поскольку доступна лишь половина суммарной ёмкости устройств.

2. В некоторых моделях контроллеров допускается отказ только одного диска, в связи с чем при чётном количестве дисков и отсутствии диска горячей замены предпочтительнее использовать RAID 10.

Минимальное количество дисков: 3 (при двух — неотличим от RAID 1).

RAID 7

RAID 7 — зарегистрированная торговая марка компании Storage Computer Corporation, отдельным уровнем RAID не является. Структура массива такова: на n−1{\displaystyle n-1} дисках хранятся данные, один диск используется для складирования блоков чётности. Запись на диски кэшируется с использованием оперативной памяти, сам массив требует обязательного ИБП; в случае перебоев с питанием происходит повреждение данных.

Число 7 в названии создаёт впечатление, что система чем-то превосходит своих «младших братьев» RAID 5 и 6, но математика RAID 7 не отличается от RAID 4, а кэш и батареи используются в RAID-контроллерах любых уровней (чем дороже контроллер, тем больше вероятность наличия этих компонентов). Поэтому, хотя никто не отрицает, что RAID 7 обладает высокой надёжностью и скоростью работы, — это не промышленный стандарт, а скорее маркетинговый ход единственной компании-производителя таких устройств, и только эта компания осуществляет для них техническую поддержку.

RAID-DP

Существует модификация RAID-6 компании NetApp — RAID-DP. Отличие от традиционного массива заключается в выделении под контрольные суммы двух отдельных дисков. Благодаря взаимодействию RAID-DP и файловой системы WAFL (все операции записи последовательны и производятся на свободное место) пропадает падение производительности как в сравнении с RAID-5, так и в сравнении с RAID-6.

RAID JBOD

 Этот массив используется не часто, но иногда может пригодиться. Он объединяет в один большой накопитель несколько мелких. Это RAID, организованный программными средствами. Он может пригодиться, когда уже имеющиеся накопители не позволяют создать раздел нужного объема для каких-то специфических целей.

 Каковы же основные составные части RAID-массива. Во-первых, жесткие диски. Можно использовать практически любые, но для создания максимально эффективной системы лучше применять диски со сходными параметрами.

RAIDчто несколько ограничивает возможности

 Более дешевый вариант — RAID-контролер, интегрированный в материнскую плату. Такой вариант уменьшает возможности и надежность в процессе работы (хотя для домашнего использования его обычно вполне хватает). Кроме того, ограничивается количество уровней, которые можно создать, применяя такой контролер.

 Самый простой вариант – это вообще отсутствие контролера RAID. Вся работа производится лишь за счет операционной системы. Недостатки: ограниченность возможностей, малая надежность и дополнительная загрузка центрального процессора.

 Операционные системы семейства Windows NT ( 2K, XP, 2003, Vista, Seven и др.) изначально, с момента их проектирования,  ограниченно поддерживают
программный RAID — разные системы поддерживают разные уровни. Например, Windows XP Pro поддерживает RAID 0 — это так называемые «динамические диски». Аналогичные возможности встроены и в ядро операционных систем GNU Linux.

 Подведем итоги. RAID-массив это система из нескольких винчестеров, позволяющая увеличить некоторые параметры. Это может быть повышение скорости работы дисковой подсистемы с информацией, дополнительная сохранность важных данных или объем для их размещения. Все уровни RAID сочетают в себе эти свойства в различных соотношениях, и выбор какого-либо варианта будет зависеть исключительно от тех задач, для которых его предполагается использовать.

Performance

Writes

RAID 0 offers very fast write times because the data is split and written to several disks in parallel. Writes to a RAID 1 unit is slower compared with RAID 0, but about the same as writing to a single disk. This is because the entire data is written to two disks, but in parallel.

Reads

Reads are also very fast in RAID 0. In ideal scenarios, the transfer speed of the array is the transfer speed of all the disks added together, and limited only by the speed of the RAID controller. Reads from RAID 1 may or may not offer such performance boost, depending upon the RAID controller. «Smart» controllers split the reading task in a way that takes advantage of data redundancy and reads different blocks from different disks. This offers a performance boost similar to RAID 0 but for controllers that are not capable of such multiplexing, read speeds and are about the same as a single hard drive.

RAID0 — объём, скорость, но никакой надёжности

Несмот­ря на сло­во RAID в назва­нии, в нём нет избы­точ­но­сти дан­ных, и если сло­ма­ет­ся один из дис­ков, вы поте­ря­е­те все свои фай­лы. Всё дело в том, что дан­ные в RAID0 никак не резер­ви­ру­ют­ся, а про­сто по оче­ре­ди пишут­ся на два раз­ных дис­ка.

Допу­стим, что у нас есть три фай­ла — обо­зна­чим их крас­ным, синим и зелё­ным. Тогда RAID0 запи­шет их себе в память так:

Каж­дый файл раз­би­ва­ет­ся на кусоч­ки и раз­ма­зы­ва­ет­ся по дис­кам.

В резуль­та­те поль­зо­ва­тель полу­ча­ет боль­шой объ­ём хра­ни­ли­ща — в сум­ме как два дис­ка. Но это не даёт ника­кой надёж­но­сти. Вид­но, что три фай­ла про­сто раз­ма­за­лись по дис­кам и раз­ные части фай­лов лежат на раз­ных дис­ках. Оче­вид­но, что если один их них сло­ма­ет­ся, то у нас оста­нет­ся диск с кучей фраг­мен­тов дан­ных, кото­рые невоз­мож­но вос­ста­но­вить:

Един­ствен­ное, из-за чего это исполь­зу­ют, — ско­рость рабо­ты с дан­ны­ми. Файл делит­ся на несколь­ко частей и пишет­ся одно­вре­мен­но на раз­ные дис­ки — так полу­ча­ет­ся быст­рее, чем писать его цели­ком на один диск.

+ быст­рая ско­рость рабо­ты с фай­ла­ми

+ боль­шой объ­ём хра­ни­ли­ща

— ника­кой надёж­но­сти, малей­шая полом­ка — и вы теря­е­те все дан­ные.

В чем отличия программного и аппаратного рейда

Сейчас расскажу, чем принципиально отличается программный рейд контроллер (mdadm) от аппаратного, для тех, кто этого до конца не понимает. Если бы у меня вышел из строя диск на аппаратном рейд контроллере, установленном в полноценный сервер, проблема по замене сбойного диска в RAID решалась бы в следующей последовательности:

1. Рейд контроллер оповещает о том, что с диском проблемы и выводит его из работы. В случае с софтовым рейдом система может зависнуть в случае проблем с диском, прежде чем пометит его как проблемный и перестанет к нему обращаться.
2. Я оставляю тикет в тех поддержку, где прошу заменить сбойный диск. Информацию о нем я посмотрю в панели управления рейд контроллером.
3. Сотрудник тех поддержки видит сбойный диск, так как индикация на нем, скорее всего, будет мигать красной лампочкой. Это не гарантия того, что рукожоп все сделает правильно, но тем не менее, шансов, что он ошибется, меньше. Я сталкивался с ситуацией, когда и в этом случае диск меняли не тот.
4. При появлении нового диска raid контроллер автоматически начинает ребил массива.

Если же у вас в сервере уже установлен запасной диск на случай выхода из строя диска в составе raid массива, то все еще проще:

1. При выходе из строя диска, контроллер помечает его как сбойный, вводит в работу запасной диск и начинает ребилд.
2. Вы получаете оповещение о том, что вышел из строя диск и оставляете тикет в тех поддержку на замену запасного диска.

И это все. В обоих случаях у вас вообще нет простоя. Вот принципиальная разница между mdadm и железным raid контроллером. Стоимость полноценного сервера с контроллером и постоянным ipmi доступом к консоли в среднем в 3 раза выше, чем у сервера на десткопном железе с софтовым рейдом при схожей производительности. Это все при условии, что вам достаточно одного процессора и 64G памяти. Это потолок для десктопных конфигураций. Дальше считайте сами, что вам выгоднее. Если возможен простой в несколько часов на замену диска или других комплектующих, то смело можно использовать десктопное железо. Mdadm обеспечивает сопоставимую гарантию сохранности данных в сравнении с железным контроллером. Вопрос лишь в простое и производительности. Ну и своевременные бэкапы добавляют уверенности в том, что вы переживете неполадки с железом.

При использовании железного рейда на hdd дисках, есть возможно получить очень значительный прирост скорости за счет кэша контроллера. Для ssd дисков я особо не замечал разницы. Но это все на глазок, никаких замеров и сравнений я не делал. Нужно еще понимать, что десктопное железо в целом менее надежное. К примеру, в том же селектеле на дешевых серверах я ловил перегрев или очень высокую температуру дисков. Прыгала в районе 55-65 градусов. Все, что ниже 60-ти, тех поддержка футболила, говоря, что это допустимая температура, судя по документации к дискам. Это так и есть, но мы же понимаем, что диск, постоянно работающий на 59 градусах с бОльшей долей вероятности выйдет из строя.

Вот еще пример разницы в железе. Если у вас в нормальном сервере выйдет из строя планка памяти, сервер просто пометит ее как сбойную и выведет из работы. Информацию об этом вы увидите в консоли управления — ilo, idrac и т.д. В десктопном железе у вас просто будет постоянно виснуть сервер и вам придется долго выяснять, в чем же проблема, так как доступа к железу у вас нет, чтобы проще было запланировать тестирование сервера. А если вы закажете это у тех поддержки, то есть ненулевая вероятность, что станет хуже — сервер уронят, перепутают провода подключения дисков и т.д. В общем, это всегда риск. Проще сразу съезжать с такой железки на другую.

Сравнение уровней RAID

* N — количество дисков в массиве, S — объём наименьшего диска.
** Информация не потеряется, если выйдут из строя диски в пределах разных зеркал.
*** Информация не потеряется, если выйдет из строя одинаковое кол-во дисков в разных stripe’ах.
**** Информация не потеряется, если выйдут из строя диски в пределах одного зеркала.

Какой RAID все же выбрать?

Если вы играете в игры, часто копируете музыку, фильмы, устанавливаете ёмкие ресурсопотребляющие программы, то Вам безусловно пригодиться  RAID 0

Но будьте внимательны при выборе жестких дисков, — в этом случае их качество особенно важно, — или же обязательно делайте бэкапы на внешний носитель

Если же вы работаете с ценной информацией, которую потерять равносильно смерти, то Вам безусловно нужен RAID 1 — с ним потерять информацию крайне сложно.

Повторюсь, что очень желательно, чтобы диски устанавливаемые в RAID массив были пол идентичны. Размер, фирма, серия, объём кэша — всё, желательно, должно быть одинаковым.

Дальнейшее развитие идеи RAID

Синий разъём PCI-X на материнской плате сервера FSC Primergy TX200 S2 специально предназначен для платы ноль-канального RAID (zero-channel RAID, ZCR). Установлен MegaRAID -0 Zero Channel RAID Controler фирмы LSI)

Идея RAID-массивов — в объединении дисков, каждый из которых рассматривается как набор секторов, и в результате драйвер файловой системы «видит» как бы единый диск и работает с ним, не обращая внимания на его внутреннюю структуру. Однако, можно добиться существенного повышения производительности и надёжности дисковой системы, если драйвер файловой системы будет «знать» о том, что работает не с одним диском, а с набором дисков.

Более того, при разрушении любого из дисков в составе RAID 0 вся информация в массиве окажется потерянной. Но если драйвер файловой системы разместил каждый файл на одном диске, и при этом правильно организована структура каталогов, то при разрушении любого из дисков будут потеряны только файлы, находившиеся на этом диске; а файлы, целиком находящиеся на сохранившихся дисках, останутся доступными. Схожая идея «повышения надёжности» реализована в массивах JBOD.

Размещение файлов по принципу «каждый файл целиком находится на одном диске» сложным/неоднозначным образом влияет на производительность дисковой системы. Для мелких файлов латентность (время позиционирования головки над нужным треком + время ожидания прихода нужного сектора под головку) важнее, чем время собственно чтения/записи; поэтому если мелкий файл целиком находится на одном диске, доступ к нему будет быстрее, чем если он разнесён на два диска (структура RAID-массивов такова, что мелкий файл не может оказаться на трёх и более дисках). Для крупных файлов размещение строго на одном диске может оказаться хуже, чем размещение на нескольких дисках; однако, это проявится только если обмен данными производится большими блоками; либо если к файлу делается много мелких обращений в асинхронном режиме, что позволяет работать сразу со всеми дисками, на которых размещён этот файл.

Краткая характеристика

Чтобы правильно выбрать, какой массив нужен именно вам, ниже приведена краткая характеристика каждого уровня:

• Массив RAID 0: обеспечивает хорошую скорость работы с данными, но низкую отказоустойчивость. Требуется минимум два диска.
• Массив RAID 1: обладает высокой надежностью хранения информации при невысокой скорости работы. Наименьшее количество винчестеров два.
• RAID 2: отличается хорошей скоростью и надежностью сохранения информации, но редко используется, так как для его организации требуется много винчестеров.
• RAID 3: имеет хорошую скоростью доступа и среднюю надежность. Стоимость хранения информации сравнительно невысока.
• RAID 4: имеет хорошую скорость работы, отказоустойчивость и невысокую стоимость хранения данных. Недостаток — сложность аппаратного контроллера.
• RAID 5: обеспечивает высокую скорость и неплохую отказоустойчивость. Считается самым универсальным способом организации сохранения информации.
• RAID 6: гарантирует высокую отказоустойчивость.
• RAID 7: техническое решение от американской компании SCC. Для надежной работы нужно использовать ИБП.
• RAID 01 и RAID 10 являются комбинацией RAID 0 и RAID 1.
• RAID 1Е: является усовершенствованным RAID 1. Это единственный зеркальный массив, который способен работать с нечетным количеством винчестеров.

В зависимости от того, что нужно (высокая производительность, надежность или дешевизна), можно выбрать способ хранения данных, который подойдет именно вам.