Серверный SATA/SAS RAID контроллер LSI 9267-8i купленный на тао

  • Цена: 14.84$ за контроллер + 8.4$ за 4-х портовый кабель+ доставка до РФ

Всем привет. Сегодня я хотел бы немного рассказать о серверном RAID контроллере LSI 9267-8i, купленном на таобао, по весьма гуманной цене (на али цены на такие контроллеры выше).
Контроллер понадобился мне для организации надёжного массива RAID5, аппаратными средствами, который я хочу собрать из б/у серверных дисков, имеющих интефейс SAS. Контроллер поддерживает и более сложный в вычислительном плане RAID 6, но для домашнего использования это слишком дорого (хоть и более надёжно чем RAID5), так как надо иметь минимум 4 накопителя.


Почему SAS? А потому, что цены на них ниже чем на аналогичные б/у SATA диски, и как я предполагаю, находящихся примерно в одинаковом состоянии по «умотанности». Ну и SAS диски вряд ли будут использовать для видеонаблюдения, где износ очень высок, хотя и в том же Web сервере, где могли использовать SAS, он может быть не малым. Опять же вопрос, где могли использовать SAS диски больших объемов, которые мне как раз и нужны.
В крайнем случае, ввиду универсальности контроллера, всегда можно будет купить и SATA диски, если подвернётся нормальный вариант.

Сейчас я всё ещё думаю, брать ли три диска с tao, или мониторить авито, так как доставка дисков мероприятие не дешёвое, если учитывать что один 3.5 дюймовый серверный диск на 3ТБ весит около килограмма.
Один б/у SAS диск (3.5 дюйма) ёмкостью 3ТБ с сервера Dell (на самом деле сделанный Hitachi), стоит на тао в районе 22$, очень заманчиво, если бы не доставка.

Лучше вообще брать сразу 4 диска, 3 под массив и один под Hot Spare, тобишь под автоматическую горячую замену, говоря по русски. Если один диск помрёт, а вероятность этого весьма высокая, учитывая что диски будут сильно б/у, ведь в серверах они обычно не прохлаждаются, и будет заранее подготовлен подменный диск, то RAID контроллер может автоматом начать восстановление на него.

Я не планирую давать сильную нагрузку на этот массив, и вообще думаю его только изредка включать, но пока точно не решил буду ли использовать второй компьютер с контроллером, как мини хранилку, т.е. отдавать диск по гигабитной сети, через ISCSI, возможно я ограничусь только хранением бэкапов, и фото+видео контента.

Вообще у RAID 5 есть как плюсы так и минусы. Жирный плюс — более экономное расходование дискового пространства. Ёмкость виртуального диска, в случае с RAID 5, будет равна суммарной ёмкости двух дисков из трёх, т.е. будет «потеряна» под хранение «избыточности под контроль чётности» лишь ёмкость, эквивалентная ёмкости одного диска. Если взять 3 диска по 3ТБ, то итоговая ёмкость виртуального диска отдаваемого ОС, будет около 6ТБ.
К минусам RAID5 массива, можно отнести высокие требования к вычислительной способности контроллера RAID, тормознутость массива в случае отказа одного из 3-х дисков, его медленное восстановление, и возможность отказа ещё одного диска пока массив восстанавливается, из-за резко возросшей нагрузки на оставшиеся диски.

В данном случае, RAID контроллер построен на двухядерном чипе LSI2208 (именуется RoC), имеющим приличное быстродействие по RAID5 операциям по меркам аппаратных RAID контроллеров 2013-2015 годов.
Далее были ещё контроллеры на более быстром RoC LSI 3108, RAID контроллер на котором я тестировал ещё году эдак так в 2015, одним из первых в России (когда то я работал в intel, а контроллеры intel были по сути просто с наклейкой Intel, а так это был LSI, который впоследствии был поглощён компанией Broadcom, и ещё позже уже часть активов последней, ушла уже под компанию Avago).

Так вот, LSI 3108 был не сказать что прям в разы лучше LSI2208 (разве что скорость порта стала 12Гб против 6Гб), при том что LSI2208 был более ощутимо производительнее чем предшественник LSI 2108, но в разы более медленным, его назвать нельзя. Вся прибавка там была в том что LSI2208 стал двухядерным, но насколько я помню, производительность не возросла там во столько же раз как количество ядер. Сейчас вероятно вышли более новые и совершенные RoC (кому интересно загуглите), лично я перестал следить за серверным рынком уже лет так 6-7, и потерял возможность тестирования таких девайсо, а гуглить мне лениво. Ну и прошивку на контроллеры на базе LSI 3108 возможно немного оптимизировали чтобы максимально выжать всё из RoC, улучшив скорости работы массивов, но это не точно и маловероятно).

Почему именно аппаратный контроллер? Обычный SATA контроллер SAS диски попросту не увидит, и при этом можно установить и SATA диски, в том числе и SSD, задействовать технологию CacheCade (но нужен аппаратный ключик), с помощью которой можно организовать кэширование часто используемых данных на SSD (кстати у intel была неплохая программка, занимающяяся аналогичной деятельностью, и на неё я тоже лет 8 назад писал первый в рунете русскоязычный обзор, на ресурсе Intel IT Galaxy, которого уже давно нет).
На моём контроллере уже стоит какой то ключ, но у меня пока не было желания разбираться для чего именно он предназначен.

Так же, у контроллера есть RAM кэш (в моём случае урезанный, всего 512МБ, а для контролеров с RoC LSI2208 обычно характерен 1ГБ кэша), и 8 внутренних портов, на 6Гб/c каждый.
Вообще, обычно бывает 4/8/16 портов, если надо больше, то применяют специальные расширители.

Кстати, мне пришлось докупить дорогущий кабель (цены не малой, почти как сам RAID контроллер), что бы c Mini-SAS (SFF-8087) подключить к контроллеру напрямую 4 диска и питание. В серверах, диски обычно подключаются и питаются через плату Backplane, от которого уже идёт кабель до контроллера.

Ну и вообще, у меня, немного зачесались руки «вспомнить молодость», когда часто приходилось помогать людям управляться с этими самыми RAID контроллерами, и подбирать их под конкретные задачи, собственно и был заказан такой контроллер, сейчас доступный по цене многим.

Кстати, фирма LSI (ныне Avago) это по сути один из лидеров рынка серверных RAID контроллеров. Из популярных, ещё есть RAID контроллеры фирмы Adaptec.

Думаю, что вводной информации достаточно, перейдём к самому контроллеру.

Внешний вид контроллера

Контроллер и кабель пришли в следующем виде:

Контроллер надёжно уложен в пластиковый кейс, новые контроллеры как раз поставляются в таком же.
На контроллере видна новодельная пломба, и установленный ключ.

На оборотной стороне контроллера всё в норме, и не сказать что он сильно б/у.

Судя по маркировке N8103-150, изначально он шёл вероятно с сервером/рабочей станцией от NEC, Там же, приведены и его характеристики (объём кэша, поддержка уровней массива).
С подключенным кабелем фото вышло не чётким, но в целом видно что есть ещё свободный, 4-х портовый коннектор.

Как видим, питание на диски, от БП подаётся через 4-х пиновые molex коннекторы. К диску уже подсоединяется совмещённый коннектор, по сути эдакая эмуляция Backplane.
При инициализации, контроллер определяется так:

Ещё отмечу тот факт, что все серверные контроллеры рассчитаны под постоянный обдув внутри сервера, так как и если его не обдувать, то температура радиатора системы охлаждения RoC LSI2208 (весь горяч), даже при незначительной нагрузке достигает 70+ градусов (у меня в открытом корпусе именно так), что не приемлемо.

Вообще, контроллер у меня без проблем заработал на древней дестопной плате Gigabyte, где PCI-E ещё Gen 1, но для тестов самое то, учитывая что контроллер воткнут в X16 разъём, и сам имеет 8 разведённых линий PCI-E.

Единственное, я не смог корректно произвести настройки в BIOS контроллера, настраивал его в итоге через ОС (утилита с GUI: LSI MSM и консольная утилита: MEGACLI).

Тестирование

Переходим к самому интересному, к тестированию.

Так как нужного количества свободных дисков для поднятия массива RAID5 у меня пока нет, я протестирую контроллер и его возможности с помощью SSD от Zotac, недавно побывавшего у меня на обзоре.

Подключаю SSD к одному из портов контроллера.

Сначала я поставил консоль MEGACLI, там корректно определяется контроллер и подключенный накопитель, выводя информацию о его адресе (она нужна для выполнения дальнейших комманд).


Контроллер автоматом подтянул SSD в режиме JBOD, т.е как HBA адаптер, по сути на прямую отдавая его ОС. В ОС он инициализируется точно так же, как если бы был подключен к материнке.

В этом режиме кэши контроллера не активны.
Произведём замер скорости в этом режиме, на чистом SSD.

Далее я пробовал через консоль поднять на накопителе RAID 0, так как его можно собирать из одного накопителя. Но что то не срослось, возможно надо было сначала перевести диск в несконфигурированный.

Я решил не мучаться с командами и поставить оболочку MSM, в которой всё видно наглядно. В нынешние времена, с российского IP скачать её не удалось, пришлось качать установщик через зарубежную проксю. Вообще, данная утилита мультисерверная, с помощью неё можно управлять RAID контроллерами на разных серверах с одного ПК. В моём случае, я через утилиту управляю контроллером с того же ПК, где стоит сам контроллер.
Основное окно программы выглядит так:

На основном окне доступен ряд важных опций по управлению, виден журнал событий, а так же информация по конфигурации массива и накопителей.
Далее есть вкладка с физическим видом, т.е. там наглядно отображено как и куда подключены накопители. Конкретно, на скриншоте ниже, показан никак не сконфигурированный накопитель, т.е. в ОС он не выдаётся.

Здесь же мы можем произвести ряд операций с накопителем: очистка, задать как его подменный, подготовить к удалению из массива и т.д., в том числе отдать его ОС в режиме JBOD.

На логическом уровне, мы уже видим параметры виртуального диска, тобишь нашего массива, если он был создан.

Здесь же можно поменять их. Единственное, надо быть аккуратным с включением RAM кэша, ведь при пропадании питания то что не успело сбросится на диск в режиме кэширования записи, превратится в тыкву.
Поэтому к контроллеру должна идти специальная батарея BBU (литиевый акб+контроллер, которая имеет свойство помирать года через 3, видимо от температур внутри сервера), либо такая же, но «вечная» батарея уже на суперконденсаторах (ионисторах), она была в разы дороже обычной «умирающей» от времени батареи, и брали её конечно же хуже, и вероятно не все вообще знали про неё, лет 7 назад, когда я работал с такими контроллерами.

У меня «батарейки» нет, и UPS так же не предвидится, поэтому кэш на запись (write back) я включать не буду (да и не даст мне контроллер), ограничась только кэшем на чтение, он же «Write-through caching».

Пробуем включить кэш на запись через консоль, так как через утилиту MSM вообще нет данной опции, и не спроста.
Утилита предупреждает что BBU у нас нет, и так делать не хорошо, но политику кэша всё таки сменится, после того как мы накинем батарею. Поэтому довольствуемся только кэшом на чтение. Эдакая защита от дурака, или маркетинговый расчёт? так как батареи BBU всегда были дорогими, представляю сколько она новая стоит сейчас.

Как вариант, можно поискать дохлую на авито, и попробовать её оживить методом «колхозинга» банок формата 18650, но не факт что контроллер батареи даст выполнить подмену, надо гуглить или тестить самому, пока не знаю буду ли я этим заниматься.

Создадим RAID0 (виртуальный диск):

Выбираем уровень массива, и накопители члены массива.

Создаём дисковую группу

Задаём настройки. Тут я поставил быструю инициализацию, хотя, можно было её не делать вообще, размер страйпа я оставил по умолчанию равным 64К, опцию read ahead отключаем, так как у нас SSD, и она всё же более актуальна для HDD, у которых низкая скорость вывода по мелким одиночным блокам. При активации этой опции, контроллер будет читать ещё не запрошенные данные заранее (на перёд), вместе с запрошенными в текущий момент данными, предполагая что к ним так же вскоре могут обратиться, так как они находятся рядом с запрошенной областью, и иногда это может быть выгодно, и во времена когда не были распространены SSD, «хватались» и за такую возможность оптимизации ввода/вывода (объяснил как смог). Дальше идут настройки по кэшам и политике доступа к данным. Кэш ввода/вывода и собственные кэши накопителя выключаем.

Программа почему то предупреждает по поводу кэша Write-through, который не должен как то повлиять на целость и актуальность данных на физических дисках в случае потери питания.

Видим все настройки созданного виртуального диска (массива), там же можем их изменить, при необходимости.

Инициализируем виртуальный диск в ОС точно так же как обычный накопитель, и проводим тест.

Как видим, размере тестового файла в 1ГБ, скорость выше чем в режиме JBOD, значит кэш работает. Теперь проверим его же, но с размером тестового файла в 512МБ, чтобы целиком влезть в размер кэша. При таком раскладе результат впечатляет, особенно по 4К одиночному чтению (не каждый NVMe SSD так сможет), но увы, это только на 512МБ файле, пока он влезает в RAM кэш. А вот по записи 4К результаты не особо впечатляют, по сравнению с режимом JBOD.
Ну и не забываем что есть софтовые RAM диски, также дающие хорошие скорости, реализуемые программно с помощью специализированных утилит, на базе ОЗУ ПК, для ряда задач можно успешно использовать и их, но надо иметь хороший процессор для «переварки» всего этого.


На этом всё, выводы можете сделать сами, возможно кому то так же понадобится создать массив данных для домашних нужд, с помощью относительно недорого, серверного RAID контроллера от LSI (ныне Avago), и данный обзор послужит «отправной» точкой для этого.
Планирую купить +10 Добавить в избранное +46 +59
+
avatar
+13
Если будете на SSD собирать массив, то учтите:
LSI SAS HBAs with IR firmware do not support TRIM.
LSI SAS HBAs with IT firmware do support TRIM.
Плюс сам SSD должен поддерживать DRAT, чтобы на этих контроллерах в HBA режиме работал TRIM.
hdparm -I /dev/sd[x]
...
           *    Deterministic read ZEROs after TRIM
...
+
avatar
  • sdfpro
  • 10 сентября 2022, 02:41
0
да я знаю про Trim на таких контроллерах. Поэтому и нет смысла производить полную инициализацию диска при создании массива из SSD.
+
avatar
+1
Имеет смысл, чтобы сделать дискам burn-in test.
Видел SSD диски, которые без полного инита входили в строй, но потом уходили через время. Если делать полный инит, то такие кандидаты отпадают сразу.
Бывает критично, если сайт далеко и ты там бываешь не часто.
+
avatar
  • sdfpro
  • 13 сентября 2022, 01:08
0
насчёт этого не подумал да, но это актуально для сверных ssd с нормальным контроллером, на дешманских придется ждать инициализацию очень долго.
+
avatar
0
Хм, а я с год назад видел на Тао партию SASовских SSD от Lexar… жаба добро не дала :)
+
avatar
+1
Класс, рецикляжники рулят!
+
avatar
  • evgeniy1
  • 11 сентября 2022, 22:51
0
«рецикляжники „

это мутная лотерея.
Скорее проиграешь, чем выиграешь.
+
avatar
0
Не спорю, но я их люблю.
Когда начался только вирус-19 я у местного рецикляжника купил за 300 бачей канадских кислородный концентратор на 10л в минуту. Увы пригодился.
+
avatar
  • vlo
  • 10 сентября 2022, 02:46
+11
если учитывать что один 3.5 дюймовый серверный диск на 3ТБ весит сильно больше килограмма.
что это за зверь такой неведомый? 3.5" диски половинной высоты никогда даже килограмм не весили — нечему в этом обьеме столько весить.
все современные 3.5"/sas ничем кроме платы контроллера от sata собратьев не отличаются и сами по себе весят обычные ~500-700г.

хотя сама идея набирать малообьемных неликвидов в неизвестном состоянии и исходно, и тем более после транспортировки представляется весьма сомнительной.

p.s. хотя вспоминается история, как в комплекте к ssd добрый продавец приложил салазки весом больше самого ssd, а размером в разы больше, в итоге посредник взял за пересылку больше, чем стоил сам диск. но для обычного винта такая ситуация представляется маловероятной.
+
avatar
  • sdfpro
  • 10 сентября 2022, 02:52
0
да я видимо напутал, взяв за расчет комплект из диска с салазками ссылка, но 500 грамм они точно не весят, к примеру: ссылка тут все 800 грамм(почти). Разве что новые модели, я же хочу старичков брать). В тексте поправлю.
+
avatar
+2
Да, вот для вас снял фото:
+
avatar
  • sdfpro
  • 13 сентября 2022, 01:08
0
ну почти 800 грамм)
+
avatar
  • vlo
  • 10 сентября 2022, 02:56
+2
либо такая же, но «вечная» батарея уже на суперконденсаторах (ионисторах), она была в разы дороже обычной «умирающей» от времени батареи
они не менее бодро пухнут и дохнут, нежели литий.
+
avatar
  • sdfpro
  • 10 сентября 2022, 03:00
0
я не сталкивался с таким, когда работал, по гарантии никто не приходил, но брали их не много. Вообще я не слышал чтобы ионисторы пухли, скорее там «контроллер» или его обвязка откажет у них, мне так всегда казалось.
+
avatar
  • vlo
  • 10 сентября 2022, 03:46
+1
возможно гарантию они таки обычно выхаживают.
+
avatar
+2
Видел много пухлых суперкапов на HP. На LSI — не видел.
+
avatar
  • evgeniy1
  • 10 сентября 2022, 04:32
+1
думаете, они там принципиально разные?
+
avatar
+4
На LSI не пожалели балансиры, потому не дохнут так часто
+
avatar
+4
Два контроллера hp есть, на обоих по кондеру вздулись.
+
avatar
  • sdfpro
  • 10 сентября 2022, 11:10
0
у них этот блок прямо на контроллере, или тоже внешний, тобишь съёмный?
+
avatar
0
Съёмный. По крайней мере на тех моделях, что я видел.
+
avatar
+1
Вообще я не слышал чтобы ионисторы пухли
Аж бегом. Сейчас китайцы и сюда добрались
+
avatar
  • sdfpro
  • 13 сентября 2022, 01:11
0
ну справедливости ради, в bbu raid контроллеров раньше ставили всё-таки норм ионисторы, сейчас видимо начало экономить. Но по идее, можно же их восстановить, набрать нужную ёмкость и напряжение, даже с запасом, чтобы не бомбанули такие же китайцы с али (последовательное соединение в группу для увеличения рабочего напряжения+ параллельное соединение блоков что бы увеличить ёмкость,) но это конечно уже колхозинг и админ таким заниматься не будет)
+
avatar
  • vismyk
  • 13 сентября 2022, 04:42
0
админ таким заниматься не будет)
Домашний будет. ;)
+
avatar
+4
У RAID5 еще есть недостаток по сравнению с RAID1 — если вдруг контроллер из строя выйдет, а вам срочна инфа понадобится, то RAID1-диски можно прекрасно прочесть и по одиночке, а вот с RAID5 придется повозится.

А вообще, если вы планируете делать 5-й рейд из трех дисков и 4-й ставить для hot spare, а диски сильно б/у, подумайте, может лучше сделать 6-й рейд из 4-х дисков, а 5-й диск приобрести на замену и его держать в шкафу?
+
avatar
  • sdfpro
  • 10 сентября 2022, 03:13
0
да про raid 6 я думал тоже, он по большому счету лучше 5-ого рэйда, но и у него есть нюансы. по большому счету, мне должно хватить 5-ого рэйда, если нагрузки будут небольшие и не интенсивные.
+
avatar
  • linkar
  • 10 сентября 2022, 03:43
+7
Самая жопа RAID5, почему это больно. Винты берутся обычно одной партии, т.е. купили пачку, поставили, собрали рейд. Т.е. время пробега, степень изношенности механики и прочее примерно равнозначны по всем винтам рейда. Наступает час Х, по износу вылетает один винт. Т.е. из трех винтов (минимум для рейда) один убит окончательно. а два других уже подходят к своему финалу.
Мы бежим в магазин, берем новый винт, тыкаем его в корзину — и получаем жутко тормозной ребилд с полной нагрузкой на винты (по чтению) и проц контроллера (ограниченная производительность, выше головы не прыгнешь). Здоровья такая нагрузка винтам не прибавит, а тут они у нас уже на грани (по износу). Есть весьма ненулевая вероятность что при ребилде (под нагрузкой) вылетит следующий винт и весь массив превратиться в тыкву. На разношерстных винтах вероятность немного поменьше, но тоже имеет быть место.
+
avatar
  • givattal
  • 10 сентября 2022, 13:32
+3
По сути — вы правы. Всё так. И по выходу из строя, и по ребилду. Замену надо подбирать не только по имя-объём. У одного производителя есть СИЛЬНО разные диски одного объёма.

Ну и:
Все люди делятся на две категории — те кто знает, что нужно белать бекап, и те — кто уже сделал.
+
avatar
  • Suhoff
  • 10 сентября 2022, 16:45
+4
есть 3я категория — те кто проверил свои бэкапы ))
+
avatar
  • falcon99
  • 10 сентября 2022, 22:02
+1
А есть и 4-я. Это те, которые делают бэкапы, проверяют их и бэкапят.
+
avatar
  • linkar
  • 11 сентября 2022, 05:53
0
Есть 5-я категория. Которая считает что рейд != бекап)
+
avatar
0
тогда уж и 6-я которая считает что рейд == бекап (((
+
avatar
  • sdfpro
  • 13 сентября 2022, 01:12
0
тогда уж есть и 7 категория, кто знает что такое инкрементый бэкап)
+
avatar
  • def461
  • 10 сентября 2022, 15:08
+2
На «зоопарке» из накопителей шанс, что массив будет регулярно падать в состояние degraded — в разы выше, чем при эксплуатации серверных накопителей в серверном помещении в пределах рекомендуемого срока.

Все остальные оценки «сколько проживет» — это как воду у Кашпировского заряжали…
+
avatar
+1
воду у Кашпировского заряжали
у Чумака, но к сути дела это отношения не имеет.
+
avatar
  • evgeniy1
  • 11 сентября 2022, 00:17
+1
не только это.
Даже без внешнего кэша шансы словить Write hole без UPS не столь уж и малые, у дисков-то свой кэш.
И если в ZFS (и некоторых других проприентарных решениях) есть контрольные суммы на все данные (а не только метаданные), то в обычном Raid нет ничего. Хлоп и развалился массив.
+
avatar
  • def461
  • 11 сентября 2022, 00:42
+1
У обсуждаемого контроллера есть 512к кеша, считаем, что на чтение, если не включать принудительно
по умолчанию WB контроллера выключено, и WB для накопителей — тоже.

Потому шанс не записать посмертно — околонулевой
+
avatar
  • evgeniy1
  • 11 сентября 2022, 00:55
+1
Плюс, не забывайте, кэши самих дисков, 64-512Мб.
С одиночным диском проще, с массивом всё становится веселее.
+
avatar
+1
Можно ставить флаг не кешировать самому диску, и рейд-карты ЕМНИП это делают и не дают дискам использовать их собственный кэш.
Либо же рейд карты ждут коммита из дискового кэша и только тогда убивают дату из своего защищенного кэша.
+
avatar
  • def461
  • 11 сентября 2022, 15:35
+2
Вы «представляете» производительность R5 на 4х дисках в режиме WT/WT? %)
+
avatar
0
Кэш рейд контроллера включен постоянно.
+
avatar
  • def461
  • 11 сентября 2022, 16:36
0
по умолчанию — WT
+
avatar
  • evgeniy1
  • 11 сентября 2022, 22:53
0
вполне представляю, это грустно.
+
avatar
  • evgeniy1
  • 11 сентября 2022, 22:53
0
можно, но это грустно.
так что, по-хорошему, UPS + аккум на кэш контроллера, если таковой имеется.
+
avatar
  • sdfpro
  • 13 сентября 2022, 01:15
0
там есть параметр i/o кэширования в настройках, вроде как раз это именно то, но могу ошибаться за давностью лет, надо гуглить.
+
avatar
+2
У меня в проде часто был зоопарк делл дисков, хитачи, сигейты но сасы и 2,5", было ок. До тех пор, пока не ушли на свалку истории и не были заменены SSD
+
avatar
  • def461
  • 11 сентября 2022, 15:36
0
Вы уверены, что этим нужно гордиться и приводить в качестве примера? :)

… можно построить 15 мостов…
+
avatar
+4
что этим нужно гордиться
А кто гордится? Никто.
Я всего лишь парирую пассаж:
На «зоопарке» из накопителей шанс, что массив будет регулярно падать в состояние degraded — в разы выше
Хотите пример? Шасси с Оракл DB заехало в прод в 2016м с 24 дисками по 146. В 2021м в нем ушел один диск.
По runbook прямо предписано ставить на замену то что есть сейчас в наличии из SAS и ближайшего размера, а там и размер и производитель были другими.
+
avatar
  • evgeniy1
  • 11 сентября 2022, 22:55
0
«Я всего лишь парирую пассаж:
На «зоопарке» из накопителей шанс, что массив будет регулярно падать в состояние degraded — в разы выше»

хех, так вы о разных зоопарках говорите.
зоопарк новых, регулярно заменяемых дисков, в условиях нормального ДЦ или серверной комнаты — одно дело, зоопарк б/у-шного, которое уже отработало по 5-6 лет (а то и более), да ещё и дома или в мелком офисе — совершенно другое.
+
avatar
  • evgeniy1
  • 11 сентября 2022, 22:56
0
" electronus
Хотите пример? Шасси с Оракл DB заехало в прод в 2016м с 24 дисками по 146. В 2021м в нем ушел один диск. "

по-хорошему в 2021м надо было бы отправить на свалку все 24 диска и переехать на ssd.
Знаю, знаю порядки и бюрократию в энтерпрайзе, эти вещи иногда занимают годы даже при наличии финансирования.
+
avatar
0
Это в фирме на три буквы — эй-дабл-ю-эс.
Формально деком не объявили — ретрофит никто делать не стал.
По производительности — всё было в пределах ожидания, даже на шасси с v2 камушками.
+
avatar
  • Eeyore
  • 13 сентября 2022, 05:32
0
Вообще в последние годы диски стали надежнее.
+
avatar
+1
Все, что вы написали, по сути, относится к любому рейду — вышел из строя диск, вставляем подмену, массив начинает ребилдиться с повышенной нагрузкой на оставшиеся диски (или диск, если был рейд 1). Это снижает скорость доступа до неприличной и увеличивает шанс отказа оставшихся дисков.

Слышал, что рекомендуют для домашних рейдов ставить одинаковые диски, но из несколько разных партий. Например, купили диск, он сначала поработал в одиночку, затем докупили такой же, сделали рейд 1.
+
avatar
0
Да, и именно потому hotspare бывает вредным, это ТС на заметку.
ТС, не объявляйте хотспэр. Хотите — держите, но не объявляйте, чтобы не было авторебилда.
+
avatar
  • dkuznets
  • 11 сентября 2022, 21:48
0
Святая правда. Вылетел винт на старом сервере (не SAS, SCSI еще был). С трудом нашел похожий, за конские деньги. 5 часов на ребилд. С работы уехал на последнем поезде в метро… Через два дня выпал другой диск…
+
avatar
  • evgeniy1
  • 11 сентября 2022, 22:58
+2
" 5 часов на ребилд."

маленький, скромный массив.
+
avatar
  • def461
  • 12 сентября 2022, 17:51
0
и в чем несоответствие?
Под нагрузкой — легко

Страшней, когда ребилд 3+ суток
+
avatar
0
Мне страшно было, когда ребилд сутки шёл, а за 3+ я бы вообще сна лишился…
+
avatar
  • vismyk
  • 13 сентября 2022, 14:57
0
Полка из 12 штук 10-терабайтников SATA-шных инициализировалась в RAID6 (в фоне, естественно) недели две. Полагаю, время ребилда будет сравнимым… :/
+
avatar
-1
должно хватить 5-ого рэйда
Должно. Но тут встает вопрос — если вдруг вы видите, что один из дисков выходит из строя, что вы будете делать — заменять его, ребилдить массив и продолжать пользоваться? Или же сначала бэкапить данные куда-то еще, после чего уже восстанавливать массив?

В первом случае действительно есть шанс, что в процессе ребилда навернется еще один диск, поэтому, я, когда оказался в такой же ситуации (с 1-м рейдом) сначала делал бекап самых важных данных, потом менее важных (насколько было место), а потом только ребилдил массив.

С 6-м же рейдом можно смело менять диск и наблюдать за ребилдом — если вдруг в процессе ребилда будет зафиксировано ухудшение состояния (или полный выход из строя) еще одного диска, процесс срочно прекращается и начинается бекап.

Если бы мне сейчас пришлось строить рейд из нескольких новых дисков, я бы выбрал 5-й, как более эффективный по используемому месту. Если бы из нескольких б/у — то 6-й, чтобы подстраховаться. Но это лишь мое мнение :)

P.S. На одной из работ был 6-й рейд на 8-ми дисках, который каждую ночь бекапился на другой точно такой же рейд. Надежно? Вроде очень. Что же вы думаете — данные все равно однажды потеряли по причине выхода HDD из строя :) Но там человеческий фактор оказался решающим.
+
avatar
+1
человеческий фактор
Дело было не в бобине? :)))
+
avatar
+4
Дело было не в бобине? :)))
Да. История и смешная, и грустная одновременно.

В двух словах: когда в рейде стали выходить из строя диски, админ обнаружил, что если их менять местами с запасным рейдом, система продолжает работать. Таким образом, он однажды вытащил третий диск из массива и тот развалился. Данные были зашифрованы трукриптом (или бесткриптом, не помню), в восстановлении отказали все известные столичные конторы.
+
avatar
  • evgeniy1
  • 11 сентября 2022, 01:06
+2
отличная история, аплодирую.

" админ обнаружил, что если их менять местами с запасным рейдом, система продолжает работать"
уже на этом месте весело.

или «админ обнаружил», или вариантов нормально эксплуатировать массивы не было, нередко ж оно как происходит:
Raid, да, он нам нужен… давайте купим, нередко берётся дорогая модель, а потом хлоп! денег на обслуживание нет, купленной поддержки (она нужна, чтобы вам быстро помогли решить проблему и/или быстро заменили) нет.
+
avatar
0
а потом хлоп! денег на обслуживание нет
Так и было, рейд был построен на «обычных» сигейтах на 1.5 ТБ, спустя пару лет они начали выходить из строя, что логично, т.к. для серверов они не особо предназначены. Когда запас запасных закончился, админ пошел к директору, чтобы закупить новых, тот сказал, что времена трудные и денег на это нет. Админ «нашел выход из положения», меняя диски.

Тем не менее, считаю, что надо было при выходе первого диска из строя пойти к директору, а при выходе второго (это было с достаточной разницей, около месяца) просто выключить сервер.
+
avatar
+3
Ага, а точнее при получении отлупа «нет денег» — начать искать новую работу :)
Сервер бы сам выключился. Потом. Без него.
+
avatar
0
Ага, а точнее при получении отлупа «нет денег» — начать искать новую работу :)
Так и вышло, практически. Где-то через полгода я работу и сменил. Но там было не так уж плохо, на самом деле, людям там платили зп раньше, чем покупали оборудование :)
+
avatar
  • evgeniy1
  • 11 сентября 2022, 23:02
0
ну, «искать новую работу » это если человек там постоянно работал,
а если такой тип просто один из клиентов — главное вовремя письменно предупредить, касается работы с клиентами от мелкой конторки до крупного энтерпрайза, вся разница в форме ( и адресате) написания письма.
потом, когда случается ой-караул, «а мы предупреждали».
+
avatar
  • evgeniy1
  • 11 сентября 2022, 23:00
0
типичная, знакомая история.
Таких дерьмекторов как мух.
+
avatar
  • sdfpro
  • 13 сентября 2022, 01:21
0
жуткая история конечно)
+
avatar
  • evgeniy1
  • 11 сентября 2022, 00:21
+2
«С 6-м же рейдом можно смело менять диск»

типичная ошибка домашнего рэйдостроителя: рассуждать о надёжности логики массива, забыв про то, в каких реальных условиях тот массив работает.

Какой-то комп, или небольшой NAS, UPS чаще всего нету, и тут Вася делает ухх, raid-массив, это же круто и надёжно.
Многие бытовые NAS, кроме всего прочего, даже с 7200ми дисками не очень дружат, если заполнить все слоты, перегрев и вибрации, плюс маломощные БП, знаю случай, когда банально не хватало тока.
+
avatar
0
забыв про то, в каких реальных условиях тот массив работает.
Нормальные условия работы подразумеваются — если у вас в сетевом хранилище 2 диска живут нормально, а 4 перегреваются — не ставьте 4 и не рассматривайте ни 5-й, ни 6-й рейды. Или вентилятора скорость увеличьте.
UPS чаще всего нету
Тут вероятность сбоя и 5-го, и 6-го массива примерно одинакова. Но автор не планирует эксплуатировать под серьезной нагрузкой, так что вряд ли для него это важно.
типичная ошибка домашнего рэйдостроителя
Не очень понятно, что именно вы хотели сказать, можете подробней описать?
+
avatar
  • linkar
  • 11 сентября 2022, 04:53
0
UPS чаще всего нету
Не факт, есть кейсы, когда домашняя лаба растет постепенно и упс появляется гораздо раньше наса.
+
avatar
+2
Ага, бывает УПС даже первым появляется :)
+
avatar
  • sdfpro
  • 13 сентября 2022, 01:25
0
я знаю случай когда у сервера с корзиной на 8 дисков, у бэкплэйна не хватало тока всю эту корзину запустить, а зарубежные «специалисты» советовали менять клиенту по гарантии бэкплэйн «до упора», хотя было очевидно что это косяк в проектировании, уже не помню были ли валидированы диски что были у клиента, ну замену сделали ему конечно же- не помогло, пришлось ему один диск из корзины изымать…
+
avatar
0
А блок питания поменять на более мощный не пробовали?
+
avatar
  • linkar
  • 13 сентября 2022, 11:13
0
А блок питания поменять на более мощный не пробовали?
Это же не десктопный системник. А в каком нибудь пролианте заменить бп на более мощный — скажем так, весьма нетривиальное занятие. И по бюджету тоже.
+
avatar
0
А я абсолютно уверен, что это можно сделать на ходу, даже не выключая сервер, если стоит резервный. Во всех средних и старших линейках — это штатная возможность. Прямо на ходу выдвигается старый и задвигается новый. Ни один десктопник на это не способен. Даже винтиков откручивать не надо, только одна защёлка. Бюджет и доступность тут другие, как и у любого серверного железа, но место под один лишний bay в стойке порой может дороже обойтись. К тому тут речь идёт про сервис-центр, там то должны быть запасные блоки, чтобы проверить не покупая новый.
+
avatar
  • linkar
  • 13 сентября 2022, 13:09
0
Во всех средних и старших линейках — это штатная возможность. Прямо на ходу выдвигается старый и задвигается новый
Вынуть-всунуть не проблема. Проблема в том, что не всех серверах есть возможность плясать по б/п, поэтому, как было замечено, это решается отложенным стартом, а выплывает эта штука, когда меняют на большие диски.
+
avatar
0
не всех серверах есть возможность плясать по б/п
Ну вот открыл спецификацию на 12LFF пролиант, который у меня на работе:
QuickSpecs
HP CS power supply options provide efficiency ratings of up to 94% (80 Plus Platinum) and are available in three power output options — 460W, 750W, and 1200W — allowing the customer to «right-size» a power supply for their specific server configuration.
И вообще не представляю, чтобы в «каком-нибудь пролианте» мог быть такой косяк с недостатком мощности для раскрутки дисков. В неправильно подобранную конфигурацию, когда взяли готовый минимальный комплект, а потом не рассчитав проапгрейдили — поверю, а в то, что нет подходящего БП — уже нет. Хотя если это будет не HP, а условный Intel (автор вроде писал, что именно в его СЦ работал), то поверю сразу. Пару раз пытались сэкономить и брали их сервера «на пробу», в итоге я зарёкся с Intel ещё раз связываться. Вон и ниже автор пишет какие-то страсти про питание корзины.
P.S. Про отложенный старт я и писал.
+
avatar
  • sdfpro
  • 14 сентября 2022, 02:09
0
причем тут БП?) там рэковый 2U сервер с двумя БП по 750Вт, потребление всей системы в пике около 400Вт. Проблема в том что корзина питается по своему(от БП, но внутри много чего своего), и мало того она ещё и с обратной связью.
+
avatar
0
Ну значит рукожопы его проектировали, раз так просчитались.
+
avatar
  • mitiok
  • 10 сентября 2022, 08:38
+17
мне кажется странной идеей делать 6-ой рейд из 4-х дисков. Из 4-х надо делать 10-ый.
+
avatar
  • Zolg
  • 10 сентября 2022, 13:59
0
Нет. 1+0 это вариант «для бедных»: если же проблем с производительностью контроллера (или программной реализации) нет, то 6 будет предпочтительней 10.
Ёмкость у них (в случае массива из четырех дисков) одинаковая, да.
Но шестерка сохраняет работоспособность при отказе двух любых дисков в массиве. А вот 1+0 только если эти диски принадлежали к разным зеркалам. В случае отказа двух дисков, зеркалировавшихся друг на друга, вы по сути получаете raid 0 с отказавшим одним диском. Т.е. проще говоря — потерю всех данных
+
avatar
+1
Вот именно поэтому «для бедных» — это 6. 10-ый — для тех кому ехать, а не экономить на лишнем диске.
+
avatar
-2
10-ый — для тех кому ехать, а не экономить на лишнем диске.
Если только ехать в страну образования :) Потому что 10-ка по количеству дисков ничем не лучше 6-ки.
+
avatar
+1
Я предпочитаю ехать в страну производительности.
+
avatar
-1
Мы здесь разве где-то обсуждаем производительность? Для домашних хранилищ это далеко не самый важный фактор. Здесь речь про надежность, т.к. автор хочет построить массив из б/у дисков. Если нужна производительность, то есть совсем другие решения.

А с точки зрения надежности 10-й рейд проигрывает 6-му.
+
avatar
  • def461
  • 11 сентября 2022, 15:38
+1
Вы тоже путаете термины «надежность» и «отказоустойчивость»
+
avatar
0
Вы тоже путаете термины «надежность» и «отказоустойчивость»
Может быть. Но:
Надежность — cтепень того, насколько пользователи могут положиться на продукт или сервис для решения своих задач. Доступность и устойчивость являются видами надежности.
Отказоустойчивость — способность системы сохранять надежность (доступность и устойчивость) при отказе отдельных компонентов или сбоях в подсистемах.
То есть, с точки зрения функций рейда, основная характеристика — отказоустойчивость. С точки зрения пользователя, основная характеристика — надежность. При этом, они связаны и, по сути, в данном контексте вполне понятно, о чем идет речь. Так что не стоит придираться :)
+
avatar
  • def461
  • 11 сентября 2022, 18:17
0
фу быть таким и цитировать кривой перевод Байерса, да еще относящийся к сервисам :)
+
avatar
-2
фу быть таким и цитировать кривой перевод Байерса, да еще относящийся к сервисам :)
слиф защитан © :)
+
avatar
0
Когда mitiok выше первым упомянул про 10, он не указал, чем конкретно он лучше 6, а т.к. с точки зрения надежности 10-й рейд проигрывает 6-му, но выигрывает с точки зрения производительности, то я логично предположил, что мы именно про производительность при достаточной для домашних задач надёжности. Количество плюсов под его каментом подтверждает мою точку зрения, или все те люди тоже ошибаются?
+
avatar
0
Когда mitiok выше первым упомянул про 10, он не указал, чем конкретно он лучше 6, а т.к. с точки зрения надежности 10-й рейд проигрывает 6-му, но выигрывает с точки зрения производительности, то я логично предположил, что мы именно про производительность при достаточной для домашних задач надёжности
Он не указал, но вы-то ветку обсуждения читали? :) Его комент был ответом на мой:
А вообще, если вы планируете делать 5-й рейд из трех дисков и 4-й ставить для hot spare, а диски сильно б/у, подумайте, может лучше сделать 6-й рейд из 4-х дисков, а 5-й диск приобрести на замену и его держать в шкафу?
И тут достаточно четко понятно, что я говорю про надежность. Да и автор как бы вторым предложением обзора поясняет, для чего ему рейд:
Контроллер понадобился мне для организации надёжного массива RAID5, аппаратными средствами, который я хочу собрать из б/у серверных дисков
И ниже:
Я не планирую давать сильную нагрузку на этот массив, и вообще думаю его только изредка включать
Я вообще не понимаю, откуда взялась речь о производительности? Коммент mitiok был, как бы, не в тему, но ему там объяснили, я повторять не стал.
+
avatar
0
Ну значит я его (или вас) неправильно понял. Хотя с ним согласен — из 4 дисков лучше соберу 10.
+
avatar
  • Zolg
  • 11 сентября 2022, 01:57
+1
Скажите, вы толсто тролите, или же действительно настолько не разбираетесь в вопросе?
Речь не об экономии дисков, а о том, что raid6 гарантированно отказоустойчивоств при выходе из строя двух дисков массива. А raid 10 — одного. бОльшие количества возможны, но не гарантированы.
При любом количестве дисков в массиве количестве дисков в массиве.
К тому что при этом raid6 при количестве дисков >4 даёт выигрыш а полезной ёмкости можете относится как к приятному бонусу
+
avatar
+1
А если подумать? Я про производительность, а не выигрыш полезной ёмкости (=для бедных).
Хотя если ещё подумать, то оба эти варианта для «бедных», раз есть RAID 60.
+
avatar
  • Zolg
  • 11 сентября 2022, 20:29
-1
«бедность» в данном случае не про экономию дисков, а про дешёвые контроллеры, умеющие в raid 6 для галочки и с никакой производительностью.
Ещё раз: при любых раскладах raid6 обеспечивает бОльшую отказоустойчивость, чем 10.
При качественном контроллере обеспечивая ту же производительность (ну и выигрыш в ёмкости при количестве дисков >4)
+
avatar
  • l0ser140
  • 11 сентября 2022, 00:57
+2
Вот только raid6 на запись имеет производительность меньше, чем выдаёт 1 диск. И х2 на чтение.
А raid10 будет выдавать х2 на запись и х4 на чтение.
+
avatar
  • Zolg
  • 11 сентября 2022, 01:46
-1
Это исключительно вопрос производительности контроллера/программной реализации.
Никаких теоретических препятствий иметь производительность x(N-2) на запись и даже xN на чтение (при чтенинии нескольких блоков) у raid6 нет.
Что прекрасно демонстрирует zfsный raidz2 на более-менее жирном железе.
Но многие low-end контроллеры (и high-end былых лет) типа умеющие в raid5/6 по факту демонстрируют по современным меркам удручающую производительность. Но это проблема не технологии как таковой, а скорости вычисления контрольных сумм железом.
+
avatar
  • sdfpro
  • 13 сентября 2022, 01:43
0
не понятно за что вас минусуют, видимо не понимают логику работу этого типа рэйда, ведь там реально всё упирается в контроллер(ну почти), хотя увеличивается сложность, в случае восстановления этого массива итд.

10-тка проще, не требует ресурсов на вычисление, но надёжность ее хоть и приемлемая, но слабее чем у 6-ого, это бюджетное решение для тех серверов где трубуется максимальная производительность, с минимальным уровнем надёжности, т.е по сути сильные стороны 1-ого рэйда усиленные нулем в плане скорости. Сколько дисков в такой массив не ставь (можно собрать много единичек и объединить их в ноль), всегда будет эффективная ёмкость 50%, но чтение будет идти со всех дисков массива сразу, за минусом разности задержек между дисками, а вот запись уже пойдет по сути на все диски так же, но максимальная теоретическая скорость упадет в два раза
В шестёрке надёжность выше, и эффективность то же, но раскроется она на большом кол-ве дисков. Если смотреть массив из 4-х дисков, то 10тка эффективнее во всем, но менее надёжна. Но под 6рку сложно собрать быстрый на чтение массив(из-за сложности найти быстрый контроллер, не 100% дисков участвуют в чтении там), у него другая изначально задача.
+
avatar
  • sdfpro
  • 10 сентября 2022, 14:38
0
ниже уже ответили в чем фишка 6-ого рэйда, иначе зачем его тогда придумали если так все плохо? Под каждый случай свое применение, везде есть свои достоинства и недостатки, идеального ничего нет(идеальное под каждый случай), иначе все остальное давно бы уже вымерло.
есть кстати ещё тот же 60 рэйд, и 1e raid.
+
avatar
  • mitiok
  • 10 сентября 2022, 16:17
+1
Я говорил про конфигурацию из 4-х дисков. У меня дома тоже 6-ой, но на 8-ми дисках.
+
avatar
  • linkar
  • 11 сентября 2022, 05:51
+1
Из 4-х надо делать 10-ый
Подождите, сначала давайте выясним, зачем нам нужен рейд. Либо нам не хватает объема, либо iops, либо играем в отказоустойчивость. Либо процентное сочетание этих трех факторов, оглядываясь на то железо, которое нам доступно. Т.е. сначала задача — затем поиск решения.
+
avatar
  • mitiok
  • 11 сентября 2022, 07:34
0
Ещё раз: из четырёх дисков.
+
avatar
  • linkar
  • 11 сентября 2022, 08:56
+2
Ещё раз: из четырёх дисков.
Из четырех дисков и нулевой можно собрать, задача то в чем? К слову, в одном кейсе так и работает, 4x1Tb, потеря данных не критична, критично чтение.

ЗЫ: даже не так выразился, я то согласен за 10-й, но не всегда 4 диска — это не всего обязательно 10.
+
avatar
+1
Видел на рутрекере утилиты, умеющие рейд5 собирать из образов программно.
Там ведь простой XOR, ЕМНИП.
+
avatar
  • sdfpro
  • 10 сентября 2022, 03:10
0
и ещё в защиту Sas, у дисков на 10к и 15к явно механика получше будет, у 7.2к надо смотреть по времени доступа, мб головки чуть лучше будут, и возможно по наработке на отказ. саташки вроде как всё идут на 7.2к.
+
avatar
  • vlo
  • 10 сентября 2022, 03:43
+4
3.5" 10+k давно вымерли, чита 15k7 — выпущена больше 10 лет назад и имела максимальную емкость аж 600гиг. а внутри — 2.5" блины. сомневаюсь что честные 3.5" с такими оборотами вообще существовали.

потолок 2.5" 10k — 2.4тера, им уже лет 5 и ничего нового на этом поприще больше не будет.
+
avatar
  • evgeniy1
  • 10 сентября 2022, 04:13
0
" сомневаюсь что честные 3.5" с такими оборотами вообще существовали."

Могу ошибаться, но, кажется, самые первые 15К были с дисками побольше размером.
+
avatar
+2
Не-а, внутри мелкие блины были, но корпус 3,5"
+
avatar
0
внутри мелкие блины
Для чего так? Для снижения времени поиска?
+
avatar
  • linkar
  • 11 сентября 2022, 16:58
+1
Для снижения времени поиска?
Обороты. Это компромисс между 10-15к оборотами (грубо говоря, в 2-3 раза больше типичных 5400//7200) и технологиями изготовления блинов.
+
avatar
+1
Обороты
Получается, центробежная сила. Интересно…
+
avatar
  • linkar
  • 11 сентября 2022, 17:57
+2
центробежная сила
В основном да, но добавляется и вес блина, и требования к подшипникам и т.д.
+
avatar
  • evgeniy1
  • 10 сентября 2022, 04:14
+3
«и ещё в защиту Sas, у дисков на 10к и 15к явно механика получше будет, у 7.2к надо смотреть по времени доступа, мб головки чуть лучше будут, и возможно по наработке на отказ. саташки вроде как всё идут на 7.2к. „

как уже выше написали, новых нет уже много лет, кроме спец. поставок для старых корп. заказчиков и их legacy. И это дорогущие диски смешного размера.
Так что купить вы сможете только сильно б/у — шные диски, которым 5-7 и более лет. Впрочем, они зато будут дешёвыми.
+
avatar
  • Nekto
  • 10 сентября 2022, 06:25
-1
как уже выше написали, новых нет уже много лет, кроме спец. поставок для старых корп. заказчиков и их legacy.
На авито новые «старые» диски покупаю. Есть еще запасы у людей.
+
avatar
  • sdfpro
  • 10 сентября 2022, 10:06
0
так я их не собирался покупать. я говорил про вообще sas диски.
+
avatar
0
Пару месяцев назад разбирал чита 15к — там честные 3.5 блины.
+
avatar
  • sdfpro
  • 10 сентября 2022, 10:05
0
по ёмкости да, там печаль. 2. дюймовски высокооборотистые в свое время были норм вариантом, пока их не вытеснили SSD.
+
avatar
  • linkar
  • 10 сентября 2022, 03:44
0
у дисков на 10к и 15к явно механика получше будет,
Sas греются (т.е. и энергопотребление у них соответствующее) и шумят/стучат прямо таки от души.
+
avatar
  • sdfpro
  • 10 сентября 2022, 10:09
0
у них могут быть достаточно высокие пусковые токи(у меня был случай, что на рэковом сервере, с дисковой корзиной на 8-емь 3.5 дисков, сервак не мог у клиента раскрутить все 8 шпинделей, пришлось один диск удалять), а насчёт нагрева в процессе работы, да они погорячее, но прям не сказал бы что раза в 2 больше едят чем допустим десктоп sata hdd, а если с Энтерпрайз Hdd sata сравнивать, то там все примерно сопоставимо.
+
avatar
+1
Что за контроллер в сервере был? Нормальные именно из-за этого могут стартовать диски не одновременно, а по очереди.
+
avatar
+1
Staggered spinup нужно было искать и включать.
+
avatar
  • evgeniy1
  • 10 сентября 2022, 04:23
+2
Надёжность Raid5 массива из сильно изношенных б/у дисков будет как-бы не хуже, чем у 1 нового диска.
Учтите, когда в таком массиве вылетает 1й диск, начинается ребилд, те. повышенная нагрузка на все остальные диски, в результате они нередко начинают сбоить в процессе ребилда.
У контроллера же логика простая: сбой ->> вылет диска, а тк. 1 уже вылетел, то это развал массива. И добро пожаловать на восстановление R5, процедура весьма недешёвая.
+
avatar
+1
Резервное копирование перед заменой диска и началом ребилда будет куда проще, надёжнее и дешевле восстановления.
+
avatar
  • aik
  • 10 сентября 2022, 07:57
+2
Резервное копирование вообще всегда надо делать, вне зависимости от статуса массива. :)
+
avatar
0
Естественно, но в домашних условиях, как у автора, этим крайне мало кто занимается. Поэтому, хотя бы перед ребилдом.
+
avatar
  • evgeniy1
  • 10 сентября 2022, 16:00
+4
тут встаёт главный вопрос: а зачем вообще такой Raid массив из старых изношенных дисков нужен дома?
Проблемы и минусы есть, плюсов не видно.
+
avatar
  • sdfpro
  • 10 сентября 2022, 21:32
-1
дёшево, объёмно, в теории надёжней чем одиночный диск из магазина.
+
avatar
  • def461
  • 10 сентября 2022, 23:27
+2
в теории надёжней чем одиночный диск из магазина
Вы путаете термины «надежность» и «отказоустойчивость».

Даже в теории — менее надежно, чем новый диск из магазина.

Так, для погуглить: посмотрите кривую отказа дисков после 60-го месяца работы в идеальных условиях серверного помещения.

Про домашний старт-стоп, калечный блок питания и отвратительно охлаждение для более горячих энтерпрайз-дисков — тоже можно погуглить/посчитать.
+
avatar
  • sdfpro
  • 13 сентября 2022, 01:53
-1
нет я не путаю. надёжность у «домашнего диска», относительно низкая сама по себе изначально, я беру более надёжные диски изначально, но сильно изношенные, условно получаю надёжность близкую к домашнему димку для каждого из бу дисков, далеее, получаю что отказоустойчивость у меня ниже в 3 раза, если я создам raid 0 из 3-х бу дисков, так как вероятность выхода из строя устроится, при прочих равных с одиночным десктопным диском. Далее я беру диски raid массив уровня 5, отказоустойчивость при этом возрастает почти в 2 раза, но и она будет ниже чем у одиночного диска. но нельзя однозначно сказать что же будет в итоге лучше, 3 изношенных диска в массиве, или один новый, с не понятным качеством изначально, я склоняюсь что серваявне варианты надёжнее будут в итоге. Плюс все сильно будет зависеть от нагрузки. Далее, по поводу БП, кто сказал что у меня будет плохой БП? нужный ток и стабильное напряжение на концах проводов будет, с охладом тоже вопрос решаем, темболее что я озвучил сценарий использования при котором диски не будут барабанить как проклятые 24/7, т.е нагрузка будет не разу не серверная. Да и серверные диски не прям уж сильно горячее десктопных будут.
ну и окончательное решение по накопителям я ещё пока не принял.
+
avatar
  • def461
  • 13 сентября 2022, 09:33
0
Я же говорю, что Вы термины слышали, но что они означают и их взаимосвязь и расчет — не понимаете. Что, собственно, и подтвердили своим развернутым ответом.

Так же выводы и оценка последствий для тех или иных наборов оборудования, к моему глубокому сожалению, аналогичные.

Жаль.
+
avatar
  • sdfpro
  • 14 сентября 2022, 02:12
0
ну так поясните тем кто не понимает, я что то ваших доказательств не увидел, только осуждение.
+
avatar
  • evgeniy1
  • 11 сентября 2022, 00:14
+1
"sdfpro
дёшево, объёмно, в теории надёжней чем одиночный диск из магазина. "

Вы бы, для начала, подучили теорию. А потом посчитали затраты и гемор.
не обижайтесь.
+
avatar
  • sdfpro
  • 13 сентября 2022, 01:58
0
теория теорией, но любой диск это черный ящик, точно нельзя сказать ничего, и цифры тут ничего не решают(данные расчетов априори будут не точные), когда мы говорим об относительно малом кол-ве дисков.ю. видя какие по качеству сейчас современные диски для домашнего использования, я б сильно поспорил, но не стану, ибо и ваших словах есть правда.
+
avatar
+2
Совершенно с вами согласен. Разве что есть доступ к куче бесплатных дисков, но дома я бы такое всё равно держать не стал.
+
avatar
  • evgeniy1
  • 11 сентября 2022, 00:13
0
«Разве что есть доступ к куче бесплатных дисков»

… и бесплатной серверной комнате с охлаждением, резервным питанием и звукоизоляцией.
+
avatar
  • def461
  • 11 сентября 2022, 00:44
+1
… и с бесплатными нафиг не нужными данными…
+
avatar
  • sdfpro
  • 10 сентября 2022, 10:11
0
ну я об этом в статье как раз и написал.
+
avatar
  • Yurissum
  • 10 сентября 2022, 04:25
+1
Диски SAS на 15 000 оборотов нехило так гремят. Я лет 10 надад прикупил контроллер с дисками. Это был ад! Хотя может Залмановский корпус из фольги виноват. В остальном доволен. 10 лет прошло дискам хоть бы что. Крутятся SQL базы.
+
avatar
  • evgeniy1
  • 10 сентября 2022, 04:33
0
«Диски SAS на 15 000 оборотов нехило так гремят. „

там, где они обычно стоят, в ДЦ, это не проблема.
А ежели кто себе домой берут, или в офисные компы, так они сами себе злобные Буратины.
+
avatar
  • playnet
  • 10 сентября 2022, 05:50
0
учитывая что любой китайский ссд для дома/офиса будет значительно холоднее, быстрее и менее проблемный…
В сервер — более спорно, но есть многолетний опыт с samsung pro серией под БД — износ там до сих пор процентов 30, примерно по 10% в год.
Дома ещё круче, ссд кингстон на 120 гиг под СВОП — лет 5 уже, и помирать не собирается.
+
avatar
  • sdfpro
  • 10 сентября 2022, 10:13
-2
под бд уже достаточно давно топ вариант оптаны, из-за достаточно большого ресурса и низких задержек. Ну или программный ram диск, используемый только на чтение, или с защитой питания если и на запись.
+
avatar
  • Alexx_B
  • 10 сентября 2022, 09:42
+1
диски на 15К фсё. в смысле — с появлением ssd давно перестали обновляться, так что размеры их, по нынешним временам, копеечные. ssd на 1tb стремительно теряют в цене, при этом быстрее, тише, меньше жрут электричества
+
avatar
  • sdfpro
  • 10 сентября 2022, 10:15
0
это да, вообще они уже лет так 8 все, ибо уже в то время были сильно дороги, даже по отношению к уже появляющимся MLC SSD корпоративного уровня, соответствующей ёмкости, и с большими скоростями, и самое важное с меньшим потреблением, что очень важно для ДЦ.
+
avatar
  • Xenos
  • 10 сентября 2022, 05:02
+9
RAID-5 без кеша записи — это грусть.
Кеш записи без резервирования (батарейка/ионистор) — слабоумие и отвага :)
+
avatar
  • sdfpro
  • 10 сентября 2022, 10:15
0
так контроллер и не даст его врубить без bbu)
+
avatar
  • def461
  • 10 сентября 2022, 10:55
+2
1 раз спросит и даст
+
avatar
  • sdfpro
  • 10 сентября 2022, 11:08
-1
не даёт. проверял. в обзоре есть скрин с консоли. в msm тупо этой опции нет, только wt доступен, так как он не видит bbu.
+
avatar
  • def461
  • 10 сентября 2022, 11:45
+4
Обожаю дискуссию на базе единственного контроллера и единственной попытки :)

1. WB можно включить как для самого контроллера так и для накопителей
2. Доступность этой функции (принудительного включения WB) зависит от фирмвари контроллера
3. У Вас проприетарная модификация от NEC, а не 9267 — часть функций могут не работать или работать иначе, даже через CLI
+
avatar
  • sdfpro
  • 10 сентября 2022, 14:19
-1
так я говорю в рамках контроллера который на обзоре и более того, я более чем уверен что на этой прошивке и на других контроллерах картина будет та же, ибо они все братья близнецы, как и прошивки.
вы изначально написали что включить можно, я привел при ее что нет, и это по сути верно с точки зрения безопасности и прибыли для производителя).
+
avatar
  • def461
  • 10 сентября 2022, 14:47
+7
Я же говорю, что обожаю такие «споры».

Я Вам говорю «в рамках» работы в том числе с контроллерами LSI 15+ лет, что Ваш «опыт 1 экземпляра», который Вы пытаетесь глобально эстраполировать, не является репрезентативной выборкой.

И куча «тезисов», выдвинутых в обзоре, притянуты за уши ввиду околонулевого опыта.
Причины моей уверенности, что Вы нуб в серверном и рейдах — непонимание, что
«LSI 9267-8i» и «N8103-150» не являются близнецами.

Пассаж про «с точки зрения безопасности и прибыли для производителя» — это из области заговора рептилоидов.
+
avatar
  • sdfpro
  • 14 сентября 2022, 02:15
0
гадание пошло да? а у вас какой опыт? чуть более моего видимо? так в чем отличие то озвучьте тогда.
+
avatar
  • valerak2
  • 10 сентября 2022, 05:04
+1
imho все это баловство
лучше сделать програмный рейд 1 из двух бу дисков на пару терабайт
скорость будет примерно таже, зато не будет проблем, если сдохнет сам контроллер (придется искать такой же)
цена тоже примерно таже
жрать и греться будет меньше
+
avatar
  • sdfpro
  • 10 сентября 2022, 10:19
-1
с контроллером да, но это распространенные контроллера, все кроется только а его цену и допустим пару дней времени, если срочно брать б/у с мск. можно и похожий же взять, он нормально затянет массив. а так вообще, умирают они не часто.
+
avatar
  • valerak2
  • 11 сентября 2022, 13:35
0
это лишняя точка отказа в любом случае
+
avatar
  • deadcxap
  • 10 сентября 2022, 20:07
-1
В таком виде вы никак не защищаете системные диски, в программном рейде систему на этот рейд вы же не поставите?
+
avatar
  • sdfpro
  • 10 сентября 2022, 21:33
0
почему, если подсунуть ОС нужный драйвер при установке, то поставлю как на обычный диск.
+
avatar
  • valerak2
  • 11 сентября 2022, 13:33
+1
Системные диски тоже защищаются. Гуглить Dynamic disks
+
avatar
0
зато не будет проблем, если сдохнет сам контроллер (придется искать такой же)
То же самое и для аппаратного первого рейда — можно прочитать диск и без контроллера. Имхо поэтому такой рейд для дома предпочтительней.
+
avatar
  • valerak2
  • 11 сентября 2022, 13:35
+1
Для дома предпочтительнее програмный рейд… Он ни чем не хуже, чем с контроллером. Раньше, когда процы были дохлые, еще была какая-то разница.
+
avatar
0
Для дома предпочтительнее програмный рейд
А чем он лучше «аппаратного» или настоящего аппаратного? То есть, если возможность сделать аппаратный есть без покупки чего-то дополнительно.
+
avatar
  • valerak2
  • 11 сентября 2022, 16:03
0
уже писал выше…
«не будет проблем, если сдохнет сам контроллер (придется искать такой же)
цена тоже примерно таже
жрать и греться будет меньше»
+
avatar
  • sdfpro
  • 13 сентября 2022, 02:02
0
раньше это когда? что мешало 10 рэйд собрать на пентиуме 4-ом которому суде почти 20 лет? или вы про пятый рэйд?
+
avatar
  • valerak2
  • 13 сентября 2022, 05:40
0
на четвертом пне расходы проца даже на 10-й рейд были заметны…
+
avatar
  • sdfpro
  • 14 сентября 2022, 02:20
0
уверен что они были практически аналогичны тем же расходам на работу 4-х хдд одновременно.
+
avatar
  • valerak2
  • 14 сентября 2022, 03:31
0
нет, каждый диск занимал какое-то процессорное время (ну и память и тп). Просто относительно все производительности проца это была большая часть (десятки процентов), а сейчас уже единицы…
+
avatar
  • jh7
  • 11 сентября 2022, 16:01
0
Как сказать. Это зеркало, получаешь один диск по цене двух. Для дома меня жаба задушит такое делать.
+
avatar
0
Для дома меня жаба задушит такое делать.
Это только до первой потери важных данных…
+
avatar
  • linkar
  • 11 сентября 2022, 17:14
+1
Это только до первой потери важных данных…
Чтобы ограничить потерю данных, делают резервные копии, а не строят рейды.
+
avatar
0
делают резервные копии
А куда вы данные-то резервировать будете? :) Если процесс автоматизировать (как он и должен быть), то целевое хранилище должно быть достаточно надежным. В домашних условиях — это рейд.

То есть, работаете вы на чем угодно, например, на ссд, чтобы было быстро. Далее настраиваете периодический бэкап на внешнее сетевое хранилище, где уже рейд.
+
avatar
  • linkar
  • 11 сентября 2022, 17:53
+2
В домашних условиях — это рейд.
Не обязательно. Винт/диск, лежащий на полочке; онлайн-сервис с подпиской; внешний usb-винт — ключевое здесь то, что это копия каких-то данных. Часто — несколько копий в разных местах, локально, на внешнем ресурсе, удаленно, не важно. И это все не рейд, но это все — резервные копии.

Рейд, начиная с 1 уровня — это уже поиграть в отказоустойчивость за счет избыточности. Это когда выход одного (нескольких, смотря от решения) носителей не поломает консистентное состояние дискового пространства, т.е. нашего массива. А уже что лежит поверх этого массива, какая файловая система, какие файлы и так далее — эти задачи рейд не решает.

То есть, работаете вы на чем угодно, например, на ссд, чтобы было быстро. Далее настраиваете периодический бэкап на внешнее сетевое хранилище, где уже рейд.
Опять же, не обязательно. Я могу работать на raid1, чтобы если вдруг чего — поменял винт и работаешь дальше. И тут же делать резервную копию на одинокий внешний hdd, если дропнул файл — полез в бекап, достал копию.

Рейд и бекапы — это разные технологии, они просто часто идут рядышком. Но они не взаимозаменяемы.
+
avatar
+1
Не обязательно. Винт/диск, лежащий на полочке; онлайн-сервис с подпиской; внешний usb-винт — ключевое здесь то, что это копия каких-то данных.
Ну вы же читали, что я написал выше? Или нет? :)
Если процесс автоматизировать (как он и должен быть)
Если бэкап будет основан на ручных действиях (подключить диск, флешку, вставить DVD-RW и т.д.), рано или поздно дома на это забьют. Так не будет работать, бэкап должен быть строго автоматический, даже без единого запуска программы или нажатия мышкой со стороны пользователя.

И что имеем в остатке? Удаленный облачный сервис или «локальный облачный сервис» — то есть, сетевое хранилище :) Можно бэкапить на второй жесткий диск, но это тоже менее надежно — если, например, компьютер сгорит из-за повреждения БП, бэкап тоже потеряется.

В итоге, получается, бэкапить надо на другое устройство. Но оно должно само быть достаточно надежным, чтобы в случае чего этот бэкап оттуда можно было успешно извлечь. И тут уже на сцену выходит рейд.
они просто часто идут рядышком
А я о чем говорю? :) Просто изначально опустил всю долгую цепочку размышлений и сразу написал итог, например, к которому пришел сам — когда сохранность данных имеет значение, стоимость лишнего жесткого диска уходит на второй план, и «жаба» молча смотрит со стороны.
Но они не взаимозаменяемы.
Ну, в общем, да, но не совсем. Ваш пример, когда работают прямо на рейде, это уже какая-никакая, но замена бэкапам. От кучи разных проблем не спасет, но если цель именно защититься от отказа жесткого диска — прокатит. Я так делал, кстати, много лет.
+
avatar
  • linkar
  • 11 сентября 2022, 19:22
0
Если бэкап будет основан на ручных действиях (подключить диск, флешку, вставить DVD-RW и т.д.), рано или поздно дома на это забьют
Это уже стратегия резервного копирования. Горячие-холодные копии, схема 3-2-1 (три копии, два устройства, одно внешнее) и т.д. Для дома хороши одни решения, для работы другие.

это уже какая-никакая, но замена бэкапам
Никакая, и не замена.

От кучи разных проблем не спасет, но если цель именно защититься от отказа жесткого диска — прокатит
Вот именно поэтому это и называют отказоустойчивостью.
+
avatar
  • evgeniy1
  • 11 сентября 2022, 23:06
+1
«Ваш пример, когда работают прямо на рейде, это уже какая-никакая, но замена бэкапам.»

нет. Совсем не замена.

" но если цель именно защититься от отказа жесткого диска — прокатит. "

только и исключительно в одном из типов причин отказа диска, а вариантов причин отказа — много.
Питание у дисков в массиве общее, логика записи общая, если снаружи пришли вибрации — они тоже общие.
И всё, приехали.
+
avatar
0
только и исключительно в одном из типов причин отказа диска, а вариантов причин отказа — много.
Так я выше ровно это и написал. Зачем «толочь воду в ступе»? )
+
avatar
0
Очень интересная тема, но много не понятного…
Тем не менее большое спасибо за информацию!
+
avatar
  • sdfpro
  • 10 сентября 2022, 10:16
0
что именно не понятно? могу попробовать объяснить если нужно.
+
avatar
0
Спасибо за предложение!
Для начало теорию почитаю, а потом вопросы.
+
avatar
  • playnet
  • 10 сентября 2022, 05:49
+1
Я много лет с LSi работаю, и — megacli это жуткий выcер. К счастью, у него уже давно есть какая-то замена с более вменяемым синтаксисом. А так — всё нужное приходилось делать через биос (всегда на серверы ставили только линух, под лси вменяемого гуя в моей жизни не попадалось, а в биосе плюс-минус терпимо).
По опыту, достаточно неплохое кли у адаптеков.
+
avatar
  • sdfpro
  • 10 сентября 2022, 10:21
0
алаптеки кстати во времена lsi 9260 были откровенно говоря слабоваты, и выкатили сопоставимый контроллер года только через 3, и поэтому я считаю что потеряли ощутимую часть рынка.
+
avatar
  • DainB
  • 11 сентября 2022, 00:22
+2
Много лет работаете и до сих пор не нашли storcli которому уже лет 10 как? Ну бывает.

Про WebBIOS я бы конечно сказал но боюсь что меня забанят пожизненно за такое количество нецензурных слов.
+
avatar
  • playnet
  • 11 сентября 2022, 17:30
+1
К моменту появления сторкли на фряху мы давно научились шить их в hba и поднимать софт рейды. А ещё — про мегакли сказано в статье, поэтому про него и сказано. Стор да, более адекватный
+
avatar
  • penzet
  • 10 сентября 2022, 07:44
-2
Автору плюс за заморачивание. Имхо для хранения домашних фото и т. п. я взял Iomega REV35GB, магнитооптический привод 1.3GB и был у меня привод ДВД который пишет диски M-DISC, они есть у меня по 100GB. Каждый тип носителей имеет свои плюсы и минусы.
+
avatar
  • aik
  • 10 сентября 2022, 07:56
+3
взял Iomega REV35GB
А если привод сдохнет? Глянул — в России их не особо продают. Да и диски тоже.
был у меня привод ДВД который пишет диски M-DISC, они есть у меня по 100GB
Вот прямо таки DVD на 100 гигабайт?
Кстати, mdisc в России я тоже в широкой продаже не встречал, искал некоторое время назад.
+
avatar
  • penzet
  • 10 сентября 2022, 08:15
-1
в России их не особо продают.
Я на ebay брал и привод и диски…
Если сдохнет привод то возьму опять, они дешевые около 50 долларов.
прямо таки DVD на 100 гигабайт?
Да на 100GB беру на таобао
Может неправильно выразился что это ДВД это ДВД Блю Рей


И насчет магнитооптики тоже все достаточно дешевое, привод около 50 долларов, а носители по 20
+
avatar
  • aik
  • 10 сентября 2022, 08:22
+4
привод около 50 долларов, а носители по 20
Не в России, к сожалению.
это ДВД Блю Рей
Блюрэй — это не ДВД. ;)
Сколько такая пачка стоит?
+
avatar
  • penzet
  • 10 сентября 2022, 08:31
+1
Такая пачка стоит на тао около 20 долларов + доставка. Привод Pioneer BDR-XD07 обошелся в 60 долларов
+
avatar
  • sdfpro
  • 10 сентября 2022, 10:24
0
а что храните на них? фото/видео?
к повреждениям у них такое же отношение как и у dvd? т.е. в случае чего прочитать получится через спец утилиту, которая обойдет повреженную область?
+
avatar
  • penzet
  • 10 сентября 2022, 10:35
0
Да храню фото, видео и просто любую другую информацию. Пока за год хранения никаких проблемм не выявил, читаются на ура. Пишут что именно mdisk лучше защищен от механических помех чем обычный dvd. Но это в теории, как будет на практике после лет скажем 10 лежания в шкафу непонятно.
Поэтому я и использую еще и другие типы носителей такие как магнитооптические диски и картриджи rav iomega. Надеюсь что на каком нибуть из трех типов носителей информация сохранится как надо и надолго.
+
avatar
  • sdfpro
  • 10 сентября 2022, 11:07
+1
я в свое время задумывался о ленточном накопителе, но «читалка» по сути то же сложная сама по себе вещь, и дорогая, и вообще экзотика для дома, надо погуглить ради интереса какие сейчас цены будут на сопоставимые ёмкости.
+
avatar
  • penzet
  • 10 сентября 2022, 12:13
-2
на сопоставимые ёмкости
Сопоставимые с чем? Я задавался и таким вопросом(насчет ленточных накопителей), но погуглил и цены мягко говоря кусаются. Из доступных ленточных есть Iomega Ditto но обьем ограничен 1GB. Все остальное LTO которое более 1GB очень дорогое. Да и менее удобно, всетаки кассета работает медленее дисков.Есть еще вариант это использовать в качестве носителя Mini-disc по технологии HI-MD. Но как мне кажется магнитооптический диск лучше(пока едет из Китая) и намного дешевле (цены сравнил).
+
avatar
  • sdfpro
  • 10 сентября 2022, 14:21
0
ну с массивчиком типа Raid 5/6, терабайт так на 6 общим объемом.
+
avatar
0
Фишка m-disc в неорганическом слое, который по идее не пойдет плесенью, как органические.
+
avatar
  • deadcxap
  • 10 сентября 2022, 20:09
+1
То есть чтобы что-то найти в таком архиве надо сидеть и перебирать пачку дисков? Ну такое себе занятие.
Для холодных бекапов данный способ ещё норм, но если вы хотя бы раз в месяц обращаетесь к этим данным, уже не очень выходит…
+
avatar
  • penzet
  • 11 сентября 2022, 06:58
0
Нет, даже раз в год не обращаюсь к этим данным, просто лежат и все.
+
avatar
0
они есть у меня по 100GB
Я смотрел на оптические диски с тех пор, как стали доступны DVD-R. Поначалу было выгодно, далее — не очень. Вот ниже вы написали, что 500 ГБ мдисков обходится в 20 долларов. Это 40 долларов за терабайт. При этом, WD RED на 4 ТБ стоит меньше 100 долларов, то есть, получается менее 25 долларов за терабайт. Выгоднее, намного удобнее в плане обновления/поиска информации, нет проблем с разбиением на разные диски и т.д. Надежность хранения — вот это под вопросом, что надежней. Но на моей практике и CD-R, хранящиеся в отдельных бумажных конвертах вдруг переставали читаться без видимых повреждений, и DVD-R. Так что я не уверен ни в чем.
+
avatar
  • penzet
  • 11 сентября 2022, 06:59
+2
Поэтому чтобы была надежность и храню на трех разных типах носителей rav, blu ray, mo disc
+
avatar
0
REV35GB
Это же привод умеющий 35ГБ диски?
Я так понимаю вы ему скармливаете диски не на 35ГБ, а на 1,3ГБ?
+
avatar
  • penzet
  • 12 сентября 2022, 06:52
0
Нет я ему скармливаю только родные диски на 35GB
У меня есть МагнитоОптический привод FUJITSU MCM3130AP вот ему я скармливаю диски МО 1.3 GB
+
avatar
0
А MCM3130AP можно через usb-ide кабель включать? Или вы нативно на старой машине по IDE с ним работаете?
+
avatar
  • penzet
  • 13 сентября 2022, 08:04
0
Он у меня подключен во внешнею коробку от старого CD-RW там IDE внутри а выход по USB2
+
avatar
  • aik
  • 10 сентября 2022, 07:53
+4
вообще думаю его только изредка включать
Вот при таком использовании бэушные диски у вас и помрут вскорости. В серверах они почему долго живут? Потому что их как включили — и они крутятся, без стрессов в плане остановок и запусков. А начнёте их дёргать туда-сюда — тут им и срок придёт быстренько, учитывая возраст.
организации надёжного массива RAID5, аппаратными средствами
Не забывайте, что кроме дисков могут дохнуть и контроллеры. Хотя это реже бывает, у меня за 10 лет в массиве RAID10 вылетело 2 SAS-диска, а контроллер пашет без проблем.
тоит на тао в районе 22$, очень заманчиво
Заманчиво, но вот бэушность вкупе с тем, что оно поедет почтой и может где-то стукнуться, меня бы отвратили от подобной покупки. Предпочёл бы заплатить дороже, но взять новый диск в оффлайновом магазине с гарантией. Впрочем, пятёрка, купленная в CU у меня до сих пор нормально пашет, а десяток дисков, купленных в оффлайне одновременно, вылетал за пару лет почти полностью (уронили их там на складе, что ли). Но всё равно, доверия к магазинным дискам у меня больше, чем к купленным в интернетах, да ещё с большим пробегом.

Ну и какой бы вариант в итоге не выбрали, не забывайте, что RAID'ы — RAID'ами, но заменой бэкапу они не являются.
Лично у меня подобный контроллер просто в режиме HBA работает, а массивы я уже программно создаю.
+
avatar
  • sdfpro
  • 10 сентября 2022, 10:31
+1
да это я все понимаю прекрасно. ну вот как раз доставка и пугает, но последняя посылка ко мне приехала за 3 недели через КСЭ доставку, это не почта, вроде коробка в норме была. Насчёт раскрутки шпинделей я согласен что это не есть гуд, но поспорю что они быстро помрут из-за этого, даже будучи б/у, ввиду того что и по этому параметру есть ресурс так же, и если он до конца не исчерпан, то ничего не будет диску. а в моих масштабах 1 раскрутка в день это не так страшно.
конечно raid это не понацея, как и хранение их например на надёжном SSD за несколько сот баксов, важные файлы надо держать в разных надёжных местах.
+
avatar
  • aik
  • 10 сентября 2022, 11:11
+1
поспорю что они быстро помрут
Может помрут, может не помрут.
Но у меня достаточно было примеров, когда диски с сервера снимал и переставлял на десктопные задачи — и после этого они довольно быстро помирали.
+
avatar
  • sdfpro
  • 10 сентября 2022, 11:17
0
мб плохое питание/перегрев? или диски вы уже на издыхании снимали? спорить не буду, сильно б/у диски та ещё лотерея, поэтому я пока думаю что лучше купить.
+
avatar
  • aik
  • 10 сентября 2022, 11:32
+1
Заметнее всего было на четырёх WD Black из RAID5. Отработали лет 5-6, потом делал апгрейд, а WD поставил парочку в сервера попроще, парочку в десктопы отправил. В десктопах посыпались за год.
В серверах отработали ещё 3-4 года. Один вроде ещё жив, но просто лежит на полке как архив.
+
avatar
  • sdfpro
  • 10 сентября 2022, 14:23
0
странно, black по сути десктопные винты, с начинкой аналогичной серверной серии RE, мб много пластин было, и от сюда сами диски были не удачные, и действительно уже были изношены они сильно. Елинственное, я не уверен что в black есть например защита контактных групп, которые сильно любят окисляться в самых дешманских ссд, по сравнению с хорошими серверными хдд (в подробных мануалах на них прямо таки расписано что это все есть).
+
avatar
  • aik
  • 10 сентября 2022, 14:50
0
Вроде двушки винты были. По количеству пластин не скажу.

Seagate Constellation могу вспомнить ещё, две трёшки. Отпахали в зеркале шесть лет, после разбора зеркала один капитально посыпался в течение года.
+
avatar
0
WD 2ТБ сами по себе были нестабильными.
Из интересных неубиваемых были Constellation 1TB, было очень много и в десктопах и в серверах.
+
avatar
  • sdfpro
  • 10 сентября 2022, 11:01
0
я в том году купил segate barracuda 7.2к rpm 3.5 дюйма, всего на 1тб, так как нужна была не черепичная запись, т.е просто норм диск. Так вот, сам диск норм, нет лишних вибраций, тихий, быстрый. что ещё надо? так вот, начал он лагать спустя пару меясце всего и не сильной нагрузки, шпиндель встанет и пытается раскрутиться циклами: стоп-раскрутка, и так по кругу. Сначала я думал что мб в питании дело, но БП вообще без проблемный, хороший, новый. Осцилл показал что все в норме. Переткнул в другой разъем питания, вроде пропала проблема на время, потом опять… Ну сделал значит dc-dc конвертер с 12 на 5В, запитал 5В часть через конвертер, опять проблема не проявлялась с месяц наверное, но диск я использовал редко и потом снова, и проблема часто проявлялась именно во время записи, и реже прямо на старте ПК. Менял даже контроллер, не помогло. В общем нести по гарантии такой диск -скажут что он нормальный, а когда он помрет фиг его знает. Оставишь так включенным комп на часок, а он войдёт в цикл старт-стоп, и сгорит нафиг. По 12В мб ещё конечно что то попробую с питанием, но чую что дело не в нём а в самом диске.
б/у диски да, лотерея. Желаю что в том году была возможность купить парочку новых дисков на 2 Тб по скидке, а я ее купил… Пусть там черерпичка была, но в целом, мне хватило бы, но с другой строны, жизнь же продолжается, что-нибудь другое глядишь подвернётся интересное.
+
avatar
  • aik
  • 10 сентября 2022, 11:12
0
Пусть там черерпичка была, но в целом, мне хватило бы.
Черепица сама по себе не страшна, если правильно пользоваться.
+
avatar
  • sdfpro
  • 10 сентября 2022, 11:18
0
это да, слабое место это скорость записи по сути, и в целом не ОС же на нем будет стоять, а просто по больше части хранится не меняющиеся данные.
+
avatar
  • aik
  • 10 сентября 2022, 11:30
0
Да и для ОС, впрочем, черепица годится — там же не пишутся сотни гигабайт за раз, а повседневные записи вполне в буфер влезать должны.
Другое дело — винда10 и дальше уже на простых винтах хреново работает, ссд ей подавай практически обязательно.

Но так то да, правильное применение черепицы — избегать больших объёмов записи за раз. А это значит — в рейдах использовать противопоказано. Идеально — записал один раз, а дальше только читаешь.
Я их под медиатеку и архивы использую — фильмы, музыка, дистрибутивы и т.п.
+
avatar
  • sdfpro
  • 10 сентября 2022, 14:27
-1
да из рэйда может выкинуть чутка задумывшийся диск, в видеонаблюдении например, такое не допустимо.
+
avatar
  • aik
  • 10 сентября 2022, 14:51
0
Так не только выкинуть, там основные проблемы начнутся тогда, когда ребилд пойдёт — тогда всё вообще рассыпется.
+
avatar
0
Ага, торрентики — самое то!
+
avatar
  • aik
  • 11 сентября 2022, 16:30
0
Если в буфер укладываются — почему бы и нет?
Но торренты на системном диске и с cmr будут мешать жить.

Лично я качаю на ссд, потом скидываю на черепицу.
+
avatar
0
если черепица будет стоить заметно дешевле, то можно было бы найти ей правильное применение. а когда ее продают за примерно те же деньги, то не вижу смысла брать чтобы потом думать о правильном использовании.
+
avatar
  • aik
  • 12 сентября 2022, 17:43
0
За те же деньги брать не надо.
Но я свои черепичные диски брал в USB-коробках процентов на 30-40 дешевле, чем аналогичные диски в рознице. Потому вполне готов был смириться.
+
avatar
0
купить парочку новых дисков на 2 Тб по скидке
Смотрите на том же Али. Там можно и диски новые купить :)
+
avatar
+1
В таких случаях диску нужно помочь уйти в мир иной и сдать его.
Шокером в сата линию.
+
avatar
-1
Заманчиво, но вот бэушность вкупе с тем, что оно поедет почтой и может где-то стукнуться, меня бы отвратили от подобной покупки.
Современные диски в выключенном состоянии выдерживают сотни g. Это надо очень постараться убить такой диск при пересылке. Был у меня случай (давно уже) — купил новый сигейт на 500 ГБ (кажется). В магазине сразу после покупки прямо при продавце роняю его на пол с высоты чуть больше метра. Дальше молча смотрим друг на друга: я понимаю, что если диск навернулся, приносить его и сдавать мне ровно этому же продавцу (тогда магазин имел одну точку в городе и работал там всегда один и тот же человек). Он, наверное, понимал, что если диск навернулся, я его все равно принесу ему назад.

К счастью, на полу был линолиум и диск выжил. Вернее, потом все же вышел из строя, но чуть позже аналогичного диска, купленного без эксцессов :) Да и 500 ГБ у сигейта были проблемными…
Потому что их как включили — и они крутятся
Согласен. Свои домашние диски стараюсь не выключать. Раньше компьютер круглосуточно работал, сейчас перенес их в сетевое хранилище.
+
avatar
+2
У меня с 40см на ламинат 8ТБ черепичка в пластиковой коробке. Погнуло ось — не смог раскрутиться
+
avatar
0
Погнуло ось — не смог раскрутиться
А что за модель внутри?
+
avatar
  • aik
  • 11 сентября 2022, 17:19
+2
Обычно что-то типа ST8000DM004
+
avatar
+1
Да, ST8000DM004
+
avatar
  • evgeniy1
  • 11 сентября 2022, 23:08
0
8((
увы, теперь они все нежные, что черепичные, что нормальные с PMR.
+
avatar
  • aik
  • 11 сентября 2022, 16:32
+1
То, что у вас выжил один диск, ничего не говорит о том, насколько часто они выживают.
Сильно зависит от того, как удар придётся. Плюс он далеко не один может быть в пути.
+
avatar
0
То, что у вас выжил один диск, ничего не говорит о том, насколько часто они выживают.
Нет, но читал спеки и видел огромные цифры в сотни g, заказывал пару раз сам и много знаю случаев заказа знакомыми — до февраля прикупить жесткий диск на CU было обычным делом.

P.S. пару месяцев назад решил поиграть в лотерею и заказать диск на Али. Пришел вроде оригинал, линейное чтение по всей поверхности прошло без проблем. Остальное поведение диска (нагрев, вибрации) от других не отличается. Правда, диск пока не эксплуатируется, лежит в столе.
+
avatar
  • aik
  • 11 сентября 2022, 17:20
0
И все их кидают?
+
avatar
0
Ваша изначальная фраза:
оно поедет почтой и может где-то стукнуться
Я и пытаюсь сказать — да, могут стукнуть. И в теории может прийти кирпич. Но есть много случаев, когда все доходит почтой нормально. Это, опять-таки, лотерея в какой-то степени. Если цена интересная, попробовать можно.
+
avatar
  • linkar
  • 11 сентября 2022, 18:09
+1
Но есть много случаев, когда все доходит почтой нормально
С одной стороны, есть вполне четкая, эмпирически полученная, корреляция между вибрацией и ударами по работающему винту и сроком его работы. С другой стороны, тоже самое, но при транспортировке винта в состоянии парковки — такой статистики гораздо меньше и сложнее учитывать. Можно 10 раз уронить винт удачно и только 1 раз — неудачно.

Бывало что приходили 3.5 винты в обычном бумажном почтовом конверте, где единственная защита — это пупырка внутри конверта — но пока работают, жалоб не замечено.
+
avatar
0
Можно 10 раз уронить винт удачно и только 1 раз — неудачно.
Абсолютно согласен :) Поэтому и написал — лотерея, в какой-то степени. Играть или нет в неё — зависит от ситуации.
+
avatar
  • aik
  • 12 сентября 2022, 23:57
0
Лотерея. Как, впрочем, и при покупке оффлайн.
Но при покупке бэушного винта на таобао и отправке его почтой шансы «выиграть» проблемы, думаю, повыше будут.
+
avatar
  • def461
  • 11 сентября 2022, 18:23
+1
Это опять спор «по-Жванецкому», «с теми, кто их ел»

Поинтересуйтесь у ближайшего дистрибьютора винчестеров, сколько винчестеров возвращается именно по причине удара.
А так же процент брака еще при комплектации заказа у мелко-средне-розничного реселлера, когда накопители идут в металлизировоанной упаковке. При том что накопитель в лучшем случае роняется с высоты 20-30 см на упаковочный стол.
+
avatar
  • linkar
  • 11 сентября 2022, 18:54
+2
Поинтересуйтесь у ближайшего дистрибьютора винчестеров, сколько винчестеров возвращается именно по причине удара.
И сколько? Дистрибьюторы молчат, у них это коммерческая тайна. Магазины — у них криволапость исправляется оргмерами по отношению к упаковщику/сборщику. Сервисники — у них есть свои заметки по наработке той или иной серии, а такой что вот «винт не отработал гарантийный, потому что его год назад приложили» — такого вот не попадалось. Обычно винт или сразу не работает или он очень быстро и явно деградирует.
+
avatar
  • def461
  • 11 сентября 2022, 19:09
0
я про заявленные 200-300-400G в режиме non-operative
+
avatar
  • linkar
  • 11 сентября 2022, 19:27
0
я про заявленные 200-300-400G в режиме non-operative
Ну вот я не встречал данных по статистикам вида «вот если винт пару раз вот приложить, он на полгода раньше сдохнет». Теоретически да, риск то есть. А вот как обстоит дело на практике, когда винт идет через обычную транспортную компанию (иногда даже не совсем в подходящей упаковке) в сравнении с винтом, купленным в оффлайне в крупном магазине, где теоретически винт меньше пинали.
+
avatar
  • def461
  • 11 сентября 2022, 21:02
-1
ну а я свою статистику тоже не могу раскрывать. Но печальная

а так, если приложить серверный винт пару раз — можно скончаться от носового кровотечения :D
+
avatar
  • sdfpro
  • 13 сентября 2022, 02:07
0
" муха сс «была у сиагейтов в свое время, как раз вроде Пятихатки были уже, год 2007 кажется был примерно.
+
avatar
0
будет «потеряна» под хранение хэшей лишь ёмкость одного диска
Зачем в RAID нужны хэши??? Чётность туда пишется.
+
avatar
  • sdfpro
  • 10 сентября 2022, 10:39
0
да согласен, исправлю.
+
avatar
+1
Обзор = сеанс некромантии.
+
avatar
  • sdfpro
  • 10 сентября 2022, 10:42
+2
если бы это был контроллер 2008 года то да, был бы такой сеанс) тут ещё более менее актуальный участник.
+
avatar
  • def461
  • 10 сентября 2022, 10:54
0
еще и копрофагии с рассуждениями об оттенках и балансе вкуса :)
+
avatar
+1
С тех времен мало чего изменилось в мире SAS.
Может подскажете самую производительную и менее греющуюся SAS карту?
+
avatar
  • mzr910
  • 10 сентября 2022, 09:35
+4
лучше расскажите чем смотреть smart и температуру у дисков подключенных к похожим контроллерам под виндой, у меня dell perc H200 и я только нашел что aida64 можно смотреть но при этом smart на sas дисках она не показывает хотя на sata показывает а температуру показывает на всех
+
avatar
0
Когда у меня был рейд на чипсете интел, то smartmontools с определенной версии позволяла читать смарт. Посмотрите, может и ваш поддерживает.
+
avatar
  • SotM
  • 10 сентября 2022, 10:31
0
"… северном RAID...", а бывает и южный RAID?
+
avatar
  • sdfpro
  • 10 сентября 2022, 10:41
0
исправил опечатку) благодарю.
+
avatar
  • sdfpro
  • 10 сентября 2022, 10:53
0
нужна сторонняя утилита, в случае с LSI: ссылка
а вообще, контроллер должен вести массив самостоятельно, смотреть смарт дело не плохое, но особо не нужное, достаточно иметь резервный диск замены, и контроллер уже сам все сделает, после того как один из дисков по какому то признаку будет выкинут из массива. только если в случае ssd смотреть объем записи, тогда smart пригодится да.
+
avatar
0
смотреть смарт дело не плохое, но особо не нужное
Категорически не согласен. У диска могут начать расти перенесенные сектора, до определенного предела диск будет считаться «хорошим». Когда рейд его сочтет «плохим», может оказаться поздно и информация с него не прочитается. Для первого вышедшего из строя диска в рейде это, может, и не так критично, но вот в процессе ребилда следить за смартом очень полезно.
+
avatar
  • def461
  • 11 сентября 2022, 00:54
0
Для серверного сегмента данный вопрос решается иными методами, с заметно бОльшей предсказуемостью результата.
+
avatar
  • sdfpro
  • 13 сентября 2022, 02:43
-1
ситуация: производство, суббота, ночь, вылетел диск массива raid 10, нагрузка на дисковую подсистему высокая (типо идут отгрузки продукции например, бд читается сильно), как в такой ситуации поможет смарт? особенно если никто не узнает о том что массиву плохо, до понедельника?
+
avatar
  • linkar
  • 13 сентября 2022, 07:05
+1
как в такой ситуации поможет смарт?
Попробую проиграть аналогию.

Предприятие организовывает ежегодный медосмотр своих сотрудников, по результатам — профилактика, предупреждение профзаболеваний, и т.д. Человек проходит медосмотр, но через день ломает руку и уходит на больничный. Мораль?

Тоже самое и с hdd. В большинстве случаев, при правильной эксплуатации (вибрации/электропитание/температура и т.д.) износ винта прогнозируем. Т.е. его можно своевременно заменить еще до того, когда он выйдет из строя (в отличие от ssd, где вероятность спонтанной поломки в разы выше).
+
avatar
  • sdfpro
  • 14 сентября 2022, 02:23
0
смарт увы не всегда панацея, диск может отъехать и при нормальном смарте. Да в ряде случае поможет его мониторинг, но быстрее его контроллер выплюнет из массива чем вы что то по самарту увидите. И вообще, если диски 24*7 или около того пашут под нагрузкой, то просто надо их вовремя менять на новые, а не дожидаться пока смарт поедет у всей корзины.
+
avatar
0
Аналогия нерелевантная, выше вам уже пояснили. И даже в сообщении, на которое вы отвечали написано:
могут начать расти перенесенные сектора
Диск еще исправен, читается, но сектора уже начали расти. Вот тут-то мы диск и заменяем, не дожидаясь, когда он вылетит в субботу ночью.
+
avatar
  • sdfpro
  • 14 сентября 2022, 02:24
0
контроллер выкинет этот диск из массива до того как вы там что то увидите по секторам.
+
avatar
+1
По какой причине? Несколько перенесенных секторов не повод для этого. Вообще, пока показатели смарта не достигнут критических значений или не будет обнаружена реальная ошибка, контроллер ничего делать не будет.

Вы сейчас воюете с ветряными мельницами.
+
avatar
  • linkar
  • 11 сентября 2022, 05:13
0
только если в случае ssd смотреть объем записи, тогда smart пригодится да.
Это как посмотреть. В HDD смарт позволяет вполне прогнозируемо оценить износ винта еще до того, когда с ним начинаются явные проблемы. Причем в динамике, если предварительно завести смарты в тот же заббикс — и самостоятельно решать, когда выбрать момент проведения работ с массивом. А изношенные винты, все еще вполне живые, еще несколько лет работают на второстепенных узлах — тогда как под нагрузкой в рейде они проработали с полгода от силы. Это из личного опыта.
+
avatar
  • kovax
  • 10 сентября 2022, 11:24
+1
Есть кто владеет инфой про хардваре ключу (платка с 2 контактами в контроллер вставляется).
Есть LSI 9264-8i — в базе не знает RAID5 и SSD кеш, есть ключ, который только Р5-6 добавляет, на аил купил ключ для кэша как в лоте написано, но его не распознает мой контроллер — хочется кэша, в сервачке 8 дисков для ESXi.
Софтовые ключи, что открыто есть в инете не подходят, да и на 30 дней включать нет смысла.
+
avatar
  • vovans
  • 10 сентября 2022, 12:08
0
Все ещё лет 10-15 на xen и KVM перешли, а вы всё на проприетарном esxi, а в текущих условиях… Так вообще странно это…
+
avatar
  • Agareth
  • 10 сентября 2022, 13:27
+2
Esxi это ынтерпрайз стандарт в загнивающей омерике.
+
avatar
0
AWS, который на xen — стандарт в NA :)
+
avatar
  • evgeniy1
  • 11 сентября 2022, 01:26
0
на кастомизированном амазоновском xen, насколько я помню.
Кстати, а там разве все ноды с Xen?
+
avatar
0
Ага. Да. Все.
Там и линь их собственный, от редшапки одолженный.
+
avatar
  • DainB
  • 11 сентября 2022, 08:45
+1
Сравнивать ESXi с Xen это как сравнивать 777 и 737, они оба самолеты и оба летают но рынки у них совершено разные.
+
avatar
0
Даже и не сравниваю. Просто скептически отнёсся к развесовке по количеству установок.
+
avatar
  • vp7
  • 10 сентября 2022, 15:01
+3
XEN разве не умер?
По поводу ESXi — почти весь enterprise на нём сидит, возьмите любую крупную компанию и там будет пачка кластеров ESXi.
Есть ещё OpenStack, но его мало кто осилил.
Есть ещё Proxmox и он неплох, когда в парке 30-50 серверов, но даже 200 серверов в проксмоксе это уже как минимум неуютно, а когда речь идёт о тысячах — остаётся либо ESXi с его VSphere и VCenter, либо что-то своё (но такое себе могут позволить только монстры типа Яндекса).
+
avatar
  • jh7
  • 10 сентября 2022, 18:13
0
Есть ещё OpenStack, но его мало кто осилил.
Те кто осилил называют себя devOps и дописывают пару нулей в резюме к желаемой зарплате)
Вряд ли янедкс и прочие чисто свое делают, скорее, патчат опенсорс под свои нужды.
+
avatar
  • vp7
  • 10 сентября 2022, 19:40
+1
Те кто осилил называют себя devOps и дописывают пару нулей в резюме к желаемой зарплате)
Не всё так просто.
У OpenStack'а есть 2 штатных хранилища:
Cinder — не то, чтобы мертворождённый, но малоизвестный проект со своими заморочками, который особо нигде и не встречается и найти под него специалистов крайне сложно (и не факт, что нужно)
CEPH — штука всем великолепна, на её базе можно строить отличные S3 хранилки, но как хранилка образов это так себе вариант. Для блочного устройства выдаёт средненький результат на SSD (но учитываем стандартный replica factor = 3 и плачем) с сильно проседающими IOPS'ами, выдаёт совсем грустный результат на HDD.

А ещё у OpenStack'а по умолчанию «из коробки» есть дофига не сильно нужных, хоть и полезных сервисов — типа собственных DNS, bare metal provisioning, управление сетями (не помню как зовётся) и так далее и тому подобное.

В общем, такой «швейцарский нож», который может буквально всё, но немного криво и чуть-чуть косо.

Конечно же к OpenStack всегда можно подключить enterprise хранилки по SAN или по iSCSI, но раз уж везде Enterprise, то зачем тогда тут этот OpenSource? :)

Вряд ли янедкс и прочие чисто свое делают, скорее, патчат опенсорс под свои нужды.
Не спорю, тот же Яндекс для своих облаков использует либо голый KVM с обвязкой, либо очень сильно переделанную приватную версию OpenStack'а.
Публичной версии хорошо работающего для большинства задач OpenStack'а… банально не существует.

Но тут и кроется засада — подобные вещи себе могут позволить очень крупные IT компании, которые готовы содержать отделы разработки и поддержки. Когда у тебя несколько тысяч серверов с планами расширения до десятков тысяч — команда в 50+ человек чисто на развитие и поддержку «compute cloud» выглядит вполне нормально.

Если же серверов несколько десятков, возможно сотня — ESXi становится экономически выгоднее (не говоря уже про то, что лицензию на ESXi вполне можно найти на торрентах или у знакомых и тогда «стоимость» ESXi будет ещё ниже).

p.s. И дело не в «devOps» — в двух немаленьких компаниях около года искали хороших специалистов по OpenStack'у и готовы были даже неразумные деньги платить,… но не нашли. Таких специалистов физически почти нет на рынке. Есть масса людей, которые «ну мы поднимали, настраивали и у нас работало», но нет тех, кто очень глубоко разбирается. Скорее всего они есть, но их единицы на всю страну и их и так неплохо кормят на своих местах.
+
avatar
  • jh7
  • 10 сентября 2022, 20:36
0
в двух немаленьких компаниях около года искали хороших специалистов по OpenStack'у и готовы были даже неразумные деньги платить,… но не нашли.
Может и к лучшему, что не нашли. Глупо завязывать бизнес на столь редкие кадры.
У яндекса есть платная сажировка, сами готовят специалистов. У озона в эти выходные идет контест для го программистов. Т.е. такие компании понимают что кадры надо самим готовить.
+
avatar
  • evgeniy1
  • 11 сентября 2022, 01:12
0
"
Если же серверов несколько десятков, возможно сотня — ESXi становится экономически выгоднее (не говоря уже про то, что лицензию на ESXi вполне можно найти на торрентах или у знакомых и тогда «стоимость» ESXi будет ещё ниже)."

Нередко даже выгоднее «бесплатного» Proxmox, особенно когда у работников европейские заплаты, и экономия на лицензиях не сильно существенна.
А вот стоимость человеко-часов — огого.
+
avatar
  • aik
  • 10 сентября 2022, 21:24
0
Xen шевелится ещё, в опенсорсном варианте даже активность наблюдается регулярная — xcp-ng.
+
avatar
  • Eeyore
  • 13 сентября 2022, 05:47
0
Я его попробовал- сразу выкинул. Требует деньги даже за график нагрузки.
+
avatar
  • aik
  • 13 сентября 2022, 05:59
0
Они вообще денег не просят, только за саппорт.
Ну и за полную версию xen orchestra, без которой, впрочем, можно прекрасно жить.
+
avatar
+1
Не истины ради, а холивара для — Hyper-V
+
avatar
  • vp7
  • 10 сентября 2022, 23:23
+1
А вот и не подерёмся :)
Как говорят наши виндузятники — виртуализировать винду нужно именно на Hyper-V, из-за особенностей лицензирования выходит сильно дешевле.
Линукс на ферме Hyper-V они даже в страшном сне видеть не хотят.
Винда на ESXi хороша только в случае бесплатных (читай — пиратских) лицензий.
+
avatar
0
Давно не интересовался деталями лицензирования винды, ещё когда лицензия не зависела от количества ядер, но тогда было совершенно безразлично, кто был гипервизором. Неужели M$ настолько распоясалась, что что-то тут поменяла? Или может они имели в виду облака Azure vs все остальные? Там действительно были хорошие скидки.
+
avatar
  • vp7
  • 11 сентября 2022, 16:31
+2
Насколько я знаю, там фишка в другом — функционал Hyper-V лицензируется отдельно (по ядрам или сокетам, не в курсе деталей), запущенные Windows виртуальные машины также требуют лицензирования.
Но если VM с Windows запущена внутри Hyper-V, то в этом случае лицензии берутся с самого Hyper-V и нет необходимости их отдельно докупать.

В итоге винда на Hyper-V обходилась существенно дешевле, чем на ESXi (бесплатную виртуализацию там не рассматривали).
+
avatar
0
функционал Hyper-V лицензируется отдельно
Вас обманули, оно бесплатное. Абсолютно. Навсегда. Что у Hyper-V сервера, что у Hyper-V сервиса Windows. Платить надо за продвинутые системы управления, ну и лицензировать клиентскую винду, но последнее не зависит от гипервизора.
Ну или кто-то кого-то не правильно понял.
+
avatar
  • vismyk
  • 12 сентября 2022, 04:49
0
Платить надо за продвинутые системы управления
А непродвинутые бесплатные вообще есть в природе? Насколько помню, в этом и был толстый троллинг от МС, что гипервизор как будто бесплатный, но рулить им можно только из под платной винды. ;)
+
avatar
  • aik
  • 13 сентября 2022, 00:29
+1
Ну это если вы гипервизор на server core запускаете, в других вариантах всё с админкой идёт.
Плюс никто не мешает им рулить с десктопной винды, которая стоит заметно дешевле серверной. Или вообще уже у вас в наличии имеется.
+
avatar
  • vismyk
  • 13 сентября 2022, 04:56
0
Ну это если вы гипервизор на server core запускаете, в других вариантах всё с админкой идёт.
В каких других вариантах? Отдельный Hyper-V Server как раз в core и распространяется (или уже нет? я давно его не ставил). Всё остальное: или платный Windows Server, или добавление оснастки управления Hyper-V в платную десктопную винду.
+
avatar
  • aik
  • 13 сентября 2022, 06:00
0
В других — это когда оно внагрузку к купленной винде идёт.
+
avatar
  • vismyk
  • 13 сентября 2022, 07:06
0
Вспомнилось, что винда 8.1 одно время бесплатно раздавалась для девайсов с экраном до 9 дюймов (подразумевались планшеты, но китайцы и на свистки с Атомами эту лицензию приживляли). Вот если на ту бесплатную винду (а она там только домашняя для одного языка была, вроде) можно оснастку управления Hyper-V прикрутить, то тогда считай был вариант бесплатно не только поиметь Hyper-V, но и попользоваться им… ;)
+
avatar
  • aik
  • 13 сентября 2022, 07:49
0
Ну тогда уж можно и триальную винду с сайта MS было скачать.

А у китайцев, кстати, зачастую можно и проф поставить было. Я на тексластовский ноут ставил — и оно автоматом активировалось.
+
avatar
0
А непродвинутые бесплатные вообще есть в природе?
Естественно есть, Hyper-V Manager. Ну и PowerShell для любителей командной строки. Это из родного. Было и что-то стороннее, вот вспомнил Corefig для Core-установок.
но рулить им можно только из под платной винды
Рулить можно из клиентской форточки, стоимость которой на порядок, а то и два меньше лицензии сервера. Административные тулзы ставятся отдельно.
+
avatar
  • aik
  • 13 сентября 2022, 00:19
0
Если у вас есть лицензия на серверную винду, то вы можете запустить её дополнительную копию в виртуалке на этой же машине.
Либо, при использовании гипервизора, можете запустить две копии этой винды в виртуалках.

Какой гипервизор при этом используется — без разницы. У меня стоит esxi — потому что есть требование пробрасывать usb-ключи внутрь. hyperv этого не умеет.
+
avatar
+1
Отсталый ынтырпрайз на esx сидит
+
avatar
+1
Каждый раз используя AWS вы используете Зин.
+
avatar
  • kovax
  • 10 сентября 2022, 15:58
+3
лет 15 назад у меня был в конторе сервак на ESXi — что помню, то и поставил — когда куча виртуалок на базе VMWare — смысл мне переходить на другое, на древнем, не серверном, железе для личного пользования.
+
avatar
  • deadcxap
  • 10 сентября 2022, 20:15
0
Вот только «xen и KVM» — это много секса для админа уже на этапе запуска. ESXi поставил и оно работает. Просто работает по-умолчанию, без бубна.
+
avatar
  • sdfpro
  • 10 сентября 2022, 15:25
0
а что за ключ вы купили? какая на нём маркировка?
+
avatar
  • kovax
  • 10 сентября 2022, 15:51
0
С контроллером дали этот

а купил такой


где-то читал, что их можно перешить
+
avatar
  • sdfpro
  • 10 сентября 2022, 21:44
0
только наверное наоборот, L3-25150-01A это под кэш, а L3-25150-17B это 5 и 6 raid. С первым ключём по идее должен CacheCade заводиться.
+
avatar
  • kovax
  • 11 сентября 2022, 10:43
0
нет 01А только рейды, кэша нет.

второй 17В выдает
+
avatar
  • kaskader
  • 10 сентября 2022, 11:44
+6
надёжного массива
RAID5
аппаратными средствами
из б/у
c-c-combo breaker!
+
avatar
  • Agareth
  • 10 сентября 2022, 13:26
+1
Цук, опередил.
+
avatar
  • wasp
  • 10 сентября 2022, 13:03
0
Колонки Microlab?
+
avatar
  • sdfpro
  • 10 сентября 2022, 14:39
0
колонки Edifier
+
avatar
  • Agareth
  • 10 сентября 2022, 13:26
+4
>надёжного массива
>RAID5
>аппаратными средствами
> б/у серверных дисков

Ржу.
+
avatar
0
у серверных надежность «энтерпрайз» уровня, снятые и списанные(планово) они для домашнего юзания более чем живы и надежны.
+
avatar
  • sdfpro
  • 10 сентября 2022, 14:40
0
для моего сценария использования, вполне надёжный вариант, всяко надёжнее одного десктопного даже нового. поэтому смейтесь сколько хотите.
+
avatar
  • romxx
  • 10 сентября 2022, 15:17
0
Насколько вариант надежный вы узнаете только когда он рассыпется, не раньше.
+
avatar
  • Agareth
  • 10 сентября 2022, 15:37
0
У десктопного 2 года гарантии.
+
avatar
  • sdfpro
  • 10 сентября 2022, 21:45
0
данным сей факт ну никак не поможет, от слова совсем…
+
avatar
0
Только к надёжности это отношения не имеет…
+
avatar
  • d19codec
  • 10 сентября 2022, 13:29
+1
Тыкните пальцем как на тао хотя бы поиском начать пользоваться? А то при входе по телефону выдает что акк «заморожен», а аккаунтов и не было никогда. Спасибо.
+
avatar
0
О, интересненько, шарящий человек. А не подскажете по поводу SAS? Есть Sun f20(LSI1068e), ну на нем 4 24Гб флеш модуля на борту и есть 2 порта подключения, сам контроллер SAS 3Gbps, взял подешевке на ебее 100 и 200Гб ссд SAS 6Gbps, подключил туда — он их видит подключенными, но типа устройство дисковое есть, а носителя данных в нем нет, какая-то такая фигня. Не подскажете, что может быть и как быть? Или 1068e не будет типа как с сата в «обратной совместимости» работать с SAS 6Gbps дисками?
P.S: диски брал по 6 баксов за 100гб, 14 за 200. Вообще, если есть способ доставить, с ебея американского очень выгодно брать можно, ссд сас часто вообще дешевые.
+
avatar
  • sdfpro
  • 10 сентября 2022, 14:45
0
интерсные цены на SSD, а какой «пробег»у них по записи в среднем? MLC 2 bit память?
Контроллер должен видеть как sas так и sata накопители. Скриншоты бы как там все это у вас выглядит, а то я не особо понял о чем речь. попробуйте тот же MSM поставить, там все наглядно, если ещё не установлен у вас.
с san не сталкивался, мб там что то зашито на уровне совместимости только с валидированными накопителями, из листа совместимости, но утверждать не берусь.
+
avatar
0
ну а вообще «обратная совместимость» же должна работать?
+
avatar
  • sdfpro
  • 10 сентября 2022, 15:24
0
должна да, он кушать будет и 6 гигабит диски, что сата что сас, но всё упирается в совместимость конкретных накопителей.
+
avatar
  • def461
  • 10 сентября 2022, 14:57
0
Какая фирмварь прошита в LSI1068e?

Если IR — то за Вас никто не будет инициализировать диски и собрать RAID/JBOD, соотвественно, в ОС контроллер ничего не покажет
+
avatar
0
«родные» что висят на самой плате видятся в ОС каждый отдельно, вроде не IR.
Штука еще в том, что когда подключены диски на разъемы, не дает зайти в фирмварь контроллера при загрузке
+
avatar
  • def461
  • 10 сентября 2022, 15:19
+1
Незаход в БИОС контроллера — может быть легко из-за несовместимости с БИОСом десктопной матери.
Если Вы не перепрошивали 1068 — там 100% IR-прошивка, соответсвенно, оно изображает недорейд и предполагает предварительную инициализацию и сборку тома/массива

Собственно, сам факт, что Вы можете зайти в БИОС S20 — это признак, что IR-фирмварь :)
IT — это «чистый» HBA, у него нет никакой морды/настроек

ну а вообще «обратная совместимость» же должна работать?
В серверном варианте, если Вы не придерживаетесь HCL — Вам никто ничего не должен :)
+
avatar
0
когда дополнительные диски подключены — не заходит, когда не подключены, а есть только 4 «набортных» — заходит.
+
avatar
  • def461
  • 10 сентября 2022, 15:48
0
ну и что? Начиная от неживого подключаемого накопитеял, который вешает всю систему, заканчивая vendor lock

Перешивайте на IT — теоретичски все будет ОК

не забудьте скопировать номер SAS до попытки прошить и забэкапить текущую прошивку
+
avatar
0
у меня была такая фигатень с незаходом в биос в 9271-8i
решил — толи временным вытаскиванием 10Гб сетевухи, толи перестановкой их местами.
+
avatar
  • sdfpro
  • 10 сентября 2022, 15:21
0
тогда скорее всего приколы от Sun, можно попробовать было бы прошивку поискать, но раз там стоит наборный flash, сомневаюсь что у lsi был так ой же контроллер чисто на продажу от себя.
+
avatar
+1
по сути там просто на разьемах флеш модули висят, как обычные SAS диски.
+
avatar
  • def461
  • 10 сентября 2022, 15:49
0
сомневаюсь что у lsi был так ой же контроллер чисто на продажу от себ
там тупейший 1068, 4 сосками сразу в САС-24ГБ накопители на мезонинках
и 4мя оставшимися портами — наружу
+
avatar
  • sdfpro
  • 10 сентября 2022, 21:47
0
да я понял что там 1068, вообще удивительно что они на него флэш додумались навешать, но видимо были переходные времена, а надо было прямо сейчас, или долго проектировали. тогда только шить, либо купить контроллер на подобии моего.
+
avatar
  • def461
  • 10 сентября 2022, 23:32
0
Что удивительного?

На тот момент — практически топовый 8-канальный SAS SOC, с базовым мозгом и 64к «памяти» для 0/1/10. Учитывая глубокую очередь (256 команд), переупорядочивание команд и 2 пути данных — великолепнейшее универсальное решение для начального энтерпрайза того времени
+
avatar
  • DainB
  • 11 сентября 2022, 00:34
0
F20/F40/F80 выпускались еще когда NVMe не существовало. Некротехнологии начала 2010 годов, Оракл их ставила в Exadata и стоили они под 1К долларов. Самое мерзкое что они на флеш модули поставили какие-то левые коннекторы так что их никуда больше не пристроишь.
+
avatar
  • sdfpro
  • 13 сентября 2022, 02:37
0
тогда и массового сата Энтерпрайза как бы особо и не было вовсе. какой уж там nvme.
+
avatar
  • DainB
  • 11 сентября 2022, 00:29
0
F20 это вообще-то сам по себе HBA контроллер который добавляет в систему бутерброды из SSD как SCSI диски. Проприетарщина еще та. Другое их название это Seagate WarpDrive кстати. Подключать к ним еще что-то даже в голову не приходило если чесно.
+
avatar
0
а остальные «варпдрайвы»(но такого варпдрайва нет, они от 400гб вариантов начинаются, у меня тоже есть) и не имеют разъемов для подключения дисков кроме «набортных»
+
avatar
  • DainB
  • 11 сентября 2022, 00:14
0
Megacli… флешбэк из 2010х… Найдите storcli, скажете спасибо.
+
avatar
  • Boing
  • 11 сентября 2022, 00:18
0
Ровно он, ровно такой же, даже наклейка та же, через 1,5 месяца сдох. Куплен был на ebay, но шел с китая. К моменту поломки началось СВО, и ebay деньги не вернул. Надуманные предлоги со сложностью возврата денег на счёт/карту.
При том, что купленный там же на ebay год назад LSI 9260-8i (SAS2108 — M5015) отлично работает на домашнем, не выключаемом ПК.
Кстати проверьте термопасту на чипе — она как камень. Заменял её.
+
avatar
  • DainB
  • 11 сентября 2022, 00:37
0
На 9260 нет поддержки JBOD, то еще щастье для домашних серверов.
+
avatar
  • def461
  • 11 сентября 2022, 00:59
0
Тю, никто не отменял R0 из одного диска. Полного passthrough нет, но нафига?
+
avatar
  • DainB
  • 11 сентября 2022, 08:39
+1
Многие программные решения не работают если нет доступа к SCSI коммандам.
+
avatar
  • Boing
  • 11 сентября 2022, 13:23
+1
ну… не знаю. на домашнем у меня диски в Raid1 для сохранности. На сервере для неё же, когда налижу на ещё один 14ТБ диск, тоже в raid1 сделаю. Конечно хотелось бы что-то «более лучше» для окон, но Raid1 уже спасал не раз, как и пару раз спасала 5ти летняя локальная гарантия от WD, причем одна из них после железной поломки после DHL от Computer Universe и вторая просто с грязным смартом и 1им бэдблоком. В общем я лучше 1 диск потеряю и сразу его пойду заменять уже потом с аппаратной синхронизацией железкой, чем мучиться в остальных случаях. Но тут кому как, конечно фломастеры.
+
avatar
  • DainB
  • 11 сентября 2022, 00:39
0
Автор, добрый вам совет, для дома в 2022 ничего лучше Unraid нет в принципе.
+
avatar
  • linkar
  • 11 сентября 2022, 05:33
+1
для дома в 2022 ничего лучше Unraid нет в принципе.
Вопрос религиозных войн, gmirror/zfs/mdadm — кому чего ближе. Но тут контроллер нужно шить в it (чтобы получить прямой доступ к винтам), он становится тупым, но практически таким же прожорливым и практически таким же горячим.
+
avatar
  • DainB
  • 11 сентября 2022, 11:45
0
Попробуйте вручную вытащить данные со сбойнувшего zfs. А с unraid никаких проблем.
+
avatar
  • linkar
  • 11 сентября 2022, 15:23
+3
Попробуйте вручную вытащить данные со сбойнувшего zfs. А с unraid никаких проблем.
Вытянуть файло с разобранного zfs — ныне это не проблема. Ушатать zfs до невменяемого состояний — это надо уметь, с ext3/4 чаще доводилось терять файлы, последний раз ронял zfs еще во времена 9-й фряхи. Плюс резервные копии никто не отменял. Как то файлопомойку делал на небольшой офис (еще с сотой сеткой, несколько штук компов, без сервера), случайно узнал что они уходя с работы тушили свет, в том числе и упс. Как узнал — когда у них акки на упсе сдохли, он начал пищать и не хотел работать. Годика примерно три zfs в таком режиме проработала.

Вот чем отличается unraid, xpenology и debian в плане работы с файловой системой? Правильно, ничем. Под капотом вся та же ext4 и mdadm — т.е. берем винты с рейда и работаем с ними в родных линуксовых тузлах.

Я же говорю, это вопрос религиозных войн. Помните анекдот
Спрашивает грузин у армянина:
— Кто лучше, грузины или армяне?
— Армяне.
— А чем лучше?
— Чем грузины.
Тут тоже самое. Кому что ближе. Я вот аргументированно скажу, что синолоджи для дома лучше unraid, потому что существует проект xpenology. Для, я знаю что они не продают свою ось вне своего железа, но тем не менее: 1) она доступней в плане вареза, сейчас уже 5/6/7 версия (формально там загрузчик и совершенно оригинальная ось, есть нюансы по активации каких-то фитч, но не вникал) 2) она гораздо доступней в плане комьюнити, в том числе, русскоязычного 3) изкоробочный функционал закрывает большинство домашних кейсов, для остального туда завезли докер. Но тут веское слово скажет предполагаемое железо и самое главное — выполняемые задачи.
+
avatar
  • DainB
  • 11 сентября 2022, 19:28
0
Вот чем отличается unraid, xpenology и debian в плане работы с файловой системой? Правильно, ничем.
Unraid отличается тем что каждый файл записан только на один диск.
+
avatar
  • linkar
  • 11 сентября 2022, 20:01
0
Unraid отличается тем что каждый файл записан только на один диск.
Это который JBOD с контролем четности? Ну, у синолоджи это называется SHR.
+
avatar
  • DainB
  • 11 сентября 2022, 21:34
0
Даже не близко.
+
avatar
  • linkar
  • 11 сентября 2022, 22:18
0
Даже не близко.
А что там тогда, конкретика?
+
avatar
  • Megalan
  • 12 сентября 2022, 00:02
0
Да ничего там специфического. Тот же snapraid только реалтайм — костыль аля mergerfs + один или несколько дисков выделяются целиком под parity информацию. По сути недо-рейд для бедных или для тех у кого каких-то важных данных там не хранится. Чексум разумеется нет поэтому если данные по какой-либо причине побьются никто об этом не узнает.
+
avatar
  • DainB
  • 12 сентября 2022, 21:08
0
Да вобщемто и на обозреваемом контроллере данные бьются аж бегом.
+
avatar
  • linkar
  • 13 сентября 2022, 06:37
0
Да вобщемто и на обозреваемом контроллере данные бьются аж бегом.
Но в этой ветке мы обсуждаем software raid. Или как?
+
avatar
  • linkar
  • 13 сентября 2022, 06:42