Всем привет. Достаточно давно у меня была мысль сделать быструю самодельную хранилочку на использовав возможности ОС ZFS и нормальное железо. В итоге, взвесив все за и против, погоняв тестовую систему, я решился на покупку серверных HDD с интерфейсом SAS (б/у), с таобао. Покупка выглядела достаточно рискованным мероприятием (цена, пробег HDD, доставка, гемор с SAS). По итогу, заказанные через посредника диски доехали целыми, и находились в нормально состоянии.
Сегодня я расскажу чисто про покупку б/у HDD как важного компонента самодельной сетевой СХД, способной переваривать 1ГБайт/c как по чтению так и по записи (будут читы в виде RAM и SSD), при этом обеспечивая надёжное хранение данных. О ней я планирую написать позже.
HDD до сих пор ещё востребованы, когда речь идёт о хранении больших объёмов данных, и о стоимости такого хранения. Плюс для долговременного хранения HDD подходят лучше чем SSD.
Предпосылки к покупке, посредник, и итоговая стоимость
Касаемо интерфейса SAS, HDD с таким интерфейсом были выбраны намеренно, так как:
1) Они ощутимо дешевле на taobao чем аналоги с SATA интерфейсом, и больше вариантов есть в наличии.
2) У меня уже был SAS контроллер LSI 9267-8i, вот обзор на
него
Механически, серверные SATA HDD у того же Seagate не отличаются от SAS (если говорим например про серию Seagate Enterprise Capacity 3.5 v5), но кушают слегка поменьше.
Диски с интерфейсом SATA гораздо удобнее и предпочтительнее для домашнего использования, как минимум, из-за того что в любой современной материнской плате есть встроенный SATA контроллер, а это простота подключения, и низкое потребление. SAS контроллер жрёт не мало, да и сами HDD с интерфейсом SAS кушают чуть больше чем аналогичные с SATA интерфейсом. От сюда и цена на б/у накопители с интерфейсом SATA выше, особенно с учётом того что не все понимают чем SAS отличается от SATA, и как подключать первые, да и не удобно это.
Сюда же докину что те же RAID/HBA контроллеры от LSI достаточно горячие ребята, и поэтому им нужно активное охлаждение, т.е. их нужно обдувать, да и спроектированы они были именно под обдув в корпусе сервера. Без обдува, тот же LSI 9267-8i раскаляется выше 80 градусов буквально через 10 минут работы, даже без нагрузки на него, а такая температура ни к чему хорошему не приведёт.
Короче говоря, цена решила, и я взял именно SAS вариант, осознавая что я беру. Новые HDD с ёмкостью 4-6ТБ, с интерфейсом SATA слишком дорогие для меня, если рассматривать нормальные модели. Брать накопители меньшего объёма я не вижу смысла.
У продавца на тао периодически меняются модели HDD, которые есть в наличии. Каких то вариантов видимо больше, и они висят достаточно долго. Изначально, я присматривался к наиболее дешёвым 3ТБ вариантам SAS HDD (по стоимости 1ГБ), но пока я думал их распродали, и там осталось одно старьё (ёмкость пластины менее 1ТБ), потом решил таки брать сразу 6ТБ варианты, выбирая между Seagate Enterprise Capacity 3.5 v4 и Seagate Enterprise Capacity 3.5 v5.
Серия Seagate Enterprise Capacity 3.5 v5 посвежее, те HDD что были у продавца, 2016 г.в. По спецификациям, вариант v5 получше чем v4, и наработка у экземпляров в часах будет скорее всего плюс минус одинаковая, не смотря на то что v4 более древние. Решил взять именно v5 версию, немного доплатив.
Вот скрин с итоговой стоимостью посылки от посредника:
На скрине ещё можно лицезреть стоимость доставки по Китаю (1.8$). Это стоимость доставки до склада посредника, и так как все три товара ехали от разных продавцов, взяли деньги за неё три раза.
По умолчанию, посредник
yoybuy ещё предлагает страховку отправления, от которой можно отказаться. В моём случае, страховка кажется стоила в районе 8$, но я решил рискнуть и отправить заказ без неё, ведь сумма за товары и так вышла немаленькая за б/у HDD, и покупка уже и так была на грани по разумности сделки (по моему мнению)+ не здесь же не дешёвая доставка посылки с весом около 2кг. Но в целом, такая покупка на мой взгляд оправдана (точнее риск отказа бэушного HDD), если посмотреть цены на новые HDD аналогичного класса и объёма.
Сколько и каким образрм платил посреднику
Посреднику я перевёл 11350р в начале апреля, на карту банка (было стрёмновато отправлять через СБП такую сумму на карту сбера, но ранее я уже не раз работал с этим посредником, поэтому решился). Плюс я долго с ними переписывался по вопросу что делать если мне не хватит денег что бы оплатить пересылку и нужно будет докинуть денег (на карту банка можно было переводить суммы сначала от 5000р, потом и вовсе только от 10000р минимум, из-за этого я наверное месяца полтора откладывал покупку).
Если сразу кинуть сумму с запасом, то не знаю смогу ли я потом без проблем вывести эту сумму в случае чего. Изначально я вообще заказал в Россельхоз банке бесплатную карту Union Pay, выпустив её в юанях, планируя без проблем оплатить всё ей, купив юани в приложении банка (по моим прикидкам это было выгоднее чем покупать доллары через банк). Карту делали где то полторы недели. Буквально за несколько дней до её получения, пошли новости что Китайские банки отказываются принимать платежи из РФ, ну и собственно оплатить ей я так ничего и не смог, хотя юани уже купил.
Раньше, у посредника ещё можно было платить например через киви. Сейчас киви банк прикрыли, идёт возмещение через АСВ. Из рабочих вариантов вроде остался Alipay, если есть знакомый китаец то он может оплатить выставленный счёт через QR код.
Если заказывать через этого посредника, то лучше делать этого с нового аккаунта, так там есть купоны, например на скидку 10$ от 75$ (вроде именно такой номинал).
Если кто то решит заказать через этого же посредника, то зарегистрироваться можно по ссылке
ссылка сразу накидают купонов на разные номиналы, смотрите уже сами выгодно ли вам выходит использовать сервис.
Есть у них и калькулятор стоимости доставки:
ссылка
У меня был старый аккаунт где лежали 8$, было решено использовать его.
Пока посылка формировалась на складе, посредник ввёл оплату через Тинькофф банк, на любую сумму пополнения, но с конскими процентами на пополнение (около 9% кажется), и из-за того что меня кинул продавец с али, пришлось незапланированно дозаказывать ещё сетевую карту (об этом расскажу ниже), и в итоге закидывать деньги именно через Тинькофф, где то ещё около 900р. В итоге, вся посылка обошлась в 12250р вместе с доставкой, при курсе на тот момент в районе 94р за 1 USD.
Про HDD и оперативную память из посылки
Кроме HDD, в заказ была докинута планка памяти (тут я ошибся, и взял вместо памяти с маркировкой PC3L 14900R, память с маркировкой PC3 14900L). PC3L в маркировке, обозначает что это память типа DDR3, с напряжением 1.5В (если PC3L то память работает на 1.35В). 14900L обозначает что память работает со скоростью 14900 MБ/c (эффективная частота памяти 1866МГц), а буква L здесь означает что это LRDIMM. Если вместо L стоит R то это RDIMM.
Я собирался использовать эти 32ГБ совместно с уже имеющимися 32ГБ памяти ECC Reg (16+8+8ГБ), но имеющиеся у меня планки имеют тип RDIMM. LRDIMM и RDIMM не могут работать совместно, так как у них различается принцип работы.
RDIMM -модуль с буферезирующим регистром (буферизируются адресные и командные сигналы), и он подключаются напрямую к шине контроллера памяти процессора (нагружая его), а LRDIMM это модуль, где установлен буфер как для сигнала так и для данных, что снижает нагрузку на процессор в конфигурациях когда на каждый канал памяти приходится много модулей памяти.
Начал думать что мне делать с 32ГБ модулем LRDIMM, так как хотелось иметь 64ГБ памяти под кэш ZFS, и нашёл на тао дешёвые LRDIMM
модули DDR3L с объёмом 64ГБ (1333МГц мне более чем хватит). Вероятно, модуль на 32ГБ попробую продать на авито, и вместо него установлю скорее всего один модуль на 64ГБ, но пока точно не определился насчёт этого. Надеюсь материнка сможет работать с модулем на 64ГБ.
Возможно ещё закажу вот такой вот SAS HBA контроллер на базе LSI 2308:
ссылка. Если кто то то же решит подключать SAS HDD к ПК, не используя аппаратные возможности контроллера для создания ресурсоёмких массивов, это это идеальный и не дорогой вариант для такой задачи.
Кроме этого, в заказе можно видеть ещё одну двух портовую сетевую карту (10Гбит/c порт). По сути это вариант intel X540-DA2 (от inspur, с отпиленной доп. частью под pci-e x1), она нормально заводится под Windows 10 если скачать драйвера с сайта intel, и я так же планирую её нормально запустить под Ubuntu (не успел пока проверить). Карточка одна, так как я не хотел класть все яйца в одну корзину, планирую получить этот заказ раньше, и изначально заказал две сетевухи с
али (цена около 1000р штука, почти как на тао), но хитрый продавец с низким рейтингом решил меня кинуть, прислав только одну карту. А потом типо делов не знаю, отправлял две… Спор я выйграл, но было неприятно, хорошо предусмотрительно записал видео распаковки. Единственный отзыв там мой).
Для сравнения, новый, аналогичный SATA HDD
Seagate Exos 7E10 на 6ТБ, в днс стоит 20000р штука.
Это серверный HDD, рассчитанный на долговременные нагрузки, с типом записи CMR.
Гарантия на такой HDD всего год, и не факт что его примут по гарантии в случае отказа (судя по отзывам). 40000р за два HDD с объёмом 6ТБ, и годом мутной гарантии, как то дороговато… Мутность гарантии обусловлена видимо тем, что это всё не официальные поставки, и гарантийные риски лежат полностью на магазине.
Есть там и более дешёвые варианты на 6ТБ, но если покопать их спеки, сразу видно что они имеют слабую механику и рассчитаны на небольшие нагрузки, в основном по видео наблюдению (особо печальны в этом плане варианты от Toshiba), да и в большинстве своём это варианты с типом записи SMR. Например
такой за 15000р.
Вот скрин из
спецификаций на HDD из серии Barracuda:
HDD рассчитан не небольшую нагрузку в 55ТБ/год, технология записи SMR. Обычно HDD этой серии используется просто в рабочих или домашних ПК. Возможно и нормальный бы был вариант под файловое хранилище, но не знаю насколько именно такой SMR диск надёжен, плюс он явно будет медленным по записи. Но зато кушает раза 2 меньше чем серверные варианты (правда и диск у нас 5400RPM), и останавливает шпиндель при неактивности диска. Значение MTBF даже не приводится.
Когда смотрел 4ТБ варианты в днс (месяц назад, сейчас они ещё подорожали), попадались вот такие варианты:
Более менее вариант WD Blue, если верить описанию что там CMR, но даже в 4ТБ версии не дешёвое удовольствие, хотя если смотреть сколько сейчас стоят 1ТБ модели, то это ещё нормальный вариант. Есть и 6ТБ вариант от WD, но отзывы что то не очень да и цена такая же как у SMR-ного Seagate, что подозрительно (спеки лень было искать, где это точно прописано, в плане технологии записи).
Распаковка
Приехал заказ неожиданно быстро, не смотря на праздники. Отправляли правда чуть больше недели. В пути заказ был недели полторы, хотя я выбирал самый дешёвый вид доставки. Привёз посылку курьер СДЭКа.
Упаковали всё отлично. Каждый HDD был в отдельном защитном боксе.
Память и сетевуха:
Боксы с HDD:
А вот и сами HDD:
Корпуса немного зацарапанные, скорее всего продавец с тао хранил их не очень бережно.
Дата производства — осень 2016. Модель та же что и на скриншоте продавца- ST6000NM0095, серия Seagate Enterprise Capacity 3.5 v5. Кстати, HDD есть и у более мелких продавцов, но там надо предварительно писать посреднику что бы он узнал точно ли есть HDD в наличии (либо самому стучать китайцам в QQ, но это такое себе занятие), так как часто карточка висит, а в наличии у продавца дисков нет.
Цвета текстолита плат немного различаются.
В целом, думаю криминала в этом нет, учитывая что диски из разных партий (месяц выпуска у них разный).
Платы проверять на окислы пока не стал, так как винты под пломбами, и хотелось некоторое время погонять винчестеры. Конечно, вряд ли бы получилось стрясти хоть какую то компенсацию с продавца через посредника, если бы диск приехал не рабочим или отказал почти сразу же после установки в П, но мало ли.
Спецификации модели ST6000NM0095
Перед тестами, дам ссылку на
информацию по продуктам линейки. Есть такой же документ по SATA версии, там информация дана несколько в более развёрнутом виде:
ссылка
6ТБ версии имеют 10 головок и 5 блинов. Более удобно информация приведена в
даташите. В даташите, информация о ST6000NM0095 находится ближе к концу документа, вот её скрин:
Кушает один диск в среднем 9.2Вт. Не корректируемые ошибки возникают у таких HDD на порядок ниже чем в десктопных вариантах, а именно, один сектор может содержать ошибку, за 10 в 15 степени прочитанных бит. У того же WD Blue это значение равно 10 в 14 степени.
Позже, линейку Seagate Enterprise Capacity 3.5 v5 видимо переименовали в Exos 7E8. Есть отдельный даташит с теми же данными под модель ST6000NM0095 но уже в рамках Exos 7E8.
Если взглянуть на
информацию по предыдущей линейке v4, то видно что у неё ниже плотность записи, поэтому там 6 блинов и 12 головок, что по идее несёт большую вероятность отказа.
Тесты
Я решил погонять диски сначала в Windows 10, в том числе используя программу Victoria.
Перед запуском, пару часов пришлось бороться с виндой, так как она упорно пыталась восстановиться и ребутила компьютер по циклу, после того как я подключал HDD к контроллеру, точнее сконфигурированные HDD.
Если HDD не были подключены к контроллеру, либо пока они не были сконфигурированы как JBOD, проблем с запуском Windows не было. Вот информация о HDD из MSM, когда они ещё не сконфигурированы:
Когда первый раз выставил один из HDD как JBOD в программе MSM, то сразу произошёл BSOD, и потом уже винда просто не грузилась. Я даже успел обновить BIOS материнской платы через EFI Shell
материнки, в котором оказался не верно прописанный файл запуска прошивки, на который идёт ссылка из startup.nsh. Обновил в ручную. После обновления BIOS картина немного изменилась, теперь старт ОС был почти рядом, но теперь при старте всегда был BSOD, вместо попыток восстановления. Плюс корректно заработал нижний x16 слот, разведённый как gen3 x4 (всего x16 слотов 3шт), он мне нужен для установки сетевухи, так как карт расширения много. Не зря шил в общем).
По нему была загуглена информация, и было выяснено что проблема известная, и нужно поставить другую версию
драйвера, а не ту что подсунула Windows 10. После того как я поставил этот драйвер, ОС начала грузиться корректно (контролер под ним определяется как LSI, а ранее был определён как Avago). Видимо изначально поставила более свежую версию драйвера (не зафиксировал её), но при этом она не ругалась когда я ставил версию драйвера что представлена по ссылке выше, и не снесла его при очередном подключении интернета.
После того как проблема с драйвером была решена, виктория смогла кое что прочитать из SMART, откуда видно что время наработки соответствует примерно 6 годам для обоих HDD (~55000 часов).
Я провёл тестирование, одновременное тестирование по чтению, для двух HDD, которое заняло где то 8 часов. Запускал я с разницей менее минуты, но один из HDD отстал где то на 7%, по времени чтения от более быстрого оппонента (т.е почти на 400ГБ по прочитанным данным).
Тесты в CDM:
Тесты в ATTO Disk Benchmark с разной глубиной очереди:
Запись на HDD, при работе в паре с быстрым SSD:
Чтение с HDD на SSD (по отдельности).
При работе, диски шумят не сильно, нагрев умеренный, но дополнительное охлаждение не помешало бы. В простое HDD издают достаточно высокочастотный и давящий звук. Понятно что диски серверные, и низкая шумность там не на первом месте, просто делюсь фактом. Сидеть рядом с системником где «поют» такие диски мягко говоря не комфортно, голова реально может болеть от этого, даже при недолгом нахождении рядом.
В простое, шпиндель у дисков не останавливается автоматически по прошествии даже длительного времени. Не знаю как ведут себя SATA варианты из этой серии, судя по всему так же, хотя механизм энергосбережения должен быть как в SAS так и в SATA версии.
Выводы
Покупая серверные SAS диски нужно понимать что при их работе могут вылезти разные моменты с теми же драйверами контроллера, потребуется дополнительное охлаждение контроллера, и по итогу ещё придётся потратиться на электричество, если всё это будет непрерывно работать. Плюс это далеко не тихие HDD (причём не приятный вой именно в простое).
Говоря про сами HDD, то работают они отлично, несмотря на значительное время наработки. Надеюсь они смогут отработать ещё хотя бы столько же сколько уже отработали в каком то сервере или СХД.
Касаемо стоимости, стоят они конечно не мало, если учитывать сколько они уже отработали, но с оглядкой на стоимость новых HDD из магазинов в РФ, покупка выглядит нормальным вариантом, если нужно много места для долговременного и надёжного хранения данных.
Точно «надёжного»?
Но если в зеркальный «RAID 1» то тема норм
Плохая покупка…
Ну и сравнивать в обзоре цену в магазине за новый и за выработавший ресурс довольно странно.
В целом, SAS уже вымирающая штука: мы посмотрев цены на SAS-диски (особенно на 2.5") просто перешли везде на SATA и U3 SSD. Там хоть платишь за скорость, а не за фантомную серверную «надёжность». Seagate — самые ненадёжные диски по статистике Backblaze. Я лично этих SAS от Seagate мёртвых под сотню списывал\менял, очень уж любят их вендоры типа Dell использовать.
Понятно что особого смысла в SAS нет сейчас, для новых серверов, но не стоит забывать что это всего лишь интерфейс, а диски с этим интерфейсом всегда имеют нормальную механику.
Я не утверждаю что покупка 100% верный вариант, буду смотреть, если отвалится один диск из массива, куплю новый, оставшийся вряд ли помрёт за время ребилда. Время покажет.
Потратился я не так уж и много, просто новые винты сейчас стоят имхо слишком дорого, та же ёмкость на нормальных винтах мне обошлась бы примерно 40к, стал бы я платить столько — нет конечно. Цена ещё задрана видимо тем фактом что винты возят в серую.
20000 часов — по 5000 руб.
Это всё же лучше, чем 55000 и с Taobao…
То что идёт через посредников, вся логистика до склада по Китаю. И если какой-то товар не соответствует, его меняют без проблем. Посредник вам пришлет фото всех полученных товаров. И тут же можно будет оформить возврат.
Диски то ушатаны, но если продавец всегда проведет тест, если его попросить проверить перед покупкой. И сразу пришлет снимки с экрана через свой телефон. Брака и явных фейков как на али поймать куда сложнее. И нету такого, что магазин сначала шлет хорошие диски, а потом под шумок меняет их на совсем фуфло.
Когда ебей слал из США прямо к нам, то лучше было там такое покупать. Можно купить совсем-совсем новый за очень хорошую цену. Сейчас такое провернуть можно только с дорогими товарами, иначе платить посреднику придется много за каждую позицию.
С IPMI, с нормальными hotswap карманами, встроенным контроллером, отличным охлаждением?
правда немного громким охлаждением, но вас же не смущает вой SAS накопителей
А вот по настоящему выли 15к SASы… но то другая история
доволен, посмотрим сколько проработают.
www.truenas.com/community/resources/list-of-known-smr-drives.141/
А если сравнить с тихими sata на 5400?
У 5400 блок головок почти всегда медленный и в разы тише, ну и шпиндель тише.
скрины любого теста дисков, кстати, говорят только о том, что там сейчас.
что будет у ушатанной за Х лет механики через месяц, не знает никто.
кстати, китайцы очень любят скручивать Smart — ы, и если поначалу они тупо скручивали в ноль, чтосразу бросалось в глаза, то потом стали поступать умнее — и Буратине приезжает «почти новый» ssd, у которого сверх-ресурсный флэш потом сыпется через пол-года ненапряжной эксплуатации, потому что на самом деле он уже был ушатан почти полностью и взят с помойки.
Год отпахали — всё нормально, вопросов нет.
Но в магазине этом цены совсем не бросовые, в отличие от магазинов, торгующих шлаком:
Ну а в качестве единственного винта в единственный комп, то решение не рациональное. Там проще взять САТА и не морочиться.
Отмечу популярную причину продажи этих дисков — когда полка сигнализирует о том, что какому-то диску нехорошо, меняют все содержимое полки. И тут уж никому неведомо, бракует ли китаец этот приболевший диск, или весь снятый набор публикует на площадке. Да и остальным не факт, что долго осталось, 50к часов — это внушительно даже для 5400об. диска.
Почему не стали использовать их?
А так… из десятка купленных на али лично у меня проблемы были только с одним.
а все эти подвесы, боксы вроде Scythe Quiet Drive, обшивка вибро- и звуко-изоляцией корпуса изнутри конечно помогают, но совсем не настолько, как ожидаешь.
С современными тоже, думаю, от лежания ничего не сделается, инертная среда, отсутствие нагрузок, пару-тройку десятков лет вполне переживут.
Возможно с современными дисками такие манипуляции невозможны, но 100% доверия к показаниям смарта у меня больше нет.
А вот что касается правки СМАРТ — ну да, в принципе возможно. Хотя, помнится, я тогда искал способы — но для тех дисков, что были на руках (чего уж греха таить: было несколько хардов с парой десятков бэдов, которые не сыпались дальше, поработав у меня по паре месяцев, и перед продажей хотел убрать этот неприятный показатель из СМАРТа), не нашел ничего.
Поэтому мне думается, что я не один такой хитропопый, кто пытался обмануть систему и не смог. Следовательно, при покупке с рук у частника — риск нарваться на перешитый СМАРТ все же ниже, чем у дядюшки Ляо (который эту перепрошивку списанных хардов может на поток поставить)
А если диски стоят где-то не рядом то и не услышите изменение их поведения на слух. У меня так один серверный доходяга жил в видеорегистратора на пару камер. И внезапно умер. Без шума или ухудшения смарта. Второй у ребенка в ПК тоже тихо отошел в мир вечной охоты. Благо ничего ценного на них не было.
А HDD — 6-7 лет и на помойку.
Помню, был древний ВД на 160 или 200 ГБ (еще САТА1) — тот действительно постоянно отваливался. Ни с того ни с сего. Чистка контактов помогала на некоторое время, но потом снова. Но он у меня так и не сдох) Отработал года 3 в роли Н-ного по счету харда под мусор (в те времена у меня могло в компе стоять 5+ HDD одновременно, потому что интернета нормального не было), а куда ушел — и не помню уже. Но точно не сдох. Единственное, что он со временем очень шумный стал. При обращении тарахтел как бетономешалка, но продолжал работать.
Жаль только, что сильно громко тарахтят, что по всей квартире слышно, но уже привыкли все домашние.
есть еще один важны параметр, при какой температуре эксплуатировался и будет эксплуатируется у вас накопитель.
А для вышеупомянутых «горячих» это вообще крайне важный параметр.
Если с прошлой жизнью — лотерея, хотя и с максимально вероятной работой ранее в датацентре под кондиционером в просчитанном рэк-е, то вот в самодельном «сервере» поставить накопители в корпус недостаточно.
Крайне важно обеспечить хотя бы обдув накопителей внутри объема корпуса и дальнейший контроль перегрева.
Ранее были вестерны зеленые двушки — отработали порядка 57тч 24/7 в синолоджи и посыпались(((
Шумят не особо — корпус специальный насовский, да и стоит в «серверной» в дальнем углу квартиры)))
Но интересно было встретить практически такой же сетап :)
Розетка жрёт примерно 100 Вт, но на ней висит ещё и роутер, платформа 1150, взял самый холодный Xeon, но бонусом там видеоядро есть:
Крутится всё в корпусе HAF 922, стоит в прихожей под полкой с роутером и особо никому не мешает шумом. Правда пришло сверху пластину приколхозить, чтобы дети кнопки не нажмали :)
Извините что кратко. В нонешнее время языковых моделей, AI, чатботов, и всего другого весящего по 10-50 гиг — самое оно.
Вот на ваш ссылка: ebay.com/itm/156046813385 кому нужно, сейчас 82.99$ цена, 79.99$ ждать надо.
Объемом 12Тб обычно выходят с самой низкой ценой за Тб.