Если дисков компьютере пара-тройка, подключение их простое. Но если дисков захотелось много — возникают особенности. На КДПВ SAS кабель с Али, уже проскакивавший в прошлом
обзоре про ленту, так неожиданно тепло встреченным сообществом. Спасибо, камрады. Попробую затронуть тему, потенциально полезную чуть более широкому кругу. Хотя и специфическую. Начну с этого кабеля и обязательной программы, но только для затравки. Разные кусочки пазла приходится собирать в разных местах.
Хочу сразу предупредить, что текст получился плотный и довольно тяжёлый. Заставлять себя читать и понять всё это уж точно не обязательно. Много картинок!
Кто-то скажет, 9 баксов за тупой кабель? Что делать, в быту это применяется крайне редко, а на промышленные вещи тиражи ниже, а цены — выше. За сложный SAS кабель и сотню-другую баксов могут не моргнув глазом выставить. Так что китайцы ещё кратно снижают :)
Доставка и упаковка
Заказ 6 мая 2017, получено 17 мая — просто ракета. Трек был.
Обычный серый пакет, внутри ещё один — вполне достаточно, товар не хрупкий.
Спецификация
Мама-папа SFF-8482 SAS 29 пин кабель.
Длина 50 см
Масса нетто 66 г
Картинка продавца
Реальный внешний вид, как видите — отличается
За лишнюю пластмассу продавец получил 4 звезды вместо 5, но на работоспособность не влияет.
Про SAS и SATA разъёмы
Что такое SFF-8482 и с чем его едят? Во-первых, это самый массовый разъём на SAS устройствах (
Вика о SAS), например, на моём лентопротяге
А ещё SFF-8482 прекрасно садится на SATA диск (но не наоборот)
Сравните, у SATA между данными и питанием промежуток. А у SAS он заполнен пластмассой. Поэтому SATA разъём на SAS устройство не налезет.
Конечно, в этом есть смысл. По сигналам SAS и SATA разные. И SATA контроллер не сможет работать с SAS устройством. A SAS — контроллер сможет и с тем и с другим (хотя встречается совет не смешивать при определённых обстоятельствах, дома вряд ли реальных)
SAS контроллеры и экспандеры
Ну и что, спросит читатель. Что я выигрываю от такой совместимости? Мне и SATA контроллеров достаточно!
Истинная правда! Если достаточно — на этом месте
можно нужно бросать читать. Вопрос был что делать, если МНОГО дисков?
Вот так выглядит простенький SAS контроллер из моего зипа — DELL H200.
Мой прошит в HBA, то есть все диски оси видны отдельно
А это древний SAS RAID HP
У обоих мы видим внутренние разъёмы (называются sff 8087 или, чаще, miniSAS) и один внешний — sff 8088
Сколько дисков можно подключить на один miniSAS? Ответ зависит. Тупым кабелем — 4шт, то есть 8 на такой контроллер. Кабель из моего ЗИП выглядит вот так
На одном конце miniSAS, на другом — 4шт SATA (и ещё один разъём, о нём ниже)
Но можно взять miniSAS-miniSAS кабель и подключить к экспандеру, то есть размножителю портов. И контроллер потянет до 256 (двухсот пятидесяти шести) дисков. Причём скорости канала хватит уж на десятки дисков — точно.
Экспандер как отдельная карта выглядит, например, как мой Ченбро
А может быть распаян на дисковой корзине. Тогда в неё может идти всего один miniSAS канал (а может — больше). Вот такими кабелями.
Согласитесь, кабель менеджмент несколько упрощается :)
Корзины
Понятно, диски прекрасно могут работать и без специальных корзин. Но иногда корзины могут быть полезны.
Вот так выглядит SATA корзинка старой модели Супермикро. Можно найти за 1000 р, но скорее за 5+ тыс.
Её лоток для диска
Вид изнутри, видно, что там SATA разъёмы.
Если корзинка SAS — ещё лучше, меньше проводов. Если SCSI или FC — использовать её вы не сможете. Я взял одну 19" FC на пробу — ничего полезного не сделал. Там, правда, лома цветмета оказалось почти на те деньги, за которые купил.
Вид сзади, видим 4 SATA, 2 MOLEX и тот самый порт, что был на кабеле. Предназначен для управления LED активности дисков.
Вот так выглядит одна из самых простых корзинок (моделей много разных, но похожих)
Именно такие уже не продают, так что детали не важны. Просто кусок металла с амортизаторами и карлсоном впереди.
Вот так это выглядело в 2013 году,
когда я переводил железо в корпус побольше
Картонный костыль внизу и третья корзина были только на момент для перекачки данных с 2T дисков на 4T. С тех пор работает 24/7.
SAS+SATA у меня
Точнее работало до того, как мне понадобилось подключить лентопротяг. Первым делом я воткнул второй SAS контроллер, купил кабель miniSAS на sff 8482, примерно такой
И включил. Всё заработало, но в режиме 24/7 каждый ватт стоит денег. Я искал переходники с sff 8482 на SATA, но решение оказалось ещё проще. Вы же помните, что SATA диск подключается на SAS sff 8482?
Вот я теперь тоже помню, но тогда пару месяцев тупил :) А потом вынул лишний контроллер, переключил один из дисков на чипсетный порт SATA порт, три остальных на sff 8482. Пришлось менять подключение питания, был разветвитель Molex-SATA, пришлось покупать на Али Molex-много Molex. Вот такой
Брал здесь, всё хорошо.
А лентопротяг переехал в другой корпус именно с использованием обозреваемого кабеля. Но это отдельная песня, а, караул, чувствую, устал :)
Где всё это выгоднее искать
Цены на новое серверное железо для дома запретительны. Так что бу, в том числе из ЗИП от выводимого из эксплуатации оборудования.
Кабели можно найти на месте. За сравнимые деньги на e-bay. На Али — несколько менее вероятно, но бывают исключения — я же купил.
Контроллеры — прежде всего на e-bay, причём из Европы. Можно из США, там сильно дешевле, если как-то решить вопрос с доставкой. Можно найти на Родине — авито. (На комке — дорого). В Китае покупать очень опасно. Множество жалоб на подделку из отбраковки. То работает, то нет. Никому ничего не докажешь.
Корзины разумнее искать локально. Есть даже варианты простейшие корзины покупать новые. Простые корзины без электроники можно брать и в Китае и в Европе и на барахолке. Корзины с экспандерами — см пункт про контроллеры.
ВАЖНО Запутаться — проще, чем потеряться в лесу. Консультируйтесь на форуме. SAS бывает разный -3, 6 и 12 Gb/s. Одни контроллеры шьются в то, что можно использовать с десктоп железом, другие нет, третьи вообще не заживут нигде, кроме матери родного производителя. И так далее.
Конференция про NAS своими руками
Конференция про SAS/SATA контроллеры и экспандеры
На хоботе я MikeMac
PS Если для вас это стало выступлением Капитана Очевидность — прошу прощения за отнятое время.
Если бредом сивой кобылы — тем более мои искренние извинения. Трудно балансировать, хотелки, задачи и исходные у каждого свои.
Да, про кабель же! Продавца рекомендую, кабелем доволен, доставка молниеносная.
спасибо.
к дисковым полкам, либо к настольным das на тундерболте
кмк это может существенно упростить «хозяйство» :)
Дисковую полку я смотрел, вскользь упомянул. Но дисковая полка без стойки — это как корову в квартире держать. Технически можно, практически — нет.
хотя на твоем месте я бы брал 19" системы на синолоджи
это такой средний сегмент между самопалом и ентерпрайзом
И вряд ли соглашусь доплатить пару-тройку концов сверху, чтобы получить кардинально хуже железо.
А софт у них ничего, симпатичный. Я в виртуалке развёртывал на NAS, смотрел. Но не стал использовать.
да и железо там вполне на уровне, не обязательно ставить мощные процессоры и гигабайты памяти
важно что тут готовый программной аппаратный комплекс
сам на виртуалке держу для всяких экспериментов и запускал на голом железе даже, причем на амд
просто настольных полок не бывает
а вот das с тундерболтом (который как вы верно заметили конвертится в sata) — легко
зы это не более чем варианты, если вы уже над ними думали — ок
как говорится «хозяин — барин» :)
очень симпатичный на 8 3.5 дисков, 2 шт SFF 8088 порта
Или микровая для 2дюймовых
SAS тем и хорош, что не надо изобретать лишние прокладки типа всяких тундровых болтов ;)
ЗЫ. Хотя реально там корпус, блок питания, дисковая корзина и SFF 8088 на SFF 8087 переходник. Я при нужде и сам соберу.
В полке таки мозги кой-какие есть, аля HP StorageWorks msa2000
Мобыть настольные решения и встречаются, ручаться не стану, пожалуй
Но я — не видел
Впрочем если под ваш запрос подходит — почему нет?
Второе — внутренняя корзина с ними и так все понятно :)
зы сас хорош тем что масштабируется
тундроболт — аналогично, хотя куда менее гибок
(ну да и сегмент применения несколько иной)
остальное — лирика
Вы действительно мне хотите посоветовать дома такое держать? Какие же преимущества я получу от сделанных инвестиций?
По поводу инвестиций — вы правда домой сас контролеры новые в магазине покупаете?
… ну тогда вы в курсе — где смотреть реальный ценник для небеспредельно богатого домашнего энтузиаста :)
зы хотя в свете изложенного ниже в треде
(вся история — просто про большой nas)
собственно — незачем
функционально полка вам не нужна :)
Я ж написал, где покупаю. Но именно этот DELL — в ситилинке, новый
Если говорить про НР то типа MSA60 если мне память не изменяет то можно повесить до 8 эмэсаев в цепочку на 1 порт в каждой до 12 дисков.
Вот правда с дисками от НР будут траблы, сами по себе дорогие, а отдельно салазки еще поискать надо.
ну тогда даже неинтересно, без обед
… понятно, что при отсутствии бюджета — не до красивых решений :)
Или вы мне предлагаете DiskStation DS1817? 75 000 руб, не указанный проц на 1.7GHz и 4 гига RAM?
Если нравится — покупайте.
я — не предлагаю
я констатирую, что при отсутствии бюджета — готовое решение на ваше количество банок недоступно
мне не нравится — я к железу равнодушен, к тому же, поскольку задачи не оглашены — рассуждать собственно и не о чем
конкретно с серверами и хранилищами — сталкивался только по работе и то достаточно давно (перенесли все свои сервисы корпоративное облако)
Не верю, покажите мне такого. Так что картинка дана либо как классический добрый совет, не разобравшись что советуется, либо как троллинг. Ну а к троллингу мне не привыкать, в блоге одного спецом держу, подкармливаю, чтоб людей весилил :)
зы то что zfs это теоретически неплохо — в курсе
ззы рад за ваш крутой смартфон :)
Но я тут влез в гугл по поводу рекомендованной вами DS 1817. CPU Annapurna Labs Alpine AL-314, ARM Cortex-A15
Похоже всё-таки троллинг :(
мой предыдущий пост был адресован Minatavrus :)
… но ладно, если вы вы считаете что синолоджи решила вас персонально трольнуть, выпустив 8 юнитовый nas на указанном процессоре — ок, так тому и быть :)
Может быть потому, что вы предложили одновременно Thunderbolt и СХД? Одинаково не годящиеся для обсуждаемой цели, одинаково более дорогие, чем описываемое и при этом одно сугубо корпоративное решение, а другое сугубо бытовое?
Или вы готовы описать применение Thundebolt для ?
2. вы излишне мнительны ))
зы удачи, пардон если задел чем-то
ззы тут дело не в крутости моем смартфона за 300 баксов, а в SoC от Annapurna Labs
кратенько 2gusia.livejournal.com/529686.html
Длинно по тегам
2gusia.livejournal.com/tag/%D0%BC%D0%B5%D0%B4%D0%B8%D0%B0
2gusia.livejournal.com/tag/plex
aliexpress.com/item/Marvell-88SE9215-4-Ports-SATA-6G-PCI-Express-Controller-Card-PCI-e-to-SATA-III-3/32579332065.html
цена вменяемая, 4 SATA III порта добавляет
aliexpress.com/item/PCIe-to-2-Port-SATA2-0-Raid-Controller-Card-SIL3132-Chipset-for-Silicon-RAID-0-1/32704409555.html
дешевле но 2 SATA II
aliexpress.com/item/1-to-5-SATA-Port-Converter-Adapter-ATA-Multiplier-Cable-SATA-Port-Extension-Card-SATA2-0/32820916429.html
ну и мультипликатор портов дешевый на САТА2
И только что нашел мультипликатор PCIe aliexpress.com/item/4-Slots-PCI-E-1-to-4-PCI-Express-16X-Slot-External-Riser-Card-Adapter-Board/32822378889.html
получается к нему можно подключить до 4х PCIe карт жертвуя скоростью.
Лучший из коротких ресурсов на эту тему blog.zorinaq.com/from-32-to-2-ports-ideal-satasas-controllers-for-zfs-linux-md-ra/
Также гуглится чип и предполагаемая ось.
Что касается порт SATA мультипликаторов — то надо понимать, что это подключение всех дисков на один SATA канал. И хорошо ещё, если SATA 6Gb/s, а то и 3 и 1.5 бывает Иногда терпимо, часто — нет. Тот, что по вашей ссылке — JMB321. Sata 3Gb/s www.jmicron.com/PDF/brief/jmb321.pdf
Насчёт PCIe мультипликатора я тему не копал, не подскажу. ЕМНИП — это преключатель во времени — последовательно к каждой из дочерних обращается. Такого типа чипы ставят на совмещённые карты SATA -USB с PCIE-1
Подойдёт ли для майнинга — надо смотреть. Для любых скоростных приложений — однозначно нет.
Россыпь USB3 карт
2gusia.livejournal.com/522636.html
2 номер
SIL 3132 — PCI-Express Revision 1.0a — не советую, возможны проблемы совместимости.
Получше, но тоже древний достаточно медленный чипсет. У меня близкий стоит, на 2 порта. На диски хватит, на быстрые SSD — нет.
пишите еще! считайте я на вас подписан
Вот как в этот экспандер зафигачить 256 дисков?
Ну, то есть я вижу там 7 SAS портов (может еще где спрятался), но это получается, что нужен miniSAS-miniSAS провод у которого на одном хвосте будет 1SAS для вставки в ченбро, а с другой стороны 36 SAS-разъемов болтаться? Они же здоровые (сас-разъемы, судя по первой пикче). И это точно работать будет? В плане пропускной способности, в плане всего такого?
У вас большой абзац текста и почти ни слова о том, что будет в статье, только бессмысленная лирика «ой, так трудно девушке в городе одной жить». Не надо так.
Лирику и размышления можно позже всунуть, коли есть большое желание, а первый абзац всегда должен быть максимально информативным. Поверьте, это все оценят.
ps. я не зануда, просто очень в глаза бросилось.
Но вроде камрадам читать нравится, в прошлом месяце приз дали, в этом вдруг моя запись на 1 месте за неделю.
Будем работать над собой!
Вы совершенно правы насчёт тизера и барьера на пути тех, кто так прочитал бы. Этот барьер поставлен сознательно. В большинстве случаев чем больше трафик, какой угодно, тем лучше. Но здесь не FB, здесь есть дизлайки. И допустить формирование критической массы негатива контр продуктивно. Я посмотрел, что происходит, если это нарушить, на очень многих обзорах здесь, которые уходят в минус. И формируется негативное отношение. Написал специальный пост ср mySKU.me/blog/aliexpress/53415.html после нескольких позитивно встреченных. В результате удалось понять лучше нужды и предпочтения аудитории. И да, я использую это понимание.
Вот моя фирменная корзина на 8 дисков :) Подключены к древнему adaptec'у через 2 sff 8088. Харды 750Гб, рейд-6. Пробовал 1.5Тб к нему цеплять — не вышло. Пришлось их на какой-то ещё дешевый контроллер повесить с рейд-5. Внутри ascot'овских корпусов помимо них ещё с десяток хардов разной емкости, вплоть до 200 гигабайтных. Если бы тогда смог прочитать ваш блог, наверное мог бы сделать лучше :) Но про nas4free и многое другое узнал сильно позже.
А я вот нашёл фотку NAS 2013 года — а там пара проводов только изменилась, раз в год пылесос, всё работает. А где фан? Вот и придумал себе порося с лентой :)
Самым дешёвым вариантом будет собрать маленький комп (=NAS или SAN, по потребностям)), воткнуть туда SAS адаптер и как-то подключить к существующему. Лучше по Ethernet, на крайняк — через USB-Ethernet адаптер.
Более извращённое — USB to-express card (который по сути PCI-E) -> PCI-E -> SAS
Если такой франкенштейн заживёт.
Потому что ExpressCard — это PCI-E+USB. Поэтому в переходнике USB to ExpressCard пробрасываются только линии USB 2.0. Линий данных PCI-E там нет.
Попался мне intel raid rs2bl040… прошил ему фирмваре с приключениями:
текущая версия 12.7.0-0007
сначала нужно обновить к версии 12.12.0-0036.
потом к последней v12.14.0-0185 (firmware 2.130.393-3027)
что касается BBU: купил на тао ради платы контроллер на одной банке BQ2060A https://world.taobao.com/item/16481151706.htm
поменял банку на хорошую на 1400mAh, а счастья нет все равно…
Но лучше ничего в общем-то и нет.
Потому не просто бекап, а бекап на физически ином носителе.
Ср www.olcf.ornl.gov/wp-content/events/lug2011/4-13-2011/1130-1200_Brian_Benhlendorf_LUG11_ZFS_on_Linux_for_Lustre.pdf
Но файловая система — не ось, довольно средний по объёму проект и сановцами хорошо проработан. Так что польза была.
Снова не соглашусь. Для Оракла ZFS — нелюбимая падчерица, читаем Золушку или 12 мес. Всё никак не сдохнет. Постоянно какая-то сволочь помогает — то принц, то месяцы…
Извините, если кого обидел.