Серверотред #16 /server/ 7220058 В конец треда | Веб
░░░░██╗░██████╗██████╗░██╗░░░██╗
░░░██╔╝██╔════╝██╔══██╗██║░░░██║
░░██╔╝░╚█████╗░██████╔╝╚██╗░██╔╝
░██╔╝░░░╚═══██╗██╔══██╗░╚████╔╝░
██╔╝░░░██████╔╝██║░░██║░░╚██╔╝░░
╚═╝░░░░╚═════╝░╚═╝░░╚═╝░░░╚═╝░░░

Имеешь идеальную серверную? В серверном шкафу ни пылинки? Каждый патч подогнан в размер? Боюсь, тебе не сюда.
Собираем сервер мечты из того что есть, гоним ссaными тряпками буржуев, хвастаемся билдами, бугуртим, делимся с ньюфагами лютыми костылями смекалкой и спичечножелудёвой мудростью. Чем больше скотча, изоленты и сомнительных решений тем душевнее. В свете последних событий активно переходим на железо c помойки складских запасов Xi. Твёрдый камень, много нить, сильная работа. Удар!

Для 90% хотелок с головой хватит обычной китайской мини-пекарни с N100 типа Beelink Mini
Если вы уверены, что ну вам-то её точно не хватит, то, прося совета в этом треде, указывайте, чем конкретно вы собираетесь заниматься на вашем будущем сервере, какая примерно нагрузка ожидается, какой примерно объём хранилища нужен

Разница между серверным и обычным железом
Серверное железо - это громко, горячо, и дорого. сервера предназначены для работы в специальном помещении, где постоянно работает кондиционер и где нет людей, поэтому они орут кулерами как взлетающий реактивный самолёт, в домашних условиях вы oxyeeте от шума.
Хотя вышесказанное актуально только для 1U и отчасти 2U, начиная с 3U сервера уже относительно тихие. Но есть другой нюанс: начиная с 3U сервера пиздeцки тяжёлые, потому что серверные корпуса делают из толстых железных листов, а не из бэушных консервных банок, как корпуса для обычных пекарен.
Также в мире серверов царит копирастия и вендор лок-ин: с большой вероятностью сервер одного бренда откажется работать с PCIe картой другого бренда, а то даже и с жёсткими дисками другого бренда.
Но есть и плюсы: подавляющее большинство серверов поставляется с удобным удалённым управлением - IPMI - можно управлять питанием, переустанавливать шиндошс операционную систему, настраивать биос, и всё такое прочее, без монитора и клавиатуры, а воткнув в сервер один лишь сетевой кабель.

Разница между брендами и серверами.
Если очень хочется настоящую® серверную™ платформу© без особого пepдолинга, то купи Supermicro или ASRock - в отличие от остальных серверных брендов, у этих железо в основном совместимо с десктопным - используется стандартное ATX питание, стандартные четырёхпиновые кулеры, стандартные форм-факторы материнок. То есть можно собрать настоящий© сервер™ в обычном десктопном корпусе.
Если всё-таки хочется ынтырпрайз©®™ и готов немного пoпepдолиться - то бери Dell, это самые распространённые сервера среди пepдоликов и красноглазиков, поэтому для них продаётся куча запчастей на барахолках и по этим серверам дофига информации в интернете (читай "основные проблемы известны и для них уже придуманы костыли")
Самая "народная" модель - Dell R730 или Supermicro CSE-826 / 827 / 829 с двенадцатью хардами 3.5"
Сервера HP и Fujitsu - на свой cтрax и риcк - они распространены намного меньше, информации по ним практически нет (особенно по Fujitsu), с запчастями тоже могут быть проблемы.
Ни в коем случае не бери "труЪ ынтырпрайз" - Oracle, Sun, Cisco, IBM.
По поколениям серверов: нежелательно покупать Dell старее 13го поколения, Supermicro старее 11го, HP старее 9го, то есть модели с DDR3 и более старые.

> У меня был сервак в датацентре на зионе ебаном то ли 2012 то ли 2013 года под один клиентский проект. Еле шевелился. Сменил его на чуть менее некро i9-9900x, разница небо и земля просто. Что самое смешное, аренда i9 еще и стоит дешевле, а энергии он жрет меньше. Динозавр 2008 года сейчас разве что для отопления комнаты зимой сгодится.



Часто задаваемые вопросы и ответы, и полезные цитаты из предыдущих тредов

> сап двач мур мур мур мур, я хочу скачать весь интернет, нужен сервер с 8+ дисками, какой купить?


8-12 дисков можно и в обычную пекарню запихнуть, но понадобится "разветвитель", точнее "HBA controller".
подойдёт и "RAID controller", но читай описание контроллера - он обязательно должен поддерживать "HBA mode" или "IT mode", то есть прозрачно прокидывать диски в операционную систему, а не собирать рейд массив самостоятельно. Если очень нужен hot swap, то гугли вышеуказанные корпуса supermicro 2u 12x lff или бери народный Dell R730

> чёто в описании везде указывается SFF/LFF (нахуя так писать?)


чтобы тебя запутать. SFF = small form factor = 2.5", LFF = large form factor = 3.5"

> сап двач, хочу 10 гигабит, а на авито столько вкусных предложений Intel X520...


Не надо, лучше поищи Solarflare SFN7122F или новее.
Solarflare менее привередливые, чем интелы, жрут почти в 2 раза меньше электричества и соответственно меньше греются, lm_sensors умеет собирать с них кучу информации (пятнадцатилетний Intel X520 даже температуру не показывает)
ещё говорят, что Mellanox ConnectX-3 (и новее) тоже годные, но я не проверял.

> Где в необъятной продают норм корпуса 3-4u для ATX?


Etegro и супермикра стандартные корпуса

> Посоветуйте дешёвый сердитый шкаф.


не подскажу конкретные модели, но подскажу по глубине: НЕ бери шкафы глубиной 60см, это шкафы для короткого СЕТЕВОГО оборудования типа умных свичей и роутеров, шкафы для СЕРВЕРНОГО оборудования начинаются от 100см.

> подскажите как я могу приколхозить SAS-диск


Вариантов кроме контроллера нет
Самые дешевые и распространенные контроллеры ищи на авите по названию чипа - LSI 2008, там тыщи моделей. HBA в объявлении не суть, они перешиваются туда и обратно.
Хотя наверное сейчас надо искать LSI 3008, 2008 слишком старые, а ынтырпрайз уже переезжает на современные контроллеры и сливает устаревшие LSI 3008 на барахолки.
Важно: в прошивке LSI 3108 нет реального режима HBA, в отличие от LSI 3008, и поэтому там приходится по отдельности каждому диску включать режим JBOD, чтобы ось их увидела. Возможно в LSI 2108 так же, точно не знаю.

> прокинуть диск в систему из железного рейда LSI SAS2108 / SAS3108


https://2ch.hk/hw/res/7132612.html#7210795 (М)
https://arhivach.hk/thread/1105552/#7210795

> софтовый RAID - сила, хардварный - могила


> но у нормальных брендов в прошивке контроллера можно изменить режим его работы с RAID на HBA



> где проёб с хуананами и зеонами если у тебя не серьёзный энтерпрайзный прод?


> У меня вчера после поста ... отвалился второй проц на мамке. Сколько я не искал причину, не читал гайдов и не спрашивал что делать, второй проц мамка не видит в упор, вместе с половиной памяти. Боюсь что я теперь понял где проёб.



> кстати да, надо ещё добавить в шапку, что ARM - это гроб гроб кладбище и далее по списку.


> Основные важные пакеты и программы под ARM64 / ARMv8 есть, но при любом шаге в сторону оказывается, что ничего нет.



> а по домашним упсам какая база?


база - это чтобы он управлялся по LAN или USB и поддерживался вот этим софтом https://github.com/networkupstools/nut/

> Бросил попытки ебаться с ZFS. Никакого профита от неё нету обычному уёбку селфхостеру. Я сдаюсь.


> ZFS на консьюмерских дисках это пиздец английское лото. С производительностью там полнейший атас.


> ZFS - это хрестоматийный пример "it works until it does not", когда столкнёшься с чем-то нетипичным, начнётся "у меня такая же нога и не болит"


> Короче положняк треда: все любим ZFS. Без проксмокса сервер не сервер, в крайнем случае трунас (тоже с зфс).



> XFS теоретически лучше работает с большим количеством мелких файлов , но у меня с ней были серьёзные проблемы, а на форумах и прочих сосачах сусодмины в свитерах наперебой рассказывали, что такого не бывает и что мои проблемы не проблемы, поэтому я забил хуй на XFS и вернулся на медленный EXT4, n лет полёт нормальный



> и не забудь указать, что HP - контора мочи говна


> в очередной раз заебавшись с глюками HP и наобщавшись с макаками, не вникающими в суть вопросов и отвечающими копипастами по скрипту, я осознал, что единственный ынтырпрайз в мире серверов - это делл. там и прошивку к одному конкретному девайсу скачать можно, вместо выкачивания 4.3гб исо образа у хп (с обязательной регистрацией, конечно же), и документация нормальная вместо маркетингового буллшита, и на тикеты отвечают техники вместо макак. не покупайте хп, посоны, вы матерям ещё нужны.


> The fan noise is HPEs way to punish users that don't buy HPE hardware. They have been doing this for many years, and their supporters just act stupid and send you an a wild goose chase updating drivers, updating software and so on to tire you out and give up. The reality is that they do this knowlingly on purpose to annoy you



Предыдущий тред: >>7132612 (OP)
Шапка треда: https://0bin.net/paste/Kfh5-pJl#qSvFtERsIxvAkjLleN13QA9QqEBcWK1erw3T7Deh3xj
Архив тредов: https://pastebin.com/QjGFnFWT
2 7220061
блэт, проебался с тегом
3 7220065
4 7220070

> сап двач, хочу качать торренты и стримить киношки на телик в гостиной...


вот тут хз что ответить, пишите ваши советы для добавления в шапку
5 7220080
>>0070
С этим любой мусор с помойки справится или роутер с usb-гнездом и pooque-wrt, чего тут советовать?
6 7220096
>>0080
вопрос про софт, Kodi всякие
7 7220104
Ебать поэма в шапке. Те, кому это нужно, точно читать это не будут.
8 7220137
>>0096
Сильно зависит от того что на телеке.
9 7220183
>>0096
Коди и ставь, или в линукстреде спроси во что там XBMC мутировал уже.

>>0104
Проще хтпц собрать чем c DLNA пердолиться. Если на телек можно нативно подцепить сетевую шару читать с неё видеофайлы, вопрос опять мимо, всё уже в телек встроено.
10 7220239
Аноны, по какой формуле рассчитывается скорость чтения и записи в RAID-Z?
11 7220241
>>0239
По формуле "собираешь, крутишь типовые нагрузки с запасом, решаешь хватает ли тебе"
12 7220244
>>0241
Ну хотя бы примерная зависимость от числа дисков в массиве. Вообще как то реально увеличить скорость записи?
13 7220246
>>0239
Нипакакой. У этого говна даже "идеальных" скоростей нет. Всё зависит от сотни параметров: от системы и комплектующих до характера использования и настройки кэша. И лезть туда стоит только если тебе нужно больше шести дисков собрать в массив и ты ну никак не можешь пользоваться ими отдельно.
14 7220250
>>0244
Слог на ссд, но это только 16гб буфера записи
15 7220264
>>0246
>>0250
Да нужно объединить 8 и более дисков.
По скорости чтения нареканий нет, но вот скорость записи не очень. Причём если файлы небольшие, то скорость приемлема, а вот у больших ~30+Гб скорость резко падает. Насколько понимаю из-за объёма кэша.
Тут только больше оперативы вставлять?

>16гб буфера записи


А увеличить невозможно?
16 7220274
>>0264
Кэш (arc, l2arc) на ЗАПИСЬ не влияет
17 7220281
>>0264

>Тут только больше оперативы вставлять?


Ну сейчас ещё переход на ддр5 должен резко добавлять профит.
18 7220303
Сегодня протирал роутер и всю лапшу от пыли, охуел и теперь хочу шкаф купить. ИБП тогда ещё докуплю, а то хули я не как сисадмин.
Туда же супермикру засуну которая сейчас отдельно в корпусе от пекарни стоит с дисками.
Есть варианты попроще чес собственно 19" шкафы? На авито нихуя нет, всякие тумбочки-ящики и гробы примерно в те же цены выходят, но их ещё допиливать надо.
19 7220308
>>0303
Стойки для аудиотехники.
Ну и выясняли же, какая-то икеевская то ли тумбочка то ли стол подходит под 19'
20 7220348
>>0308
Да поебать мне на 19". И за икеей гоняться тем более ебал я в рот.
А всякая мебель не сказать что принципиально дешевле готовых серверных шкафов когда начинаешь добирать полки, стенки, дверцы, петли, метизы...
И с ней ещё пердолиться чтобы привести к пригодному для использования вида,
монтажные, вентиляционные отверстия нарезать и обработать как минимум.

Ну а если пердолиться, то тогда уж из проще из листового материала/бруса/профиля собирать самому всё как надо.
И то врядли дешевле будет, материал в розницу дорогой, для раскроя либо инструмент нужен, либо ебля с пилой, либо опять таки оплатить. Я собирал себе когда-то ящик из бруса и фанеры, это пиздец приключение, а по деньгам вышло дороже чем купить на авито у кабанчика.
Выгорает только если столяркой как хобби заниматься – тогда у тебя уже весь инструмент и половина материала есть в кладовке.

Короче, я искал, но пока нихуя не нашёл ничего разумнее собственно шкафов. Они в розницу на удивление не дорого стоят и вполне полноценные серверные шкафы.

>аудиот-...


Ну тут сразу ценник х3
21 7220367
22 7220479
>>0264

> По скорости чтения нареканий нет, но вот скорость записи не очень.



ахах

мимо-3гбит-запись-300мбит-чтение-кун
23 7220482
>>0303

> Глубина 45



>>0058 (OP)

> не подскажу конкретные модели, но подскажу по глубине: НЕ бери шкафы глубиной 60см, это шкафы для короткого СЕТЕВОГО оборудования типа умных свичей и роутеров, шкафы для СЕРВЕРНОГО оборудования начинаются от 100см.



твоя супермикра длиной сантиметров 70
image.png146 Кб, 1620x376
24 7220589
>>0482
30 если чуть точнее.
sage 25 7220607
>>0589
а, если голая мамка без корпуса, то хватит.
26 7221444
Сап, анончики, тема следующая: есть родственник, котрый любит гонять киношки, но делает он это с wd mybook который трещит на всю хату. Я находясь за 200км хочу поднять сервачок у себя, т.к. есть возможность спихнуть его в кладовку, в которой он никому не будет мешать, ну и за одно развернуть файлопомойку ибо я заебался дрочить внешний хард для ноута и плойки. Кинцо он гоняет как я понял по фтп, через vlc.
Как это лучше реализовать, и какие подводные? Ну и можно ли будет на этих костылях играть по локалке с того же ноута(на плойке то можно по фтп).
27 7221491
>>0479
И каким образом такого достиг? какой у тебя конфиг, что скорость записи > скорости чтения?
sage 28 7221519
>>1491

> каким


poolname="backup";
zpool create -f -o ashift=12 -m /mnt/data $poolname raidz /dev/...
zfs set atime=off $poolname
zfs set compression=off $poolname
zfs set recordsize=1M $poolname

> какой


4х 5400rpm HDD, без каких-либо рейд/хба контроллеров, воткнуты напрямую в мамку, то есть работают через чипсет.
sage 29 7221521
>>1519
кэшей никаких нет, потому что когда я попробовал добавить кэш на ссд, скорость записи тоже стала 300 мегабит вместо 3 гбит
30 7221557
>>1521
Ссдшка должна вывозить долгую запись, а не сдуваться спустя минуту до скоростей ниже харда
31 7221567
>>1519
Спасибо анон, буду тестить.
32 7221806
>>0058 (OP)

>Кластыр.jpg


О, моё.

Нужен совет илиты:
ХПЕшные серверы будут работать с HBA от лси или адаптек? Кто пробовал такой колхоз?
Мне в цод вбросили схд и несколько HBA SFF-8088. Теперь сижу и думаю, что с этим делать.
33 7222179
МАМА Я В ШАПКЕ! МАМА! МАМА! Я В ШАПКЕ! ШАПКУ НЕ ЗАБЫЛ!
34 7222197
>>0058 (OP)
Господа сервера воды
Собираю сервак для задач БЯМ(буду ламу крутить)
Мать h12ssl-i, проц 7452, ОЗУ пока что одна плашка на 32
3хА5000
Получаю следующую проблему
Все ДОС утилиты запускаются и все тесты проходят успешно, но стоит попробовать бутать ОС, то сразу ловлю перезагрузку
Пс
Что через вагу, что через карточку одинаковое поведение
35 7222271
>>2197
Десятки причин.
livecd хоть убунты для начала погоняй.
Если принципиально не хочешь - то по классике иди, оставь воткнутым по минимуму нужное только для запуска операционки, ищи сбойный компонент. Ну и со всеми этими приседаниями, вроде перестановки компонент в другие системники.
36 7222353
>>2197

>h12ssl-i


В ipmi есть ошибки? попробуй другие версии винды/линуха.
IMG20250116170511722preview.jpeg249 Кб, 1440x1913
37 7222487
Кандидат в следующую шапку
38 7222699
>>1444
Если честно, ничего не понял.
Если родственник находится за 200км, откуда ты знаешь, что у твоего родственника диск трещит?
План - развернуть сервер у тебя, и твой родственник будет подключаться к твоему серваку через ftp?
39 7222767
>>2487

> Кандидат


Это просто кучка комплектующих.
40 7222776
>>2487
стенд на минималках
41 7222816
>>2767
Рабочий компьютер. Система на nvme, два 6Тб диска в RAID-1
42 7222827
>>2271
Никакие ОС, ни при каких условиях не стартуют.
Выяснил что плата 100% уходит в перезагрузку при следующем сценарии, загружаясь с liveCD и в grub выбирая пункт uefi firmware settings происходит мгновенная перезагрузка
При этом все компоненты(кроме проца и матери) были протестированы на стенде.
2025-01-1621-21-13.png146 Кб, 1418x509
43 7222847
>>2816
>>2767
Собран из говна и палок. Просто пока не переехал в корпус.
44 7222863
>>2197
Ipmi log
sage 45 7222884
>>2827
сбрось бивис на дефолт
beavis-laughing.gif259 Кб, 220x331
46 7222887
sage 47 7222923
>>2887
обнови бивис до последней версии
48 7223149

> все компоненты(кроме проца


попробуй переставить проц, может лежит криво.
49 7223150
50 7223686
Сервач, посоветуй какой-то веб-софт, чтобы следить за логами своего зоопарка.
Ну там syslog, логи разных сервисов - вот это все. Чтобы был доступ с веб-морды, поиск по логам, триггеры делать и т п.
51 7223696
>>3686
Кнопки "сделать заебись" нет, но есть готовые стеки
- виктория+алертменеджер+графана
- (эластик+кибана или грейлог)+файлбит
52 7223699
>>3686
Ну и не вешай алерты на логи, для этого метрики придумали
54 7223916
>>3686
С какой целью?
55 7224046
>>3696
>>3846
О, спасибо, ознакомлюсь.

>>3916
Что знать, что там в логах происходит.
56 7224178
>>0058 (OP)
TrueNAS норм сборную к или лучше другую?
Обновить тред
« /hw/В начало тредаВеб-версияНастройки
/a//b//mu//s//vg/Все доски

Скачать тред только с превьюс превью и прикрепленными файлами

Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах.Подробнее