Закончил тестировать производительность трех вышеперечисленных веб-серверов для раздачи статики. Это часть моих экспериментов по исследованию работы кэширующего распределенного кластера. Ставлю разные веб-сервера, сравниваю настройки, производительность и всякое такое.

Сегодняшний стенд — мой домашний роутер:

CPU: Intel(R) Pentium(R) 4 CPU 2.66GHz (2666.78-MHz 686-class CPU)
real memory = 1073741824 (1024 MB)
D-Link DGE-530T Gigabit Ethernet
FreeBSD hasp.vzletka.net 8.1-STABLE FreeBSD i386

Проверяю достаточно стандартным средством:
mult@multop:~$ ab -c 190 -n 50000 192.168.1.254:80/error404.jpg

Понеслось:
Server Software: lighttpd/1.4.29
Server Hostname: 192.168.1.254
Server Port: 80
Document Path: /error404.jpg
Document Length: 22830 bytes
Concurrency Level: 190
Time taken for tests: 118,479 seconds
Requests per second: 423,896 [#/sec] (mean)
Transfer rate: 9548,873 [Kbytes/sec] received

далее,

Server Software: Cherokee/1.2.2
Server Hostname: 192.168.1.254
Server Port: 81
Document Path: /error404.jpg
Document Length: 22830 bytes
Concurrency Level: 190
Time taken for tests: 120,629 seconds
Requests per second: 415,11 [#/sec] (mean)
Transfer rate: 9336,393 [Kbytes/sec] received

и наконец третий участник:

Server Software: nginx/1.0.8
Server Hostname: 192.168.1.254
Server Port: 82
Document Path: /error404.jpg
Document Length: 22830 bytes
Concurrency Level: 190
Time taken for tests: 121,489 seconds
Requests per second: 412,483 [#/sec] (mean)
Transfer rate: 9282,033 [Kbytes/sec] received

Небольшое замечание: самую большую нагрузку на процессор создал Cherokee. Все три веб-сервера запущены на одной машине. Тесты запускал несколько раз по очереди. Больших различий в результатах небыло.

Надо было бы еще Apache попробовать, но вряд ли бы результаты у него были хорошими, да и прожорливый он очень. К тому же, он не позиционируется как реверс-прокси или кеширующий веб-сервер — поэтому в моем тестировании web-серверов он не учавствовал. Еще не измерял скорость php-скриптов, потому что это было бы скоростью исполнения самого php.

Все три веб-сервера поддерживают кеширование и проксирование с распределением нагрузки между backend’ами. Все три имеют вменяемые конфиги. Может nGinx и показал бы самые высокие результаты, но его надо уметь готовить. А из коробки все вот так как есть. Будут еще интересные результаты — обязательно поделюсь.

Ну и напоследок:

Зарабатывая неплохо трудно накопить на собственное жилье без помощи. Но есть такая штука как квартира в кредит — купил сейчас, живешь сейчас, а платишь потом. Главное силы свои рассчитать.

Немецкие авто очень надежные, но даже им требуется обслуживание. Но мы уже знаем где сделать ремонт двигателя фольксваген из интернета. Ездите и не ломайтесь.

Последнее время занимался не только облаками на Xen Cloud Platform, но и регистрацией своей автономной системы (AS) и приобритением пула адресов (купил /23 сеть). Все бы хорошо, но вышестоящий провайдер — Мультима — что-то тянет время и уже неделю как не может мне предоставить все что надо для установки bgp-сессии и начала анонсирования своей сетки.

Но перед этим прокачал скилл владения фаерволом PF на FreeBSD. Поясню.

Организация сети у меня в организации непростая и я использую двух провайдеров для доступа в интернет. Одна сеть (размером /25) принадлежит одному провайдеру и пускать ее наружу через второго — Мультиму — никто не будет. Однако анонсировать свою новую сеть буду через эту самую Мультиму, поэтому дефаулт шлюз будет именно туда.

Роутить по источнику FreeBSD не умеет, а вот заворачивать трафик умеет PF, поэтому меня спасло вот такие кренделя:

pass out quick on $ext0_if route-to ($tun0_if $tun0_gw) inet proto { tcp, udp, icmp, 41, gre } from $mini_lan to !(self) keep state
pass in quick on $tun0_if reply-to ($tun0_if $tun0_gw)
pass in quick on $ext0_if reply-to ($ext0_if $ext0_gw)

где $ext0_if смотрит в мультиму, $tun0_if — до второго провайдера, о шлюзах догадались уже сами, $mini_lan — та самая маленькая, /25 сетка.

Буду рад, если это кому-нибудь пригодиться.

PS. Все-таки по анализу pftop работает другое правило:

pass in quick on $int0_if route-to ($tun0_if $tun0_gw) inet proto { tcp, udp, icmp, 41, gre } from $mini_lan to !(self) keep state

Ну и напоследок:

Начинается осень, поэтому пора уже заканчивать с ремонтами и перепланировками. Те, кто еще не купил двери межкомнатные, то самое время их выбрать и купить. Не ошибитесь с выбором!

Уважаемые Украинцы которые еще не выучили международный язык и живущие в Киеве — отличная возможность это исправить и записаться на английский позняки и освоить этот несложный иностранный язык.

И то, и другое — просто здорово. Для кого-то, кто сталкивался с этими двумя сущностями (вместе или по раздельности) — это очевидно, для других пока еще нет. Попробую прояснить ситуацию по обоим позициям.

Не так давно, а если быть точнее — в начале этой недели, у меня был переезд моего серверного хозяйства. Много — не много, а полстойки барахла набралось. Барахло обычное — серверы, бесперебойники, дисковые полки. Переезд как переезд — выключили, разобрали, привезли, собрали, включили. Включилось все, кроме одной из дисковых полок.

Дисковый конфиг той полки был прост: 4x500GB в аппаратном raid5, 4x2TB в raidz с помощью zfs, ОС — FreeBSD 8.2. Суть такова, что аппаратный raid5 (казалось бы, штука практически неубиваемая) взял да и развалился. Контроллер ни с того, ни с сего не увидел на первом контроллере вообще никаких раидов. Да, мол, 4 диска онлайн, сделать чего с ними?

Вот тут как раз и начинается соль. Чего делать — было непонятно. Восстановить RAID у меня не получилось, но вот на счет zpool я очень надеялся, что оно выживет. Спросил совета у комьюнити. В старом добром irc на канале #freebsd. Просветили, чуть шлепнув по подзатыльнику за незнание матчасти, после чего чуток погуглив, поставил чистую FreeBSD и импортировав zpool получил свой raidz живой, невредимый и с настроенными точками монтирования. Чудеса, да и только.

Чудеса, да и только — больше нервов потерял, да всхуднул малость. Люблю ZFS теперь больше и больше. Да, кто-то скажет, LVM тоже неплох — и я соглашусь — потому что это действительно так, но мне больше по душе ZFS. Осталось научиться ее разгонять и все будет отлично.

Ну и напоследок:

Если не платят зарплату, попали в ДТП, делите дом с кем-то, да и просто если хотите кому-то чего-то доказать на Украине, то юридические услуги киев просто необходимы как воздух.

Кто-то вкладывает в недвижимость, кто-то продает. Кто-то кричит продам участок, а кто-то у него покупает. Движение недвижимости из рук в руки.

Не ZFS’ом единым живы программные зеркала в FreeBSD. Даже больше — zfs достаточно специфичное решение, которое часто и не требуется, но не смотря на это, требуется сделать RAID1 программными средствами. Штатный инструмент в FreeBSD для этого — gmirror.

Пользоваться проще простого.

# sysctl kern.geom.debugflags=17
# gmirror label -vb round-robin gm0 /dev/ad4
Metadata value stored on /dev/ad4.
Done.
# gmirror load
# echo 'geom_mirror_load="YES"' >> /boot/loader.conf
# ee /etc/fstab
- тут меняем ad4 на gm0
# shutdown -r now
# gmirror insert gm0 /dev/ad8
# gmirror status
Name Status Components
mirror/gm0 DEGRADED ad4
ad8 (92%)
- ждем когда Статус сменится на «COMPLETE» и все — система на програмном зеркале. Даже если умрет один из дисков — все будет не фатально. Меняем мертвый диск и вставляем его в наш массив:

# gmirror forget gm0
# gmirror insert gm0 /dev/ad8

Ну и наблюдаем в ‘gmirror status’ как оно ребилдится.

Ну и напоследок:
Иностранные языки полезны всегда, а вот английский — очень важен для програмистов и системных администраторов. Записываться на курсы английского надо только у проверенных временем школ. Не потеряйте время зря.

Курить вредно, пить тоже — это всем понятно и очевидно. А вот вокруг таких новых пристрастий как электронные сигареты разгораются всякие дисскуссии, что я даже и не знаю как к ним относиться. Но пробовать не хочется.

Резервировать данные надо всегда. Особенно, когда они важные и потеря сулит неприятностями. В одной из организаций использую файловую помойку, организованную с помощью freebsd+zfs+samba. Классический вариант с tar+gzip себя показал не очень эффективно, объемы большие (>150GB), упаковывается медленно, да и распаковывается в итоге, тоже небыстро. Под катом простое и эффективное решение.

Итак, в нашем стородже имеем несколько точек монтирования для того,чтобы управлять квотами и резервировать место.

Пишем простенький скриптец:

#!/bin/sh
daten=`date +20%g-%m-%e` # дата формата ГГГГ-ММ-ДД
olddaten=`date -v-14d +20%g-%m-%e` # получаем дату -14 дней
bases='storage/samba/bases'
public='storage/samba/public'
users='storage/samba/users'

# а вот тут вся магия:
# - делаем новый снепшот с сегодняшней датой
# - и удаляем с датой-14 дней.
zfs snapshot $bases@$daten
zfs destroy $bases@$olddaten
zfs snapshot $public@$daten
zfs destroy $public@$olddaten
zfs snapshot $users@$daten
zfs destroy $users@$olddaten

Кидаем симлинк в ‘/etc/periodic/daily’ и забываем об еще одной головной боли.

Чтобы откатиться к какому-то снепшоту, можно сделать:
zfs rollback _название_снепшота_

Чтобы примониторать снепшот в папку и вытащить нужное файло, делаем так:
zfs clone -o mountpoint=/путь-к-папке-монтирования название-снепшота место-хранения-в-сторажде

Давно меня не отпускает идея потестировать веб системы под нагрузкой. Вот тут я даже спрашивал народ о возможности предоставить стенд для экспериментов, но никто не откликнулся. Потом нахлынуло разное — рабочее и не очень. Больше рабочего, конечно же — виртулизация и просто системное администрирование. Выдалися свободные пол вечера — решил сделать стенд из виртуалок. Не ахти какой, понимаю, стенд, но днамику (общую) проследить очень и очень реально.

Стендик получился простенький и еще в процессе расширения:

• виртуалка с балансировщиком нагрузки (front-end);
• 2 виртуалки с back-end’ом;
• планируется еще виртуалка с базой данных.

Вот такой стендик. Из софта и конфиг "железа":

• балансир — FreeBSD, lighttpd, 64mb RAM;
• узлы — FreeBSD, apache22, php, 128mb RAM;
• бд — FreeBSD, MySQL 5.1, 128mb RAM.

БД надо будет попробовать разнести на узлы для чтения, на выделенный серв для записи. Master-Slave режим MySQL еще покурить требуется.

Тестирование проводил утилиткой ‘ab’ с ключами ‘ab -n 10000 -c (от 10 до 100) balanser/test.php’.

Результаты

Для себя я понял несколько вещей:

• Если нагрузка планируется небольшая и сервер достаточно мощный, то быстрых ответов можно достичь и на обычном apache с небольшими донастройками. Производительности хватит.
• Если нагрузка планируется больше, чем в прошлом варианте — стоит присмотреться к таким вэбсерверам, как nGinx и lighttpd (для меня приятней и удобней последний).
• Если нагрузка планируется постоянно большая, и требуется наращивание вычислительных мощностей в процессе — то необходима схема с балансировщиком и несколькими узлами. Пусть даже не супер производительные сервера на каждой ноде, но управление нагрузкой упрощается. Ввести еще один узел проще чем перенести ресурс целиком на новый сервер.

К стати, минимальные время загрузки тестовой странички были при обращении к голому apache. Максимальное время ответа было тоже при обращении к голому апачу. Лайти оптимально уравнивал нагрузку на оба узла ценой небольшой задержки ~10-20ms. Тесты не оконены, но хотелось бы нагрузку сделать менее синтетической, да и стенд пошустрее.

И еще интересное:

Часто требуется обменять электронную валюту. Часто требуется так же вывести W1 USD на Visa/MasterCard RUR или на Visa/MasterCard USD. Надежных и быстрых сервисов не так уж и много.

Итальянское исскуство, итальянская кухня, итальянская мебель для гостиной — все это притягивает дарит нслаждение. Прикоснитесь к этому.

Место действия: Красноярск.

Поставили задачу оптимизировать аппаратную часть инфраструктуры небольшого ISP. Из оборудования — достаточно старые серверы (преимущественно стоечные), коммутаторы, АТСки. Серверы занимают почти пол стойки — вот с ними и была поставлена задача что-то сделать, потому что задачи ширятся, а бесперебойное питание (инвертор на 5 КилоВатт) не резиновое. С коммутаторами, атсками, конвертерами и прочей сетевой активкой ничего не сделать, да и потребляет оно меньшую часть электричества, а вот серверы…

Серверы — это 2-3-4 юнитные корпуса с Pentium4/Celeron 1.7-2.4 + 512-1024 МБ ОЗУ, PATA HDD (в некоторых стоят SCSI, но и начинка там серьезней — Двух-Четырехядерные Xeon). Задачи у серверов достаточно стандартные для ИСП: биллинг, dhcp, dns, hosting, шлюзы с bgp.

Один пока сервер HP, 1U, небольшой, пока еще локальный сторадж. VM Ware ESXi 4 в качестве платформы виртуализации, на которой крутятся:

• Немного FreeBSD 8.1;
• немного Windows Server 2008 R2;
• немного Linux Ubuntu 10.04 LTE;
• Куча VLANов на сетевом интерфейсе;
• Немного транспортных виртуальных сетей.

Все работает, будет еще больше. Загрузка хоста:

• CPU — 20-35%;
• Памяти — 7 Гиг.

Но эксперимент продолжается.

В одном из прошлых постов я обмолвился о построении виртуальной инфраструктуры у одних наших клиентов. Специально для Alex Ramilov, распишу подробней что и как было сделано. Сразу оговорюсь, что вариант не совсем законченный, потому что хотелось внедрить еще ActiveDirectory, GPO и терминальный сервер. Но бюджет был ограничен, поэтому только основное и только бесплатное (не считая, конечно же, оборудования).

Небольшое предисловие

Была такая небольшая корпоративная сетка ~10 компьютеров. С аппаратным роутером ZyXEL P344, с сетевыми настройками клиентов настроенными вручную, сетевыми шарами где и у кого попало. Задача была сделать сеть управляемую, поднять скорость обмена и обезопасить корпоративные данные. Ввести новые сервисы для удобства обмена информацией (типа IM на базе OpenFire).

Собственно, процесс

Собирание RAID10, установка VM Ware ESXi 4.0 на флешку и базовая настройка, думаю, никого особо не напугает, главное, чтобы RAID контроллер был нормальным аппаратным, а не хренью, встроенной в материнскую плату.

Далее была установка виртуальной FreeBSD 8.0 i386 в минимальной комплектации, ее обновление, обновление портов с последующим выключением. Виртуалки раскопировались на нужное количество (итого, в сумме, получилось 6 виртуалок). В каждую был поставлен софт, соответствующий ее роли. Типовая конфигурация 256 MB RAM, 1 CPU, 20G HDD. У файл-сервера 512 MB, 2 CPU, 1T HDD.

Например, роль DNS+DHCP:

• bind;
• isc-dhcpd;
• dnsmasq (в качестве кэширующего DNS).

Роль LAN Router + Proxy:

• pf;
• squid,

Роль Файл-сервер + Wins:

• zfs;
• samba (отдает и принимает ~35 Мб/сек) ;-)

Минимум софта, минимум задач каждому виртуальному серверу — UNIX-way.

Топология сети — на картинке.

Итого

Два роутера (и там и там NAT) необходимо для разделения двух сетей, без смены адресация и в одной и в другой. В итоге — выкинули ZyXEL, интернет стал работать стабильней и быстрее, плюс, появилась возможность гибкого проброса портов наружу и внутрь.

Samba+ZFS

Связка очень удобная в плане гибкой настройке сетевых шар, квот и персональных настроек для каждой общей папки в отдельности (типа размер блока, сжатие, шифрование и прочие «вкусности», резервирование места).

Ну и ложка того самого в бочке самизнаете чего.

Готовь сани летом, а велосипед зимой. Если у вас дети школьники, и неважно мальчики или девочки, то и школьные костюмы надо бы покупать заранее, пока нет ажиотажа. Интернет со своими магазинами вам в помощь. К стати, лет через пять, мне тоже такое предстоит.

А еще, лето — не только пора отпусков и всяческих пляжей, но и пора ремонтов. Еще бы, мастичные кровли зимой не смонтируешь, да и жидкую резину не зальешь никуда. Так что время не ждет — действуйте.

…виртуализацию в малый и средний бизнес в Красноярске. Кто не в курсе — это моя основная деятельность на сегодняшний день.

Сетевой бедлам у заказчика мы решили сервером на платформе Intel с RAID10, VM Ware ESXi 4.0, FreeBSD 8.0 и комутатором HP ProCurve 1810G-24. 3 VLAN, Виртуальные серверы в количестве шести штук, 1 изолированная транспортная виртуальная сеть. Все просто, все быстро, пока все довольны.

И еще:

Прежде чем купить свой ноутбук (с которого, собственно я и веду этот блог), я прочитал не один обзор нетбуков, а целую прорву. Но остановился на ноутбуке от HP. Чего и вам рекомендую.

Заметка для себя.

Есть вот такая строчка в top:

Mem: 86M Active, 77M Inact, 105M Wired, 3980K Cache, 110M Buf, 715M Free

Что это все значит.

86 Мегабайт активной памяти. Может быть выгружена в своп

77 Мегабайт неактивной. Эти данные уже использовались программами, но содержатся в памяти для возможного будущего использования. Практически — свободная память.

105 Мегабайт wired памяти, которая не может быть выгружена в своп.

110 Мегабайт и 3980 Килобайт — Буферы и кэши.

715 Мегабайт свободной для использования оперативной памяти.

К стати, перенес домашний интернетораздаватель обратно на домашний сервачок с FreeBSD и настроил на нем Munin (даже немного помучался, но все обошлось. Напишу об этом заметку чуть позже). Интернеты стали заметно веселее быстрее. Беспроводной роутер D-Link DIR-300 остался в качестве беспроводной точки доступа, потому что нагрузку в качестве роутера совершенно не держит.