Форум dkLab и Denwer

Дмитрий Кóтеров

http://dklab.ru/lib/dklab_apache/

Сразу мини-FAQ сюда:

0. Я выкладываю то, что сделано 2 года назад и с тех пор ни на йоту не изменилось. И вряд или будет меняться с большой скоростью в дальнейшем, так что активное участие пользователей приветствуется (а именно, не из серии "а сделайте вот так", а из серии "я сделал вот так, работает лучше, вот готовый код").
1. Отдельных patch-файлов пока нет. Если сделаете - буду рад их выложить.
2. На этом дистрибутиве несколько лет много что успешно работает (в частности - dklab, форум и т.д.).
3. Если не пишете на Си, просьба не задавать вопросов из серии "а что такое fork".
4. Очень бы хотелось также пообщаться с профессионалами, которых данный продукт заинтересовал, и которые готовы помогать его совершенствовать.

Юрий Насретдинов

Дмитрий Кóтеров
+20 тебе :)

Дмитрий Кóтеров

Phil Kulin писал(а):

Скажи мне дорогой друг, я правильно понимаю, что предложенный вариант отличается твоего же от варианта пятилетней давности наличием некоего нового аналога mod_vhost_alias (я, кстати, не понимаю, почему ещё никто этого не сделал :) и тем, что keepalive теперь принимаются? Если это так, я сейчас твой roadmap раскритикую. Я ещё когда честно украл по ещё не убитым ссылкам на тот древний вариант алгоритм работы имел много чего сказать :)

Нет, неправильно. Отличия от варианта пятилетней давности:
1. Используется стандартный fork, а не vfork/rfork. Т.е. память не шарится между ребенком и родителем => секьюрность не хромает (невозможно даже через переполнение буфера влезть в рутового родителя). Кроме того, лучшая совместимость с не-Линуксами.
2. Порождение потомков происходит асинхронно, что значительно ускоряет обработку запросов - делает ее более "гладкой", т.к. апач сам умеет следить за тем, чтобы в наличии всегда находилось несколько "свободных" апачей.
3. Даже этот асинхронный fork делается не на каждый запрос, а на каждое соединение - для типовых случаев это в 5-10 раз быстрее (по числу картинок на средней странице).
4. Нету дыры в безопасности с register_shutdown_function в mod_php, которая была в патче пятилетней давности (из-за которой этот патч и был убран, собственно). Ее там даже чисто теоретически быть не может.

er

=== src/os/unix
===> src/ap
gcc -c -I../os/unix -I../include -DUSE_HSREGEX `../apaci` ap_cpystrn.c
In file included from ../include/httpd.h:2,
from ap_cpystrn.c:16:
../include/dk_tuning.h:9:25: bits/types.h: No such file or directory
*** Error code 1

Stop in /opt/tmp/a34_rew_lim_rus_ssl_vh_fork_2005-12-04/src/ap.
*** Error code 1

Stop in /opt/tmp/a34_rew_lim_rus_ssl_vh_fork_2005-12-04/src.
*** Error code 1

Stop in /opt/tmp/a34_rew_lim_rus_ssl_vh_fork_2005-12-04.
*** Error code 1

6.2-RELEASE FreeBSD 6.2-RELEASE #0: Wed Mar 21 13:02:48 MSK 2007 eer@:/usr/src/sys/amd64/compile/webstuff amd64

Дмитрий Кóтеров

Тогда уберите

#include <bits/types.h>
#undef __FD_SETSIZE
#define __FD_SETSIZE 16384
#undef FD_SETSIZE
#define FD_SETSIZE __FD_SETSIZE

вовсе из этого файла. Наверное, остался специфичный для Linux код... В FreeBSD что-то подобное есть? Смысл был в том, чтобы увеличить число файловых дескрипторов, т.к. при 1000 виртуальных хостов и 1000 пользователей в системе их не хватало.

DLag

Для 2.2 или 2.0 когда-нибудь выйдет?

CMS

Вопрос в связи с:

Цитата:

Увеличенное потребление ресурсов: добавляется 1 лишний fork на каждое поступающее KeepAlive-соединение. (Этот fork выполняется, впрочем, в фоновом режиме, а не при поступлении соединения, что сильно ускоряет работу по сравнению с другими решениями.) К сожалению, даже в архитектуру Apache 2.2 не закладывали никаких средств для распределения запросов по динамически создаваемым Apache-процессам, поэтому уход от этого ограничения в обозримом будущем не предвидится.

Если dkLab Apache поставить в связке с nginx, а для этой связки рекомендуется Keep-Alive выключать (между nginx и Apache), то что можно сказать о производительности такой системы по сравнению со связкой nginx+обычный Apache 1.3?

Дмитрий Кóтеров

Если Вы используете nginx, то Вы - почти наверняка не хостер, запускающий хосты под разными владельцами. Нет?
Если KeepAlive выключен, то это самый медленный вариант, от этого никуда не деться.

CMS

Дмитрий Кóтеров писал(а):

Если Вы используете nginx, то Вы - почти наверняка не хостер, запускающий хосты под разными владельцами. Нет?
Если KeepAlive выключен, то это самый медленный вариант, от этого никуда не деться.

Почти хостер. Ну, как минимум у многих хостеров видел установленный nginx перед Апачем.

Я правильно понимаю, что в случае с обычным апачем "лишних" форков не происходит? А в случае с dkLab Apache форк все-таки нужен, чтобы "сменить" текущего пользователя?

Дмитрий Кóтеров

Именно это написано в документации.
Но основная "фишка" в том, что
1) fork не происходит во втором и последующих KeepAlive-запросах,
2) fork выполняется не в момент поступления запроса, а заблаговременно, в асинхронном режиме

dd2

так и не ответили будет ли аналогичное для 2.2 ? ;)

Serge

Цитата:

uname -a
Linux localhost.localdomain 2.6.11-1.1369_FC4 #1 Thu Jun 2 22:56:33 EDT 2005 x86_64 x86_64 x86_64 GNU/Linux

Цитата:

my $cmd = join("\n", @add) . "\n" . q{
    ./configure \
      --enable-module=rewrite \
      --enable-module=ssl \
      --enable-module=most \
      --enable-shared=max \
     --activate-module=src/modules/extra/mod_limitipconn.c --with-forward
};

Цитата:

./install_restart

mod_charset.c: In function ‘send_stripped_file’:
mod_charset.c:3499: warning: pointer targets in passing argument 1 of ‘ra_calc_wide_len’ differ in signedness
gcc -c -I../../os/unix -I../../include -DLINUX=22 -DHAVE_SET_DUMPABLE -DRUSSIAN_APACHE -I/usr/include/gdbm -DMOD_SSL=208116 -DUSE_HSREGEX -DEAPI -DRECORD_FORWARD `../../apaci` mod_limitipconn.c
rm -f libextra.a
ar cr libextra.a mod_charset.o mod_limitipconn.o
ranlib libextra.a
<=== src/modules/extra
===> src/modules/standard
gcc -c -I../../os/unix -I../../include -DLINUX=22 -DHAVE_SET_DUMPABLE -DRUSSIAN_APACHE -I/usr/include/gdbm -DMOD_SSL=208116 -DUSE_HSREGEX -DEAPI -DRECORD_FORWARD `../../apaci` mod_so.c
rm -f libstandard.a
ar cr libstandard.a mod_so.o
ranlib libstandard.a
make[4]: *** No rule to make target `mod_log_forensic.so', needed by `shlib'. Stop.
make[3]: *** [all] Error 1
make[2]: *** [subdirs] Error 1
make[2]: Leaving directory `/apach13patch/src'
make[1]: *** [build-std] Error 2
make[1]: Leaving directory `/apach13patch'
make: *** [build] Error 2
httpd: no process killed
./install_restart: line 4: /usr/local/apache/bin/apachectl: No such file or directory

Дмитрий Кóтеров

Попробуйте, что ли, в 32-битном режиме скомпилировать.
На самом деле, я компилировал и в 64, оно работало нормально. Видимо, еще какая-то особенность.

Гость · Карма: 367 поощрить/наказать

Дмитрий Кóтеров писал(а):

Попробуйте, что ли, в 32-битном режиме скомпилировать.
На самом деле, я компилировал и в 64, оно работало нормально. Видимо, еще какая-то особенность.

Оно копмпилирутеся нормально если не добавить,
      --enable-module=most
      --enable-shared=max


Но хочется dso.

Ладно, убираем строчки выше. Компилируется нормально.

Цитата:

/usr/local/apache/bin/apachectl start
/usr/local/apache/bin/apachectl start: httpd started

/usr/local/apache/bin/apachectl stop
/usr/local/apache/bin/apachectl stop: httpd (pid 2451?) not running

ps ax | grep httpd
10299 ? Ss 0:00 /usr/local/apache/bin/httpd -DSSL
10300 ? S 0:00 /usr/local/apache/bin/httpd -DSSL
10301 ? S 0:00 /usr/local/apache/bin/httpd -DSSL
10302 ? S 0:00 /usr/local/apache/bin/httpd -DSSL
10303 ? S 0:00 /usr/local/apache/bin/httpd -DSSL
10304 ? S 0:00 /usr/local/apache/bin/httpd -DSSL
10305 ? S 0:00 /usr/local/apache/bin/httpd -DSSL
10306 ? S 0:00 /usr/local/apache/bin/httpd -DSSL
10307 ? S 0:00 /usr/local/apache/bin/httpd -DSSL
10308 ? S 0:00 /usr/local/apache/bin/httpd -DSSL
10309 ? S 0:00 /usr/local/apache/bin/httpd -DSSL
10321 pts/3 S+ 0:00 grep httpd

При этом апач запускаетя и откликается. killall httpd приходится делать для остановки.

Ладно, идем дальше пытаем прикрутить php.
Добавляем

Цитата:

--enable-module=so

Цитата:

Syntax error on line 1057 of /usr/local/apache/conf/httpd.conf:
Invalid command 'SSLEngine', perhaps mis-spelled or defined by a module not included in the server configuration
/usr/local/apache/bin/apachectl start: httpd could not be started

Ладно, черт с ним с ssl. Убираем из httpd.conf

Цитата:

/usr/local/apache/bin/apachectl start
/usr/local/apache/bin/apachectl start: httpd started

/usr/local/apache/bin/apachectl stop
/usr/local/apache/bin/apachectl stop: httpd stopped

Ура, Вроды бы стартует и останавливается как положено/ Теперь не теряем надежды прикрутить php

Цитата:

/php/php-4.4.0/configure --with-mysql --with-apxs=/usr/local/apache/bin/apxs
/php/php-4.4.0/ && make && make install

Так вроде все собралось, Пытаемя запустится. Работает,

Итого:
        хотелось бы чтобы нормально комплировлось с DSO при этом можнро было бы указать
      --enable-module=most
      --enable-shared=max

Там еще какие то проблемы с mod_rewrite есть, На память сейчас не помню,

На 32 с указанными в начале строчками комплирутся нормально? BSD или линукс?

Serge

Выше сообщение мое, Забыл подписаться

Zaqwr

Добрый день. Попробовал выделить патч, для запуска процессов под uid владельца виртуалхоста, вот что получилось и проблема этому сопутствующая.
Linux 2.6.18-4-686 #1 SMP Mon Mar 26 17:17:36 UTC 2007 i686 GNU/Linux
Debian 4 Etch
правда машина с 1 Cpu, не думаю что это особенно влияет на проблему.
Хоелось бы услышать ваши комментарии по этому поводу, я понимаю что возможно гдето я ошибся, где непонимаю, вы писали что даный "патч" в коде выделен тэгами #<dk>#, кои я и старался выделить из кода...
на лицо полный крах в производительности веб сервера....

тест вашего дистрибутива Apache 1.3.34

Код (any language):

скопировать код в буфер обмена

Completed 10000 requests
Completed 20000 requests
Completed 30000 requests
Completed 40000 requests
Completed 50000 requests
Completed 60000 requests
Completed 70000 requests
Completed 80000 requests
Completed 90000 requests
Finished 100000 requests
Server Software: Apache/1.3.34
Server Port: 80

Document Path: /blank.gif
Document Length: 148 bytes

Concurrency Level: 50
Time taken for tests: 106.451 seconds
Complete requests: 100000
Failed requests: 0
Broken pipe errors: 0
Total transferred: 46511625 bytes
HTML transferred: 14803700 bytes
Requests per second: 939.40 [#/sec] (mean)
Time per request: 53.23 [ms] (mean)
Time per request: 1.06 [ms] (mean, across all concurrent requests)
Transfer rate: 436.93 [Kbytes/sec] received

Connnection Times (ms)
min mean[+/-sd] median max
Connect: 0 23 5.5 24 51
Processing: 11 29 9.7 27 836
Waiting: 1 28 9.8 26 835
Total: 11 52 7.3 51 844

Percentage of the requests served within a certain time (ms)
50% 51
66% 52
75% 52
80% 52
90% 54
95% 60
98% 70
99% 71
100% 844 (last request)

тест скомпилированного мною апача

Код (any language):

скопировать код в буфер обмена

Completed 10000 requests
Completed 20000 requests
Completed 30000 requests
Completed 40000 requests
Completed 50000 requests
Completed 60000 requests
Completed 70000 requests
Completed 80000 requests
Completed 90000 requests
Finished 100000 requests
Server Software: Apache/1.3.34
Server Port: 80

Document Path: /blank.gif
Document Length: 148 bytes

Concurrency Level: 50
Time taken for tests: 2801.364 seconds
Complete requests: 100000
Failed requests: 0
Broken pipe errors: 0
Total transferred: 46500465 bytes
HTML transferred: 14800148 bytes
Requests per second: 35.70 [#/sec] (mean)
Time per request: 1400.68 [ms] (mean)
Time per request: 28.01 [ms] (mean, across all concurrent requests)
Transfer rate: 16.60 [Kbytes/sec] received

Connnection Times (ms)
min mean[+/-sd] median max
Connect: 0 0 3.2 0 92
Processing: 16 1400 803.3 1347 122352
Waiting: 13 1399 803.3 1347 122351
Total: 16 1400 803.3 1348 122352

Percentage of the requests served within a certain time (ms)
50% 1348
66% 1376
75% 1394
80% 1406
90% 1446
95% 1496
98% 1668
99% 1992
100% 122352 (last request)

в аттаче патч,

000_apache-1.3.34.rar

Описание:

patch uid apache

Скачать

Имя файла:

000_apache-1.3.34.rar

Размер:

6,52 KB

Скачали:

487 раз(а)

Последний раз редактировалось: Zaqwr (Пн Окт 01, 2007 8:36 am), всего редактировалось 1 раз

Дмитрий Кóтеров

В статье все сказано насчет производительности, по-моему.
Вы к тому же наверняка тестировали без keep-alive, т.е. 1 запрос - 1 соединение, а это совершенно не соответствует реальности.

Zaqwr

Дмитрий Кóтеров

KeepAlive On

п.с.
MaxRequestsPerChild 1000 вот в чём была моя ошибка

а с патчем который я выложил, всё в порядке? ничего не упустил?

Zaqwr

а после наложения этого патча и сборку *.deb пакета, ситуация становится ещё хуже...

wp

планиреутся ли обновление до 1.3.41 ?

Алексей_-_

+1 планируется ли обновление и почему так мало информации?

Юрий Насретдинов

Информации для тех, для кого это предназначено, ИМХО, вполне достаточно :). А вот что касается новых версий, можно и самому новую версию апача пропатчить, я думаю, что будет работать :).

chucho

Дмитрий, благодарю Вас за столь полезные модули, которые разрабатывает Ваша лаборатория. Если у Вас найдется чуть времени, ответьте, пожалуйста. Интересует Ваша разработка файла dk_massvhost.h в патченном апаче. У меня стоит такая задача, чтобы для всех пользователей был один конфигурационный файл, но беда в том, что параметры php_admin_value .... Вашей библиотекой не изменяются, т.е. не работает директива вида php_admin_value open_base_dir /home/$1/ Я понимаю, что так и должно быть, но может есть каике-то шансы, чтобы она заработала. Заранее огромное Вам спасибо.

Юрий Насретдинов

Вам в любом случае не стоит использовать open_basedir с Диминым апачем. Вы же можете создать по пользователю на домен, что будет намного надежнее и удобней для клиентов.

chucho

Юрий, целиком и полностью согласен с Вами. Просто есть задача сделать это не с Диминым апачем, а с обыкновенным но используя dk_massvhost.h. Сам Димин апач я использую на высоконагруженных серверах, согласен, проблем никаких.

Юрий Насретдинов

Чем Вас mod_vhost_alias в этом случае не устраивает?Или он тоже такое не поддерживает?

Гость · Карма: 367 поощрить/наказать

Тоже не поддерживает, плюс некорректно передает document_root.

chucho

Предыдущий пост мой, не заметил, что не авторизован.

Дмитрий Кóтеров

chucho писал(а):

не работает директива вида php_admin_value open_base_dir /home/$1/ Я понимаю, что так и должно быть, но может есть каике-то шансы, чтобы она заработала

Боюсь, только пропатчиванием PHP. Или хотя бы модуля apache, занимающимся парсингом значений php_admin_value.
Т.е. нужно ковыряться в исходниках.

chucho

Дмитрий, а не подскажите, какой модуль у апача занимается парсингом данных значений ?

Юрий Насретдинов

chucho
Единственный модуль, который должен это делать -- mod_php.

chucho

Юрий Насретдинов
Юрий, спасибо. Буду копать.

Lestat

а может кто то собрать пакет для Debian?
для lenny..
пробовал сам, валятся ошибки:

Цитата:

make[4]: *** No rule to make target `mod_log_forensic.so', needed by `shlib'. Stop.

rkorolev

Здравствуйте.
Кто-нибудь под freebsd использовал выложенный здесь отдельный патч?
Я вроде его освежил под 1.3.41, положил в порты, апач собирается, но проверять пока стремно, нет свободной песочницы.