Форум dkLab и Denwer

[Дмитрий Кóтеров]

http://dklab.ru/lib/dklab_apache/

Сразу мини-FAQ сюда:

0. Я выкладываю то, что сделано 2 года назад и с тех пор ни на йоту не изменилось. И вряд или будет меняться с большой скоростью в дальнейшем, так что активное участие пользователей приветствуется (а именно, не из серии "а сделайте вот так", а из серии "я сделал вот так, работает лучше, вот готовый код").
1. Отдельных patch-файлов пока нет. Если сделаете - буду рад их выложить.
2. На этом дистрибутиве несколько лет много что успешно работает (в частности - dklab, форум и т.д.).
3. Если не пишете на Си, просьба не задавать вопросов из серии "а что такое fork".
4. Очень бы хотелось также пообщаться с профессионалами, которых данный продукт заинтересовал, и которые готовы помогать его совершенствовать.

[Юрий Насретдинов]

Дмитрий Кóтеров
+20 тебе :)

[Дмитрий Кóтеров]

Phil Kulin wrote:

Скажи мне дорогой друг, я правильно понимаю, что предложенный вариант отличается твоего же от варианта пятилетней давности наличием некоего нового аналога mod_vhost_alias (я, кстати, не понимаю, почему ещё никто этого не сделал :) и тем, что keepalive теперь принимаются? Если это так, я сейчас твой roadmap раскритикую. Я ещё когда честно украл по ещё не убитым ссылкам на тот древний вариант алгоритм работы имел много чего сказать :)

Нет, неправильно. Отличия от варианта пятилетней давности:
1. Используется стандартный fork, а не vfork/rfork. Т.е. память не шарится между ребенком и родителем => секьюрность не хромает (невозможно даже через переполнение буфера влезть в рутового родителя). Кроме того, лучшая совместимость с не-Линуксами.
2. Порождение потомков происходит асинхронно, что значительно ускоряет обработку запросов - делает ее более "гладкой", т.к. апач сам умеет следить за тем, чтобы в наличии всегда находилось несколько "свободных" апачей.
3. Даже этот асинхронный fork делается не на каждый запрос, а на каждое соединение - для типовых случаев это в 5-10 раз быстрее (по числу картинок на средней странице).
4. Нету дыры в безопасности с register_shutdown_function в mod_php, которая была в патче пятилетней давности (из-за которой этот патч и был убран, собственно). Ее там даже чисто теоретически быть не может.

[er]

=== src/os/unix
===> src/ap
gcc -c -I../os/unix -I../include -DUSE_HSREGEX `../apaci` ap_cpystrn.c
In file included from ../include/httpd.h:2,
                 from ap_cpystrn.c:16:
../include/dk_tuning.h:9:25: bits/types.h: No such file or directory
*** Error code 1
 
Stop in /opt/tmp/a34_rew_lim_rus_ssl_vh_fork_2005-12-04/src/ap.
*** Error code 1
 
Stop in /opt/tmp/a34_rew_lim_rus_ssl_vh_fork_2005-12-04/src.
*** Error code 1
 
Stop in /opt/tmp/a34_rew_lim_rus_ssl_vh_fork_2005-12-04.
*** Error code 1

6.2-RELEASE FreeBSD 6.2-RELEASE #0: Wed Mar 21 13:02:48 MSK 2007 eer@:/usr/src/sys/amd64/compile/webstuff amd64

[Дмитрий Кóтеров]

Тогда уберите

#include <bits/types.h>
#undef __FD_SETSIZE
#define __FD_SETSIZE 16384
#undef FD_SETSIZE
#define FD_SETSIZE __FD_SETSIZE

вовсе из этого файла. Наверное, остался специфичный для Linux код... В FreeBSD что-то подобное есть? Смысл был в том, чтобы увеличить число файловых дескрипторов, т.к. при 1000 виртуальных хостов и 1000 пользователей в системе их не хватало.

[DLag]

Для 2.2 или 2.0 когда-нибудь выйдет?

[CMS]

Вопрос в связи с:

Quote:

Увеличенное потребление ресурсов: добавляется 1 лишний fork на каждое поступающее KeepAlive-соединение. (Этот fork выполняется, впрочем, в фоновом режиме, а не при поступлении соединения, что сильно ускоряет работу по сравнению с другими решениями.) К сожалению, даже в архитектуру Apache 2.2 не закладывали никаких средств для распределения запросов по динамически создаваемым Apache-процессам, поэтому уход от этого ограничения в обозримом будущем не предвидится.

Если dkLab Apache поставить в связке с nginx, а для этой связки рекомендуется Keep-Alive выключать (между nginx и Apache), то что можно сказать о производительности такой системы по сравнению со связкой nginx+обычный Apache 1.3?

[Дмитрий Кóтеров]

Если Вы используете nginx, то Вы - почти наверняка не хостер, запускающий хосты под разными владельцами. Нет?
Если KeepAlive выключен, то это самый медленный вариант, от этого никуда не деться.

[CMS]

Дмитрий Кóтеров wrote:

Если Вы используете nginx, то Вы - почти наверняка не хостер, запускающий хосты под разными владельцами. Нет? Если KeepAlive выключен, то это самый медленный вариант, от этого никуда не деться.

Почти хостер. Ну, как минимум у многих хостеров видел установленный nginx перед Апачем.

Я правильно понимаю, что в случае с обычным апачем "лишних" форков не происходит? А в случае с dkLab Apache форк все-таки нужен, чтобы "сменить" текущего пользователя?

[Дмитрий Кóтеров]

Именно это написано в документации.
Но основная "фишка" в том, что
1) fork не происходит во втором и последующих KeepAlive-запросах,
2) fork выполняется не в момент поступления запроса, а заблаговременно, в асинхронном режиме

[dd2]

так и не ответили будет ли аналогичное для 2.2 ? ;)

[Serge]

Quote:

uname -a Linux localhost.localdomain 2.6.11-1.1369_FC4 #1 Thu Jun 2 22:56:33 EDT 2005 x86_64 x86_64 x86_64 GNU/Linux

Quote:

my $cmd = join("\n", @add) . "\n" . q{     ./configure \       --enable-module=rewrite \       --enable-module=ssl \       --enable-module=most \       --enable-shared=max \      --activate-module=src/modules/extra/mod_limitipconn.c --with-forward };

Quote:

./install_restart mod_charset.c: In function ‘send_stripped_file’: mod_charset.c:3499: warning: pointer targets in passing argument 1 of ‘ra_calc_wide_len’ differ in signedness gcc -c -I../../os/unix -I../../include -DLINUX=22 -DHAVE_SET_DUMPABLE -DRUSSIAN_APACHE -I/usr/include/gdbm -DMOD_SSL=208116 -DUSE_HSREGEX -DEAPI -DRECORD_FORWARD `../../apaci` mod_limitipconn.c rm -f libextra.a ar cr libextra.a mod_charset.o mod_limitipconn.o ranlib libextra.a <=== src/modules/extra ===> src/modules/standard gcc -c -I../../os/unix -I../../include -DLINUX=22 -DHAVE_SET_DUMPABLE -DRUSSIAN_APACHE -I/usr/include/gdbm -DMOD_SSL=208116 -DUSE_HSREGEX -DEAPI -DRECORD_FORWARD `../../apaci` mod_so.c rm -f libstandard.a ar cr libstandard.a mod_so.o ranlib libstandard.a make[4]: *** No rule to make target `mod_log_forensic.so', needed by `shlib'. Stop. make[3]: *** [all] Error 1 make[2]: *** [subdirs] Error 1 make[2]: Leaving directory `/apach13patch/src' make[1]: *** [build-std] Error 2 make[1]: Leaving directory `/apach13patch' make: *** [build] Error 2 httpd: no process killed ./install_restart: line 4: /usr/local/apache/bin/apachectl: No such file or directory

[Дмитрий Кóтеров]

Попробуйте, что ли, в 32-битном режиме скомпилировать.
На самом деле, я компилировал и в 64, оно работало нормально. Видимо, еще какая-то особенность.

[Guest]

Дмитрий Кóтеров wrote:

Попробуйте, что ли, в 32-битном режиме скомпилировать. На самом деле, я компилировал и в 64, оно работало нормально. Видимо, еще какая-то особенность.

Оно копмпилирутеся нормально если не добавить,
      --enable-module=most
      --enable-shared=max

     
Но хочется dso.

Ладно, убираем строчки выше. Компилируется нормально.

Quote:

/usr/local/apache/bin/apachectl start /usr/local/apache/bin/apachectl start: httpd started /usr/local/apache/bin/apachectl stop /usr/local/apache/bin/apachectl stop: httpd (pid 2451?) not running ps ax | grep httpd 10299 ? Ss 0:00 /usr/local/apache/bin/httpd -DSSL 10300 ? S 0:00 /usr/local/apache/bin/httpd -DSSL 10301 ? S 0:00 /usr/local/apache/bin/httpd -DSSL 10302 ? S 0:00 /usr/local/apache/bin/httpd -DSSL 10303 ? S 0:00 /usr/local/apache/bin/httpd -DSSL 10304 ? S 0:00 /usr/local/apache/bin/httpd -DSSL 10305 ? S 0:00 /usr/local/apache/bin/httpd -DSSL 10306 ? S 0:00 /usr/local/apache/bin/httpd -DSSL 10307 ? S 0:00 /usr/local/apache/bin/httpd -DSSL 10308 ? S 0:00 /usr/local/apache/bin/httpd -DSSL 10309 ? S 0:00 /usr/local/apache/bin/httpd -DSSL 10321 pts/3 S+ 0:00 grep httpd

При этом апач запускаетя и откликается. killall httpd приходится делать для остановки.

Ладно, идем дальше пытаем прикрутить php.
Добавляем

Quote:

--enable-module=so

Quote:

Syntax error on line 1057 of /usr/local/apache/conf/httpd.conf: Invalid command 'SSLEngine', perhaps mis-spelled or defined by a module not included in the server configuration /usr/local/apache/bin/apachectl start: httpd could not be started

Ладно, черт с ним с ssl. Убираем из httpd.conf

Quote:

/usr/local/apache/bin/apachectl start /usr/local/apache/bin/apachectl start: httpd started /usr/local/apache/bin/apachectl stop /usr/local/apache/bin/apachectl stop: httpd stopped

Ура, Вроды бы стартует и останавливается как положено/ Теперь не теряем надежды прикрутить php

Quote:

/php/php-4.4.0/configure --with-mysql --with-apxs=/usr/local/apache/bin/apxs /php/php-4.4.0/ && make && make install

Так вроде все собралось, Пытаемя запустится. Работает,

Итого:
        хотелось бы чтобы нормально комплировлось с DSO при этом можнро было бы указать
      --enable-module=most
      --enable-shared=max

Там еще какие то проблемы с mod_rewrite есть, На память сейчас не помню,



На 32 с указанными в начале строчками комплирутся нормально? BSD или линукс?

[Serge]

Выше сообщение мое, Забыл подписаться

[Zaqwr]

Добрый день. Попробовал выделить патч, для запуска процессов под uid владельца виртуалхоста, вот что получилось и проблема этому сопутствующая.
Linux 2.6.18-4-686 #1 SMP Mon Mar 26 17:17:36 UTC 2007 i686 GNU/Linux
Debian 4 Etch
правда машина с 1 Cpu, не думаю что это особенно влияет на проблему.
Хоелось бы услышать ваши комментарии по этому поводу, я понимаю что возможно гдето я ошибся, где непонимаю, вы писали что даный "патч" в коде выделен тэгами #<dk>#, кои я и старался выделить из кода...
на лицо полный крах в производительности веб сервера....

тест вашего дистрибутива Apache 1.3.34

Code (any language):

скопировать код в буфер обмена

Completed 10000 requests Completed 20000 requests Completed 30000 requests Completed 40000 requests Completed 50000 requests Completed 60000 requests Completed 70000 requests Completed 80000 requests Completed 90000 requests Finished 100000 requests Server Software:        Apache/1.3.34 Server Port:            80 Document Path:          /blank.gif Document Length:        148 bytes Concurrency Level:      50 Time taken for tests:   106.451 seconds Complete requests:      100000 Failed requests:        0 Broken pipe errors:     0 Total transferred:      46511625 bytes HTML transferred:       14803700 bytes Requests per second:    939.40 [#/sec] (mean) Time per request:       53.23 [ms] (mean) Time per request:       1.06 [ms] (mean, across all concurrent requests) Transfer rate:          436.93 [Kbytes/sec] received Connnection Times (ms)               min  mean[+/-sd] median   max Connect:        0    23    5.5     24    51 Processing:    11    29    9.7     27   836 Waiting:        1    28    9.8     26   835 Total:         11    52    7.3     51   844 Percentage of the requests served within a certain time (ms)   50%     51   66%     52   75%     52   80%     52   90%     54   95%     60   98%     70   99%     71  100%    844 (last request)

тест скомпилированного мною апача

Code (any language):

скопировать код в буфер обмена

Completed 10000 requests Completed 20000 requests Completed 30000 requests Completed 40000 requests Completed 50000 requests Completed 60000 requests Completed 70000 requests Completed 80000 requests Completed 90000 requests Finished 100000 requests Server Software:        Apache/1.3.34 Server Port:            80 Document Path:          /blank.gif Document Length:        148 bytes Concurrency Level:      50 Time taken for tests:   2801.364 seconds Complete requests:      100000 Failed requests:        0 Broken pipe errors:     0 Total transferred:      46500465 bytes HTML transferred:       14800148 bytes Requests per second:    35.70 [#/sec] (mean) Time per request:       1400.68 [ms] (mean) Time per request:       28.01 [ms] (mean, across all concurrent requests) Transfer rate:          16.60 [Kbytes/sec] received Connnection Times (ms)               min  mean[+/-sd] median   max Connect:        0     0    3.2      0    92 Processing:    16  1400  803.3   1347 122352 Waiting:       13  1399  803.3   1347 122351 Total:         16  1400  803.3   1348 122352 Percentage of the requests served within a certain time (ms)   50%   1348   66%   1376   75%   1394   80%   1406   90%   1446   95%   1496   98%   1668   99%   1992  100%  122352 (last request)

в аттаче патч,

---

000_apache-1.3.34.rar
Description:	patch uid apache	Download
Filename:	000_apache-1.3.34.rar
Filesize:	6,52 KB
Downloaded:	665 Time(s)

---

Last edited by Zaqwr on Mon Oct 01, 2007 8:36 am; edited 1 time in total

[Дмитрий Кóтеров]

В статье все сказано насчет производительности, по-моему.
Вы к тому же наверняка тестировали без keep-alive, т.е. 1 запрос - 1 соединение, а это совершенно не соответствует реальности.

[Zaqwr]

Дмитрий Кóтеров

KeepAlive On

п.с.
MaxRequestsPerChild 1000 вот в чём была моя ошибка

а с патчем который я выложил, всё в порядке? ничего не упустил?

[Zaqwr]

а после наложения этого патча и сборку *.deb пакета, ситуация становится ещё хуже...

[wp]

планиреутся ли обновление до 1.3.41 ?

[Алексей_-_]

+1 планируется ли обновление и почему так мало информации?

[Юрий Насретдинов]

Информации для тех, для кого это предназначено, ИМХО, вполне достаточно :). А вот что касается новых версий, можно и самому новую версию апача пропатчить, я думаю, что будет работать :).

[chucho]

Дмитрий, благодарю Вас за столь полезные модули, которые разрабатывает Ваша лаборатория. Если у Вас найдется чуть времени, ответьте, пожалуйста. Интересует Ваша разработка файла dk_massvhost.h в патченном апаче. У меня стоит такая задача, чтобы для всех пользователей был один конфигурационный файл, но беда в том, что параметры php_admin_value .... Вашей библиотекой не изменяются, т.е. не работает директива вида php_admin_value open_base_dir /home/$1/ Я понимаю, что так и должно быть, но может есть каике-то шансы, чтобы она заработала. Заранее огромное Вам спасибо.

[Юрий Насретдинов]

Вам в любом случае не стоит использовать open_basedir с Диминым апачем. Вы же можете создать по пользователю на домен, что будет намного надежнее и удобней для клиентов.

[chucho]

Юрий, целиком и полностью согласен с Вами. Просто есть задача сделать это не с Диминым апачем, а с обыкновенным но используя dk_massvhost.h. Сам Димин апач я использую на высоконагруженных серверах, согласен, проблем никаких.

[Юрий Насретдинов]

Чем Вас mod_vhost_alias в этом случае не устраивает?Или он тоже такое не поддерживает?

[Guest]

Тоже не поддерживает, плюс некорректно передает document_root.

[chucho]

Предыдущий пост мой, не заметил, что не авторизован.

[Дмитрий Кóтеров]

chucho wrote:

не работает директива вида php_admin_value open_base_dir /home/$1/ Я понимаю, что так и должно быть, но может есть каике-то шансы, чтобы она заработала

Боюсь, только пропатчиванием PHP. Или хотя бы модуля apache, занимающимся парсингом значений php_admin_value.
Т.е. нужно ковыряться в исходниках.

[chucho]

Дмитрий, а не подскажите, какой модуль у апача занимается парсингом данных значений ?

[Юрий Насретдинов]

chucho
Единственный модуль, который должен это делать -- mod_php.

[chucho]

Юрий Насретдинов
Юрий, спасибо. Буду копать.

[Lestat]

а может кто то собрать пакет для Debian?
для lenny..
пробовал сам, валятся ошибки:

Quote:

make[4]: *** No rule to make target `mod_log_forensic.so', needed by `shlib'. Stop.

[rkorolev]

Здравствуйте.
Кто-нибудь под freebsd использовал выложенный здесь отдельный патч?
Я вроде его освежил под 1.3.41, положил в порты, апач собирается, но проверять пока стремно, нет свободной песочницы.