Форум dkLab и Denwer
Здесь общаются Web-разработчики.
Генеральный спонсор:
Хостинг «Джино»

dklab_logreplice: сбор логов со всего кластера в единую точку в реальном времени. (Дмитрий Котеров)
Author Message
Дмитрий Котеров
Администратор



Joined: 10 Mar 2003
Posts: 13665
Карма: 413
   поощрить/наказать


PostPosted: Thu Jun 30, 2011 1:26 am (написано за 40 секунд)
   Post subject: dklab_logreplice: сбор логов со всего кластера в единую точку в реальном времени.
Reply with quote

dklab.ru/lib/dklab_logreplica/

Этот простой, но очень удобный и мощный инструмент позволяет "вытягивать"
(реплицировать) логи со всего кластера на централизованный сервер логов,
причем в реальном времени. В дальнейшем логи могут быть использованы для
просмотра, аггрегации или анализа.

THE PROBLEM WHICH IS SOLVED

If you have many machines in your cluster which perform different tasks
(e.g. SQL server, web-frontend, balancer, mail server etc.), you may want
to aggregate logs from all these machines to a single place to monitor them
or to preform various statistics collections. Of course you may configure
syslog or syslog-ng to pass all the data over the network, but if you do
so, you are face to face with the following problems:

1. Due to network problems pieces of logs may not be correctly transfered,
   so you may loose data.
2. It is quite hard to keep the syslog configuration in sync with real
   world (which is changing time to time, you know).
3. Not all services support putting logs into syslog (e.g. apache supports
   only file-based logs writing). So you have to use named pipes, and your
   configs grow.
4. Quite oftenly you want to replicate logs filenames by their wildcards
   specified. Syslog cannot do that.
5. At least, it is good to hold all logs at the machines at which they
   are produced (with e.g. weekly rotation) in addition to send them
   to a logging server. So your configs are growing again...

Dklab_logreplica solves all that problems.
Back to top
View user's profile Send private message Send e-mail
ilazarev
Guest





Карма: 388
   поощрить/наказать


PostPosted: Thu Jun 30, 2011 3:56 pm (спустя 14 часов 30 минут; написано за 38 секунд)
   Post subject:
Reply with quote

Дима, а ты не смотрел в сторону syslog-ng? Кажется он умеет все тоже самое.
Back to top
WingedFox
Профессионал



Joined: 29 Apr 2003
Posts: 4064
Карма: 269
   поощрить/наказать

Location: Питер

PostPosted: Thu Jun 30, 2011 4:02 pm (спустя 5 минут; написано за 14 секунд)
   Post subject:
Reply with quote

ilazarev
Внимательнее читайте.
Дмитрий Котеров wrote:
Of course you may configure syslog or syslog-ng to pass all the data over the network
Back to top
View user's profile Send private message
ilazarev
Guest





Карма: 388
   поощрить/наказать


PostPosted: Fri Jul 01, 2011 3:40 pm (спустя 23 часа 38 минут; написано за 39 секунд)
   Post subject:
Reply with quote

WingedFox, внимательнее читайте документацию syslog-ng.
Back to top
bæv
Модератор «Дзена»



Joined: 27 Aug 2003
Posts: 7275
Карма: 9990
   поощрить/наказать


PostPosted: Fri Jul 01, 2011 6:47 pm (спустя 3 часа 7 минут)
   Post subject:
Reply with quote

Дмитрий Котеров wrote:
4. Quite oftenly you want to replicate logs filenames by their wildcards
   specified. Syslog cannot do that.
Back to top
View user's profile Send private message
ilazarev
Guest





Карма: 388
   поощрить/наказать


PostPosted: Fri Jul 08, 2011 4:15 pm (спустя 6 дней 21 час 27 минут; написано за 42 секунды)
   Post subject:
Reply with quote

А причем тут syslog? www.balabit.com/sites/default/files/documents/syslog-ng-v3.0-guide-admin-en.html/configuring_sources_file.html
Back to top
Дмитрий Котеров
Администратор



Joined: 10 Mar 2003
Posts: 13665
Карма: 413
   поощрить/наказать


PostPosted: Thu Mar 08, 2012 12:52 am (спустя 7 месяцев 30 дней 8 часов 37 минут; написано за 1 минуту 34 секунды)
   Post subject:
Reply with quote

Вань, честно говоря, тебе правильно ответили. Вся утилита как раз про то, что syslog-ng слишком низкоуровневый для некоторых задач. И в тексте README предостаточно подробностей про это. Более того, именно измучившись с syslog-ng я ее и написал в итоге.
Back to top
View user's profile Send private message Send e-mail
Display posts from previous:   
Post new topic   Reply to topic All times are GMT + 3 Hours
Page 1 of 1    Email to a Friend.
Post a reply
Username
Subject
Господа спамеры и оптимизаторы!

Вы можете даже и не пытаться вставлять в текст поста ссылки - они все равно автоматически удаляются (вернее, тэги <a> заменяются на тэги <u>).

Но если не поверите и все же попытаетесь - как только увидите, что все безрезультатно, удалите свой пост, пожалуйста. Модераторы тоже люди, нехорошо, если они погрязнут в тоннах спама.
     

Disable BBCode in this post
Disable Smilies in this post
    HTML is OFF
BBCode is ON
Smilies are ON
You cannot post new topics in this forum. You can reply to topics in this forum. You cannot edit your posts in this forum. You cannot delete your posts in this forum. You cannot vote in polls in this forum. You cannot attach files in this forum. You can download files in this forum.
XML