Форум dkLab и Denwer

[Дмитрий Котеров]

dklab.ru/lib/dklab_realsync/

Внимание!
Если возникают проблемы, для диагностики указывайте в сообщении:
1. Полное название вашей ОС.
2. Скриншот окна консоли, где видна аномалия (или можно текст из консоли скопировать).
3. Скриншот окна со списком запущенных процессов.
Иначе по статистике половина моих ответов в данной теме сводится к фразе "пришлите скриншот" или "пришлите больше информации".


RealSync allows you to establish one-way directory synchronization from your
folder at the local machine (typically with site's source code) to remote
directory at a server (typically - development web-server).

When you create, change or delete any file at your local folder, it will
automatically be created, modified or deleted at the remote side, in realtime.

Main RealSync benefits:

1. It is extremely stable, even on unstable internet connection. If internet
   is temporarily unavailable and then becomes alive, RealSync will recover
   and continue working, even if many files are changed during that period.
   
2. It guarantees that no missynchronization happens, because it performs
   a full (but fast!) synchronization periodically using the fast RSYNC utility
   (e.g. RSYNC is run when you run RealSync initially).
   
3. It is damned fast even on extremely large directories! Just change a file
   and you'll see these changes immediately at the remote side (it's true for
   Windows and MacOS X; Linux version is a bit slower still). If you change
   lots of files, RealSync will run RSYNC automatically to reflect all changes.
   
4. It minimizes to tray (on Windows) and dings a quiet sound on each change
   which is successfully transferred.
   
5. It has an installation wizard which automatically creates all needed SSH
   keys to access to your remote server with no need to enter your password
   each time.

Why use RealSync?

Today there are no network filesystems exist which perform good caching on
a slow or unstable internet connection. If you mount a remote directory from
a development web server into yor local machine using Samba, NFS, sshfs etc.,
it becomes extremely slow when you perform e.g. a full project searching or
update files using SVN or GIT directly at your local machine.

RealSync allows you do use other method. You create a folder at your local
machine and then say RealSync to replicate all changes in this folder to
a remote web server. So you work at your local machine, you modify files as
you like (using multiple text editors if you want to), perform deep searhes
through all the files etc. And you sure that the latest version of the
directory is always at the remote side.

So you edit your site locally, but view changes at the remote web server.

Last edited by Дмитрий Котеров on Mon Jun 04, 2012 12:38 pm; edited 2 times in total

[Олег111]

Как я понял, если исправить на локальной машине, то на удаленной все обновится. А если наоборот, на удаленной исправить файл, то на локальной ничего не изменится?

[Юрий Насретдинов]

Более того, помимо того, что ничего не изменится, при следующей синхронизации эти исправления будут найдены и уничтожены :)

[levinside]

Странно.
В одном случае работает. ( на серверной стороне linux, rsync 3.0.8 )
В другом нет ( FreeBSD, rsync 3.0.7 ).
Запускаю на MacOS (Snow Leopard).
Вываливается:

Code (Bash):

скопировать код в буфер обмена

$ ./realsync ~/SourceCode/devel/httpdocs/s dkLab RealSync: replicate developer's files over SSH in realtime. [15:09:58] Running async notification watcher (to save CPU time). [15:09:59] Initiating a background connection with httpdocs/s... [15:09:59] Fast initial rsync synchronization... 0: Event not found. sending incremental file list sent 6380 bytes  received 46 bytes  4284.00 bytes/sec total size is 8275756  speedup is 1287.85 [15:10:00] Watching for changes in 35 folder(s)... $

и дальше никакого Watching =(
Что предпринять? Как победажить?

[korzhik]

А какие преимущества перед Unison File Synchronizer (www.cis.upenn.edu/~bcpierce/unison/index.html), кто нибудь пользовался? Там есть двухсторонняя синхронизация.

[david_m]

Поставил. Во-певых, в README следует явно прописать, что на сервере должен быть rsync-демон. Во-вторых, оно у меня всё время спрашивает пароль. Ввожу — проходит операция — и снова спрашивает. Как отучить? И как научить работать через сертификаты? Pageant запущен.

[levinside]

На одном и том же хосте - под одним логином работает, под другим - останавливается на фразе: "Watching for changes in 307 folder(s)..."
В чем может быть причина, как исправить?

[katremer]

Realsync постоянно грузит одно ядро на 100%, даже когда ничего не передается, а только ждутся изменения.
(Я так понимаю, это во время общения с inotify.)
Watching for changes in 5263 folder(s).
В настройках всё стандартно, разве что exclude'ов двадцать штук.

Code (any language):	скопировать код в буфер обмена
$ uname -a Linux katremer-G31M-ES2L 2.6.35-30-generic-pae #61-Ubuntu SMP Tue Oct 11 16:31:56 UTC 2011 i686 GNU/Linux

(Убунту 10)

Code (any language):	скопировать код в буфер обмена
$ top   PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                                                          29938 katremer  20   0 43328  38m 2088 R  103  1.0 259:31.94 perl .bin/realsync/realsync /home/katremer/project

[katremer]

Ну и время синхронизации как-то тоже не очень реалтайм. Приходится медитировать на вывод realsync секунд десять.

[katremer]

В общем, позырил код - понял, что никакого inotify в линуксе не используется.

В итоге вместо realsync донастроил синхронизацию через lsyncd версии 2. Может пригодиться тем, кто под линуксом.
По умолчанию она тоже не реалтайм, но можно допилить конфиг:

Code (any language):	скопировать код в буфер обмена
settings = {    nodaemon = true, } local rsyncNoDelay = {         default.rsyncssh,         delay = 1, } sync {         rsyncNoDelay,         source = "/home/user/syncdir/",         host = "remoteuser@host",         targetdir = "/home/remoteuser/syncdir/",         -- excludeFrom = "/home/user/.lsyncd-exclude-list" -- файл-список того, что синхронизировать не нужно }

UPD: да, и ещё в /etc/rc.local нужно прописать:

Code (any language):	скопировать код в буфер обмена
echo -n 300000 > /proc/sys/fs/inotify/max_queued_events

чтобы lsyncd не утыкался в ограничение очереди inotify.

В такой конфигурации, правда, lsyncd плохо синхронизирует скрытые директории .svn: т.к. в них на файлы права только на чтение, mv через ssh начинает спрашивать подтверждение. Можно ещё повозиться с конфигом и сделать "mv -f" (дефолтные конфиги со всеми действиями есть в исходниках lsyncd), либо вписать .svn в список исключений, если они на сервере не нужны.

[alpaca]

Под Windows7 обнаружилась такая проблема (запускали по инструкции)

Code (any language):	скопировать код в буфер обмена
[14:56:10] Fast initial rsync synchronization... Unexpected remote arg: user@host.ru:/our/remote/path/ rsync error: syntax or usage error (code 1) at main.c(1201) [sender=3.0.6]

Если выполнить вручную то, что выдает

Code (any language):	скопировать код в буфер обмена
logger(join(" ", map { /\s|\*/s? '"' . $_ . '"' : $_ } @rsync_cmd));

(нашел в коде), то все работает.
Проблему решили "грязным хаком":

Code (any language):	скопировать код в буфер обмена
-- my $exitcode = system(@rsync_cmd); ++ my $exitcode = system(join(" ", map { /\s|\*/s? '"' . $_ . '"' : $_ } @rsync_cmd));

Сам на перле не пишу, грешу на реализацию system(array) под виндой в части экранирования списка ссш-ных аргументов.
Есть идеи как это поправить "по-хорошему" или я таки где накосячил?

[Юрий Насретдинов]

Под линуксом должен inotify использоваться, я сам его поддержку писал. Спульте последнюю версию.

[Last_elf]

Подскажите пожалуйста как соединиться по SSH через realsync.

Есть хост, порт, логин и пароль. При запуске "визарда" из realsync.exe порт не спрашивает, а пробует зайти под 22 портом (а мне надо под другим).

UPD: Ну неужели никто не может помочь?
Затык происходит на втором шаге "визрда".

Quote:

(Step 2/6) REMOTE host to replicate TO:

Если его вводить в таком формате:

Quote:

slogin@server:port

то ругается (говорит Invalid hostname!)

можно указать только хост или IP-адрес (но тогда он будет пытаться стучаться не по тому порту, какой мне нужен)

Господа, тулза очень заинтересовала, но не получается ей воспользоваться. Прошу вашей помощи!

[Дмитрий Котеров]

Сделал поддержку host:port. Обновите, пожалуйста, RealSync.

[dmig]

Юрий Насретдинов wrote:

Под линуксом должен inotify использоваться, я сам его поддержку писал. Спульте последнюю версию.

Сделал git clone. Запустил. Загрузка 88-100%.

[dmig]

Настроил lsyncd. Работает быстрее, ресурсов жрёт меньше.
Вывод: фтопку этот костыль для виндовс-пользователей.

[pixmaster]

Имеется доступ только по ключу, запускаю первый раз, все равно спрашивает пароль. Не знаю откуда RealSync узнает о том что можно без пароля, но похоже не из pageant не еще как то ключ не подтягивается. Че делать?

[pixmaster]

при установке утилиты в C:\Users\***\.ssh\ создался файл known_hosts с паблик частью ключа, заменил ключ на свой ключ, запустил опять установку, ключ прошел, но скрипт пытается запихать ключ на хосте в закрытый для записи пользователями каталог /home/***/.ssh/, вопрос, зачем мне туда его записывать если уже все записано? почему не использовать уже то что есть?

[pixmaster]

по мотивам коментов на хабре, перенес ключ в C:\Users\***\.ssh\identity , пробовал ключ 3-ох видов - putty, openssh, ssh (экспортировал с помощью puttygen)... все равно просит пароль после запроса passphrase и пытается копировать на удаленный хост (повторюсь там уже есть authorized_keys)
кстати, на вопрос "ONLY ONCE you will be asked for a password. Continue? [y]" можно вводить и "y" и "n" результат тот же "Copying SSH key to ***@***. Executing:
$ ssh -o StrictHostKeyChecking=no -p22 ***@***"

[Дмитрий Котеров]

Подождите, есть password, а есть passphrase. Это разные вещи. Password - это пароль к аккаунту на сервере. Passphrase - это некоторый набор символов, которым зашифрован закрытый ключ (identity), и который надо перед каждым использованием этого identity вводить.

Если у вас закрытый ключ зашифрован при помощи passphrase, то такие ключи не поддерживаются для беспарольного доступа cygwin-овским SSH. Соответственно, с ними не может работать и realsync (вернее, может, да только он все время будет запрашивать эту passphrase, так что его использование становится бессмысленным).

Если же вы имели в виду под словом "passphrase" пароль от аккаунта, то тогда надо разбираться, почему тот identity, который вы скопировали в C:\Users\***\.ssh\identity, не подхватывается cygwin-овским ssh.exe. Проще всего это можно выяснить, запустив:

путь\к\realsync\bin\win32\ssh.exe -v юзер@удаленный-хост

Если пустит без пароля, то все ОК, будет работать и realsync. В противном случае - не будет, и надо смотреть, что пишет ssh.

P.S.
Но я хочу заметить, что в ручной манипуляции ключами нет необходимости. Достаточно знать пароль от вашего аккаунта, и realsync при первом запуске самостоятельно запросит этот пароль, сгенерирует пару ключей, открытый положит на сервер, а закрытый - в специальное место, откуда он потом сможет его использовать для беспарольного доступа.

Если же у вас и так уже ключ лежит и вы им и так пользуетесь для беспарольнодо доступа (и вы не знаете и не хотите знать пароль), то добейтесь, чтобы вас пускал ssh.exe по приведенной выше команде (если не пускает, скорее всего, просто ключ не тот, или лежит он где-то не там). Ключ для PuTTY и ключ для ssh - разные.

[Дмитрий Котеров]

Да, и pageant - это исключительно средство PuTTY. А т.к. realsync использует не PuTTY, а стандартный ssh.exe из cygwin, то, естественно, pageant в нем не работает. Я точно не знаю, можно ли заменить ssh.exe на PuTTY - может быть, и можно, если у кого-то дойдут руки попробовать, я с удовольствием приму патч.

[Дмитрий Котеров]

В утилите много разных доработок и багфиксов (в основном редких, но все же) за последние несколько дней:
https://github.com/DmitryKoterov/dklab_realsync/commits/master
Рекомендую обновиться всем, кто пользуется.

[pixmaster]

Оказывается identity это файл, а не каталог, в таком виде заработал ssh.exe.

Но появилась следующая проблема, при установке realsync на шаге 4/6 - checking if the directory exists... после зачем то спрашивает пароль(его нет, только ключ) и в итоге "Permission denied (publickey,password).".
Проверял и до и во время и после установки при помощи запуска ssh.exe напрямую, соединение есть и доступ в удаленный каталог есть.

Проверял на новой версии.

[Дмитрий Котеров]

Напишите подробности, пожалуйста. Например, скриншоты - что выводится в консоли (где вот это "checking if the directory exists"), и рядом - что в этот же момент bin/win32/ssh.exe заходит на сервер без пароля, и identity лежит, где надо.

[Дмитрий Котеров]

И еще - попробуйте в скрипте realsync несколькими строчками ниже "checking if the directory exists" поменять строку

. " -o StrictHostKeyChecking=no -p$h_port $user\@$h_host \"test -d $_\"";

на

. " -o StrictHostKeyChecking=no -o PasswordAuthentication=no -o BatchMode=yes -p$h_port $user\@$h_host \"test -d $_\"";

Посмотрим, влияет ли это на данное место.

Попробуйте все это выполнить для какой-нибудь новой директории (не для той, что вы уже пробовали синхронизировать).

[IMarvin]

ХРОНОЛОГИЯ
ок. прочел на хабре, поставил, - не пошло... удалил
начал искать в инете аналоги, - нашел, поставил, - еще хуже... :) удалил
вернулся еще раз, поставил еще раз, пошло, настроил, начал обновлять, снес с продакшена кучу файлов, спасибо! гг
саппорт сервака помог, восстановил, внимательней настроил права, - все кул

неприятно:
1) есть exclude, но почему не сделать include, иногда это проще (мне так точно)
2) случайно допер, что если нужны папки от корня то надо вначале / ставить?
или не надо? вот сделал так: exclude = /domain.com/_cache/* и файлы там остались... слава Богу

очень неприятно:
1) когда правила работают не так как ты хочешь, то никто ничего не предупреждает, просто DELETE и "хана" - может быть стоит как то это обдумать?
2) рвется соединение, ввожу снова пароль, иногда пароль спрашивает по три раза... потом начинает обновять... и снова спрашивает пароль, после того как сделал sending... короче пахнет маразмом в логике

хотелось бы:
1) узнать как много вы времени уделяете этому проекту, чтобы понять будет ли его кто-то поддерживать, или это "высер" (извиняюсь) в никуда с моей стороны
2) как сделать так, чтобы на моей машине, на которой только я и мой код и сервак с SSH пароль не надо было вводить?

[Дмитрий Котеров]

1. Это утилита, которой на расстоянии прямой видимости от меня пользуются минимум человек 10 (да и я тоже каждый день), так что поддержка интенсивная и в обозримом будущем таковой и сохранится.
2. Его и не должно быть нужно вводить. Почему он у вас его запрашивает - надо выяснять, сейчас не хватает информации.

Для начала - это он вас просит вводить пароль от ключа или пароль от сервера?
И - пришлите скриншоты (или хотя бы все сообщения из консоли).

Last edited by Дмитрий Котеров on Thu Mar 15, 2012 10:55 pm; edited 1 time in total

[Дмитрий Котеров]

...кстати, скриншоты/логи нужны ПРИ ИНСТАЛЛЯЦИИ, а не при использовании. Т.е. возьмите какую-нибудь пустую папку на компьютере и запустите для нее realsync, указав в качестве папки местоназначения какую-нибудь пустую папку на сервере (для серверного пути можно использовать как путь от корня - /home/user/some/folder - так и относительный путь - some/folder; в последнем случае будет отсчитываться от домашней директории пользователя).

[pixmaster]

замечу, что я работаю в вин7 не под админом, с UAC
попробовал с другим каталог в корне диска, пошло, есть подозрение что влияет "!" в локальном пути
пошло то пошло (на тестовой директории), но не синхронизирует, пишет

Code (any language):	скопировать код в буфер обмена
rsync: connection unexpectedly closed (0 bytes received so far) [sender] rsync error: unexplained error (code 255) at io.c(600) [sender=3.0.6]

скриншоты сделал, но некуда их вставить

[xelios]

удалять симлинки на сервере, как по мне подход неправильный
собственно только из-за этого пришлось отказаться от утилиты — симлинков сотни, создавались они годами, отказаться от них невозможно
перечислить их все в раздел исключения, задача тоже не из лёгкитх

я не пойму, почему было не оставить их просто в покое? ну есть себе симлинки, и пусть будут; всё равно реальные файлы/папки либо вне проекта, либо синхронизируются

[Дмитрий Котеров]

Если напишете комбинацию ключей rsync, которая позволяет игнорировать симлинки при синхронизации, то можно будет сделать.

[ancient20]

Загрузка 90%. MacOS 10.6

[Дмитрий Котеров]

1. Какой именно процесс грузит?
2. Что отображается в консоли?
3. Запущен ли процесс notify?

[ancient20]

1. https://img.skitch.com/20120507-d13xqrfsmiix5bfadkdfc7jejg.jpg
2. Remote directory /var/www/devs/ is ready.
3. Нет

[ancient20]

короче тулза для винды, там боков нет

[DimkoChe]

Хотел синхронизировать 2 директории. В одной довольно много файлов, в другой поменьше.
Для той, которая поменьше создал ярлык, все прописал - все работает.
Для той, которая побольше сделал все тоже самое - не работает. Доходит до "sending incremental file list" и пишет "Timeout, server not responding".
Сервер один и тот же, только директории разные. Пересоздавал несколько раз - не помогает (Весь процесс установки проходит нормально, а после того как начинается синхронизация - сервер перестает отвечать)
Это можно как-то побороть?

[ancient20]

ancient20 wrote:

Загрузка 90%. MacOS 10.6

запускать как описано в readme, то все работает

[azlab]

Подскажите, в чем может быть проблема?

1. Скачал, распаковал. Сделал простой батник, запустил.
2. Прошел все шаги, все ок
3. Проверил, работает. Смутило только то, обновлялись файлы также и из запрещенных (на 5-ом шаге настроек) папок. Подумал что неправильно задал формат имен для папок, поигрался со всеми возможными, результата не дало
4. Удалил конфиг, решив сгенерить настройки по новой
5. Ошибся при вводе, закрыл, удалил конфиг, запустил по новой (третий раз)
6. Все как обычно, но после ввода пароля, все последующие шаги - также просят пароль. Дохожу до начала синхронизации, опять спрашивается пароль и программа зависает минут на 5. Потом может начать работать, но чаще снова спрашивает пароль. Ошибок ввода нет - пароль принимается, но толку от этого ноль и через какое-то время спрашивает его снова.
7. Аккаунт вполне живой - параллельно захожу по ssh, все ок.

Подскажите, в чем может быть дело? Может быть на серверной стороне по каким-то причинам "банят"? Или может у кого-то подобное наблюдалось?

Win 7 Proff.

[Дмитрий Котеров]

ancient20
Посмотрите, запущен ли процесс notify. Именно он реализует слежение в реальном времени за изменениями: если с его запуском возникли проблемы (или система не определилась как MacOS, или стрибут исполнения у бинарника bin/darwin/notify не стоит, или еще что-то), то отслеживание происходит путем полного пересканирования директорий несколько раз в секунду средствами Perl (отсюда могут и тормоза возникать). Чтобы узнать, запустился ли у вас notify, я как раз и просил привести полностью, что пишется в консоли (лучше скриншотом) - а вы этой информации пока не предоставили...

DimkoChe
На самом деле это сообщение пишет не RealSync, а rsync. Почему он так пишет - непонятно, недостаточно информации. Если пришлете скриншот окна консоли - можно будет больше информации сказать.

azlab
Конфиг, кстати, не обязательно было удалять, можно было его в текстовом редакторе поправить.
Попробуйте все удалить из C:\Users\ВашЛогин\AppData\Roaming\.realsync (там хранятся сгенерированные ключи для беспарольного доступа к серверу) и снова все запустить. Перед этим только пришлите сюда, что у вас было в этой директории (имен поддиректорий будет достаточно, содержимое файлов не нужно). Ну и скриншот консоли в момент первого запуска, естественно.

[Guest]

1. В C:\Users\ВашЛогин\AppData\Roaming\.realsync была одна папка: 7321ba47f1_home_bookshop_int_www, в ней папка .ssh, в которой было три файла: identity, identity.pub, known_hosts

2. Ниже скриншот, красным замазан частично IP сервера и имя проекта (в путях) из соображений безопасности.



В какой-то момент начинает писать Permission denied. Логин и пароль после успешного (первого запуска) не менялся и я без проблем захожу по SSH с аккаунтом использованным для настройки realsync. Перед запуском все поудалял, однако ничего не изменилось, все также просит пароль постоянно. Странно, почему первый раз все отработало на ура с первой попытки?...