Форум dkLab и Denwer
Здесь общаются Web-разработчики.
Генеральный спонсор:
Хостинг «Джино»

Не получается загрузить базу большого размера в phpmyadmin (sashko)
Author Message
sashko
Заглянувший



Joined: 22 Mar 2009
Posts: 11
Карма: 0
   поощрить/наказать


PostPosted: Sun Mar 22, 2009 2:41 pm (написано за 3 минуты 38 секунд)
   Post subject: Не получается загрузить базу большого размера в phpmyadmin
Reply with quote

В двух словах проблема вот в чем, есть форум на 2 phpbb. Скачал базу через phpmyadmin в .qz - размер 16Mb
Цель поставить копию форума на денвере, данные денвера (Apache/2.2.4 (Win32) mod_ssl/2.2.4 OpenSSL/0.9.8d PHP/5.2.4 Server at localhost Port 80) - одна из последних.

При загрузке базы через phpmyadmin получал ответ, что нет sql запроса, почитал форум изменил upload_max_filesize с 2M на 9999M

После чего получаю Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 132094662 bytes) in Z:\home\localhost\www\Tools\phpmyadmin\read_dump.php on line 136

Так же изменил post_max_size = 100M

Попробовал закачать базу через Sypex Dumper Lite 1.0.8 и получил ответ:

Возникла ошибка!
Неправильный запрос.
Duplicate entry 'РіРѕРґР°' for key 1 (256)

В общем ошибка распространенная, но как ее победить пока не решу, если есть мысли буду рад совету.
Back to top
View user's profile Send private message
bæv
Модератор «Дзена»



Joined: 27 Aug 2003
Posts: 7275
Карма: 9986
   поощрить/наказать


PostPosted: Sun Mar 22, 2009 3:53 pm (спустя 1 час 12 минут; написано за 9 секунд)
   Post subject:
Reply with quote


М

sashko wrote:
Скачал базу через phpmyadmin
— пробуйте скачать в разных режимах совместимости.

И уберите галочку с опции «Добавить значение AUTO_INCREMENT».



Перенесено из форума: Прочее.
Перенесено в форум: Общие вопросы :: SQL.
Back to top
View user's profile Send private message
sashko
Заглянувший



Joined: 22 Mar 2009
Posts: 11
Карма: 0
   поощрить/наказать


PostPosted: Sun Mar 22, 2009 6:22 pm (спустя 2 часа 28 минут; написано за 2 минуты 22 секунды)
   Post subject:
Reply with quote

bæv wrote:
И уберите галочку с опции «Добавить значение AUTO_INCREMENT».
Хорошо попробую, просто со снятым "AUTO_INCREMENT" не помогло, я еще при скачивании базы снимаю галочку "Использовать шестнадцатеричное отображение для полей типа BLOB" - сейчас пробую со снятым "AUTO_INCREMENT" и установленным "Использовать шестнадцатеричное отображение для полей типа BLOB".

Дальше начну проверять режимы совместимости :(

Может какие еще настройки применить при скачивании?
Back to top
View user's profile Send private message
sashko
Заглянувший



Joined: 22 Mar 2009
Posts: 11
Карма: 0
   поощрить/наказать


PostPosted: Sun Mar 22, 2009 6:47 pm (спустя 24 минуты; написано за 44 секунды)
   Post subject:
Reply with quote

Режим совместимости SQL: ANSI, MSSQL не работает все та же ошибка.

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 132094662 bytes) in Z:\home\localhost\www\Tools\phpmyadmin\read_dump.php on line 136

Только с разными версиями ошибка на разной строке.
Back to top
View user's profile Send private message
bæv
Модератор «Дзена»



Joined: 27 Aug 2003
Posts: 7275
Карма: 9986
   поощрить/наказать


PostPosted: Sun Mar 22, 2009 11:53 pm (спустя 5 часов 5 минут; написано за 23 секунды)
   Post subject:
Reply with quote

sashko wrote:
Fatal error: Allowed memory size of 134217728 bytes exhausted
— memory_limit увеличьте.
Back to top
View user's profile Send private message
sashko
Заглянувший



Joined: 22 Mar 2009
Posts: 11
Карма: 0
   поощрить/наказать


PostPosted: Mon Mar 23, 2009 8:46 am (спустя 8 часов 53 минуты; написано за 26 секунд)
   Post subject:
Reply with quote

Fatal error: Maximum execution time of 300 seconds exceeded in Z:\home\localhost\www\Tools\phpmyadmin\libraries\read_dump.lib.php on line 91

Хотя я и поменял до max_execution_time = 600
Back to top
View user's profile Send private message
sashko
Заглянувший



Joined: 22 Mar 2009
Posts: 11
Карма: 0
   поощрить/наказать


PostPosted: Mon Mar 23, 2009 9:34 am (спустя 47 минут; написано за 39 секунд)
   Post subject:
Reply with quote

Ладно слишком долго, не могу ждать придется вернутся в каменный век и скачивать отдельными таблицами и заливать так же :( плохо
Back to top
View user's profile Send private message
sashko
Заглянувший



Joined: 22 Mar 2009
Posts: 11
Карма: 0
   поощрить/наказать


PostPosted: Mon Mar 23, 2009 10:36 am (спустя 1 час 2 минуты; написано за 1 минуту 38 секунд)
   Post subject:
Reply with quote

sashko wrote:
Fatal error: Maximum execution time of 300 seconds exceeded
Что то не пойму файлы 5 и 7 мегабайт в qz архиве, не проходят, все остальные маленькие прошли.
Что же такое, похоже я ни когда не обойду проблему :(
Back to top
View user's profile Send private message
bæv
Модератор «Дзена»



Joined: 27 Aug 2003
Posts: 7275
Карма: 9986
   поощрить/наказать


PostPosted: Mon Mar 23, 2009 1:47 pm (спустя 3 часа 10 минут; написано за 1 минуту 13 секунд)
   Post subject:
Reply with quote

sashko wrote:
Хотя я и поменял до max_execution_time = 600
— проверьте в результатах phpinfo() — может, у Вас значения берутся из другого файла php.ini
Back to top
View user's profile Send private message
sashko
Заглянувший



Joined: 22 Mar 2009
Posts: 11
Карма: 0
   поощрить/наказать


PostPosted: Mon Mar 23, 2009 2:42 pm (спустя 55 минут; написано за 1 минуту 5 секунд)
   Post subject:
Reply with quote

Нет все берется оттуда:
Z:\usr\local\php5\php.ini (Ну на С т.е. я его правлю, он на жестком в единственном варианте)

max_execution_time 600
max_input_time 600
memory_limit 640M
post_max_size 100M
upload_max_filesize 9999999M

У меня виста, может проблема в ней?
Back to top
View user's profile Send private message
dimagolov
Участник форума



Joined: 04 Feb 2007
Posts: 1664
Карма: 96
   поощрить/наказать

Location: Christ Church, Barbados

PostPosted: Mon Mar 23, 2009 3:50 pm (спустя 1 час 8 минут; написано за 1 минуту 45 секунд)
   Post subject:
Reply with quote

очень рекомендую для работы с дампами использовать предназначенные для этого иструменты - mysqldump для создания и нативный клиент mysql для загрузки. моментально все проблемы с ограничениями по памяти и времени исполнения в php пропадают.
Back to top
View user's profile Send private message
sashko
Заглянувший



Joined: 22 Mar 2009
Posts: 11
Карма: 0
   поощрить/наказать


PostPosted: Mon Mar 23, 2009 6:36 pm (спустя 2 часа 46 минут; написано за 1 минуту 6 секунд)
   Post subject:
Reply with quote

dimagolov можно подробнее про нативный клиент mysql

Базу через mysqldump я слил давно программой PuTTY, вопрос как закачать, тем инструментом про который Вы говорите.
Back to top
View user's profile Send private message
dimagolov
Участник форума



Joined: 04 Feb 2007
Posts: 1664
Карма: 96
   поощрить/наказать

Location: Christ Church, Barbados

PostPosted: Mon Mar 23, 2009 7:10 pm (спустя 33 минуты; написано за 1 минуту 46 секунд)
   Post subject:
Reply with quote

это клиент, который входит в поставку mysql, так и называется mysql.exe (на винде) или mysql на *NIX-ах. пускается из командной строки, потоком в него направляем файл дампа и он исполняет все sql инструкции, которые в дампе.
Back to top
View user's profile Send private message
sashko
Заглянувший



Joined: 22 Mar 2009
Posts: 11
Карма: 0
   поощрить/наказать


PostPosted: Mon Mar 23, 2009 7:15 pm (спустя 4 минуты; написано за 1 минуту 19 секунд)
   Post subject:
Reply with quote

Только что пытался запустить mysql.exe с параметрами через тотал и через командную строку, не разу не вышло.

Если кто знает точный синтаксиса напишите строку для импорта базы, если не сложно.
Back to top
View user's profile Send private message
dimagolov
Участник форума



Joined: 04 Feb 2007
Posts: 1664
Карма: 96
   поощрить/наказать

Location: Christ Church, Barbados

PostPosted: Mon Mar 23, 2009 8:19 pm (спустя 1 час 3 минуты; написано за 47 секунд)
   Post subject:
Reply with quote

mysql -?

а запускать надо из окна терминала (cmd) чтобы видеть, что за ошибки выдает программа.
Back to top
View user's profile Send private message
sashko
Заглянувший



Joined: 22 Mar 2009
Posts: 11
Карма: 0
   поощрить/наказать


PostPosted: Mon Mar 23, 2009 8:38 pm (спустя 18 минут; написано за 3 минуты 20 секунд)
   Post subject:
Reply with quote

В общем нашел похоже причину проблемы и нашел косвенное решение.

Слил базу кусками по таблицам и залил через скрипт dumper.php

Не залилась только таблица phpbb_search_wordlist - где находятся слова для поиска, смешно даже.
У меня установлен мод переиндексации поиска и по сути мне бекап этой таблицы и не нужен толком.

Проблема теперь вот в чем.
Текст заголовков, тем, форумов, подписей к форумам, в общем все что я изменял и добавлял курами в utf8 - т.е. все отображается криво, А вот все стандартные надписи phpbb в 1251 и отображаеются по русски :)

В ем может быть косяк, мне уже даже смешно
Back to top
View user's profile Send private message
dimagolov
Участник форума



Joined: 04 Feb 2007
Posts: 1664
Карма: 96
   поощрить/наказать

Location: Christ Church, Barbados

PostPosted: Mon Mar 23, 2009 9:01 pm (спустя 23 минуты; написано за 4 минуты 17 секунд)
   Post subject:
Reply with quote

sashko, внимательно изучите phpfaq.ru/charset и примените на практике. но без mysql из командной строки не обойтись.
п.с. минимум, что нужно, это указать это параметром (без ключа и без -) имя базы, а потом ключи -u (задаем пользователя) и -p (без пробела после -p пароль). так попадете в интерактивный режим, когда сможете писать запросы и исполнять их (заканчивать запрос символом ";")

Last edited by dimagolov on Mon Mar 23, 2009 10:55 pm; edited 1 time in total
Back to top
View user's profile Send private message
sashko
Заглянувший



Joined: 22 Mar 2009
Posts: 11
Карма: 0
   поощрить/наказать


PostPosted: Mon Mar 23, 2009 9:03 pm (спустя 2 минуты)
   Post subject:
Reply with quote

Все проблему с кодировкой решил, настройкой скрипта:

define('CHARSET', 'utf8');

теперь только заново таблицы залить уже в нужной кодировке :)
Back to top
View user's profile Send private message
Гость
Guest





Карма: 388
   поощрить/наказать


PostPosted: Tue Jul 07, 2009 8:22 am (спустя 3 месяца 14 дней 11 часов 19 минут; написано за 35 секунд)
   Post subject:
Reply with quote

Попробуйте изменить сначала в дампе кодировку символов. Все описанные выше Вами пробемы были у меня, пока не преобразовал все в UTF-8
Back to top
Гости
Guest





Карма: 388
   поощрить/наказать


PostPosted: Wed Oct 21, 2009 10:18 am (спустя 3 месяца 14 дней 1 час 56 минут; написано за 3 минуты 59 секунд)
   Post subject:
Reply with quote

Возникла подобная ошибка:
Fatal error: Allowed memory size of 209715200 bytes exhausted tried to allocate 81382758 bytes) in "путь до файла read_dump.lib.php on line 91"

Объясните для человека, который в этом мало смыслит, как это исправить?

max_execution_time, max_input_time, memory_limit, post_max_size и upload_max_filesize вселенских размеров и все-равно возникает эта ошибка :(
Скачал phpmyadmin последней версии - попробовал залить дамп через нее и все получилось. Но все же, хотелось бы оставить родную версию ПМА и чтобы все работало.

Размер дампа - 80мб.
Back to top
dimagolov
Участник форума



Joined: 04 Feb 2007
Posts: 1664
Карма: 96
   поощрить/наказать

Location: Christ Church, Barbados

PostPosted: Wed Oct 21, 2009 3:44 pm (спустя 5 часов 26 минут; написано за 6 минут 17 секунд)
   Post subject:
Reply with quote

Гости, оно уже отожрало 200Мб оперативки и хочет еще 80Мб и это не предел. Для обработки данных (если они все тянуться в память) нужно всегда в несколько раз больше памяти, чем сам размер данных.
Есть подозрение, что:
а) read_dump.lib.php написан кончено и тянет весь дамп в память. Хотя это и странно, можно сделать умнее
б) там читается почтрочно, но в дампе insert одной строкой, а его длинна может быть зело большой.

в любом случае можно:
1. порезать дамп на части и попытаться повторить операциб (поможет в случае (а) и если разрезать тот вредный insert в случае (б))
2. залить дамп из консоли.

п.с. разбираться как читает дамп read_dump.lib.php никогда не было нужды, я консолью пользуюсь всегда.
Back to top
View user's profile Send private message
Agat
Участник форума



Joined: 30 Jun 2006
Posts: 67
Карма: 3
   поощрить/наказать


PostPosted: Fri Jan 15, 2010 5:02 pm (спустя 2 месяца 25 дней 1 час 17 минут; написано за 2 минуты 11 секунд)
   Post subject:
Reply with quote

через консоль
Code (Bash): скопировать код в буфер обмена
mysql -ulogin -ppass BASE < /tututu/mysqldump.sql
если поможет
Back to top
View user's profile Send private message
pvk
Guest





Карма: 388
   поощрить/наказать


PostPosted: Fri Jun 18, 2010 8:43 pm (спустя 5 месяцев 3 дня 3 часа 41 минуту; написано за 1 минуту 38 секунд)
   Post subject:
Reply with quote

Во время загрузки дампа из консоли ~200 метров, получаю ошибку Maximum execution time of 300 seconds exceeded.
Как можно исправить эту проблему?
Back to top
dimagolov
Участник форума



Joined: 04 Feb 2007
Posts: 1664
Карма: 96
   поощрить/наказать

Location: Christ Church, Barbados

PostPosted: Fri Jun 18, 2010 8:52 pm (спустя 8 минут; написано за 36 секунд)
   Post subject:
Reply with quote

Quote:
Во время загрузки дампа из консоли ~200 метров, получаю ошибку Maximum execution time of 300 seconds exceeded.
Как можно исправить эту проблему?
разбить 200м на части, как самое очевидное
Back to top
View user's profile Send private message
keanor
Guest





Карма: 388
   поощрить/наказать


PostPosted: Thu Jun 24, 2010 2:32 pm (спустя 5 дней 17 часов 39 минут; написано за 6 минут)
   Post subject:
Reply with quote

команда
mysql -uroot -p dbname < dump.txt

ответ
mysql: Character set `cp1251` is not a compiled character set and is not specified in the `usr\local\mysql5\share\charsets\Index.xml` file

подобный ответ выдается при любом обращении к файл mysql.exe - настроек MySQL не менял - тоже пытался через phpadmin восстановить бжэкап но не вышло из-за ограничений php, хочу на прямую но возникает вышеуказанная ошибка( дамп делал по SSH через PuTTy mysqldump'ом
Back to top
dimagolov
Участник форума



Joined: 04 Feb 2007
Posts: 1664
Карма: 96
   поощрить/наказать

Location: Christ Church, Barbados

PostPosted: Thu Jun 24, 2010 3:11 pm (спустя 39 минут; написано за 1 минуту 1 секунду)
   Post subject:
Reply with quote

keanor, лично у меня такой charset имеется в mysql5\share\charsets\Index.xml
смотрите почему его нет у Вас.
Back to top
View user's profile Send private message
Guest






Карма: 388
   поощрить/наказать


PostPosted: Thu Jun 24, 2010 7:20 pm (спустя 4 часа 9 минут; написано за 1 минуту 54 секунды)
   Post subject:
Reply with quote

cp1251.xml такой файл есть

<charset name="cp1251">
...
</charset>

такой блок в файл Index.xml тоже есть, в чем бида никак не могу понять. Тем не менее mysql сервер корректно работает.

вот мой блок 1251, может у вас он будет другой...
[hide]
Code (any language): скопировать код в буфер обмена
<charset name="cp1251">
  <family>Cyrillic</family>
  <description>Windows Cyrillic</description>
  <alias>windows-1251</alias>
  <alias>ms-cyr</alias>
  <alias>ms-cyrillic</alias>
  <collation name="cp1251_bulgarian_ci"        id="14">
    <order>Belarusian</order>
    <order>Bulgarian</order>
    <order>Macedonian</order>
    <order>Russian</order>
    <order>Serbian</order>
    <order>Mongolian</order>
    <order>Ukrainian</order>
  </collation>
  <collation name="cp1251_ukrainian_ci"        id="23"        order="Ukrainian"/>
  <collation name="cp1251_bin"                id="50"        order="Binary"        flag="binary"/>
  <collation name="cp1251_general_ci"        id="51" flag="primary">
    <order>Belarusian</order>
    <order>Bulgarian</order>
    <order>Macedonian</order>
    <order>Russian</order>
    <order>Serbian</order>
    <order>Mongolian</order>
    <order>Ukrainian</order>
  </collation>
  <collation name="cp1251_general_ci_old" id="17">
    <order>Belarusian</order>
    <order>Bulgarian</order>
    <order>Macedonian</order>
    <order>Russian</order>
    <order>Serbian</order>
    <order>Mongolian</order>
    <order>Ukrainian</order>
  </collation>
  <collation name="cp1251_general_cs"        id="52">
    <order>Belarusian</order>
    <order>Bulgarian</order>
    <order>Macedonian</order>
    <order>Russian</order>
    <order>Serbian</order>
    <order>Mongolian</order>
    <order>Ukrainian</order>
  </collation>
</charset>
[/hide]
Back to top
Display posts from previous:   
Post new topic   Reply to topic All times are GMT + 3 Hours
Page 1 of 1    Email to a Friend.
You cannot post new topics in this forum. You cannot reply to topics in this forum. You cannot edit your posts in this forum. You cannot delete your posts in this forum. You cannot vote in polls in this forum. You cannot attach files in this forum. You can download files in this forum.
XML