Форум dkLab и Denwer
Здесь общаются Web-разработчики.
Генеральный спонсор:
Хостинг «Джино»

Большой txt(>1500Mb) В MySQL (ZiBoX)
Author Message
ZiBoX
Участник форума



Joined: 12 Sep 2004
Posts: 38
Карма: 0
   поощрить/наказать


PostPosted: Tue Aug 02, 2005 10:52 am (написано за 13 секунд)
   Post subject: Большой txt(>1500Mb) В MySQL
Reply with quote

Господа, Вот в чем вся проблема. Есть файлы которые весят более 1 Гб (базы в текстовушнике) и их нужно все загнать в MySQL. Пробывал сначала закидывать его
Code (php): скопировать код в буфер обмена
$fil=file (www.php.net/file)("db.txt");
Но загружается он оооочень долго. fgetом тоже нельза т.к. строчки имееют вид |id|name|pass|...|icq| а fgetом можно взять лишнего.
Пробывал разбивать файл на файлы по 10k строк. Разбиват быстро, но потом добавление происходит быстрее, чем из одного файла, но все равно долговато. что посоветует чтобы оптимизировать и ускорить процесс добавления
Back to top
View user's profile Send private message
Mich
Участник форума
Warnings: 1


Joined: 15 Jun 2005
Posts: 197
Карма: -3
   поощрить/наказать


PostPosted: Tue Aug 02, 2005 6:24 pm (спустя 7 часов 32 минуты; написано за 1 минуту 43 секунды)
   Post subject:
Reply with quote

ZiBoX wrote:
 fgetом тоже нельза т.к. строчки имееют вид |id|name|pass|...|icq| а fgetом можно взять лишнего.
Как???
ZiBoX wrote:
Есть файлы которые весят более 1 Гб (базы в текстовушнике) и их нужно все загнать в MySQL.
Вы хотите перевести текстовую БД в БД MySQL или просто их загнать в MySQL?

1 ГБ для PHP много... очень... Сейчас попробую, что получится :)
Back to top
View user's profile Send private message Send e-mail
Eugene Babushkin
Участник форума



Joined: 01 Aug 2003
Posts: 263
Карма: 4
   поощрить/наказать

Location: 59, Russia

PostPosted: Wed Aug 03, 2005 5:39 pm (спустя 23 часа 14 минут; написано за 1 минуту 35 секунд)
   Post subject:
Reply with quote

ZiBoX wrote:
а fgetом можно взять лишнего
Собственно, почему?

Еще раз, какой формат Вашего текстового файла.
Если
ZiBoX wrote:
|id|name|pass|...|icq|
то какие проблемы с fread'ом ?
Back to top
View user's profile Send private message
Артeм Дивинcкий
Участник форума



Joined: 19 Jul 2005
Posts: 61
Карма: 6
   поощрить/наказать


PostPosted: Fri Aug 05, 2005 5:04 pm (спустя 1 день 23 часа 24 минуты; написано за 8 минут 51 секунду)
   Post subject:
Reply with quote

ИМХО, не морочте себе голову - сделайте на C/C++. MySQL работает быстро, PHP-скрипт тоже, а вот передача данных между ними...

Взял я как-то таблицу в виде эксперимента: 14 полей большая часть varchar`ы, 2000 рядов (там данных-то и 1Мб не было(чуть меньше)).
Задача: все выбрать и заключив в табличные теги отправить в броузер(я записи по одной обрабатывал).

Результат: C - 4 секунды, PHP - 40+(не помню точно, но более сорока).
Back to top
View user's profile Send private message Send e-mail
Eugene Babushkin
Участник форума



Joined: 01 Aug 2003
Posts: 263
Карма: 4
   поощрить/наказать

Location: 59, Russia

PostPosted: Fri Aug 05, 2005 5:24 pm (спустя 20 минут; написано за 29 секунд)
   Post subject:
Reply with quote

Артeм Дивинcкий wrote:
сделайте на C/C++
А название форума взгляните. Значит автору нужно на PHP.
Back to top
View user's profile Send private message
Артeм Дивинcкий
Участник форума



Joined: 19 Jul 2005
Posts: 61
Карма: 6
   поощрить/наказать


PostPosted: Fri Aug 05, 2005 5:48 pm (спустя 23 минуты; написано за 5 минут 14 секунд)
   Post subject:
Reply with quote

Eugene Babushkin
Вы модератор? Или Вам просто очень нравится кнопка "Отправить"?

Автору нужно:
ZiBoX wrote:
Есть файлы которые весят более 1 Гб (базы в текстовушнике) и их нужно все загнать в MySQL.
А название форума говорит о том, что автор собирается сделать это на PHP, а не о том, что ему необходимо сделать это именно на PHP. Я выразал своё мнение по этому поводу и предложил другое решение. И моё сообщение имело прямое отношение к теме, а Ваше
Eugene Babushkin wrote:
А название форума взгляните. Значит автору нужно на PHP.
нет.
Back to top
View user's profile Send private message Send e-mail
Eugene Babushkin
Участник форума



Joined: 01 Aug 2003
Posts: 263
Карма: 4
   поощрить/наказать

Location: 59, Russia

PostPosted: Fri Aug 05, 2005 6:32 pm (спустя 44 минуты; написано за 1 минуту 24 секунды)
   Post subject:
Reply with quote

Артeм Дивинcкий wrote:
Или Вам просто очень нравится кнопка "Отправить"
Хамство тут не очень любят.
Артeм Дивинcкий wrote:
необходимо сделать это именно на PHP
На это пусть автор ответит.
Артeм Дивинcкий wrote:
Я выразал своё мнение по этому поводу и предложил другое решение. И моё сообщение имело прямое отношение к теме
А никто и не собирается оспаривать Ваше мнение.

Выпейте зеленого чаю (С) ДК
Back to top
View user's profile Send private message
Дмитрий Котеров
Администратор



Joined: 10 Mar 2003
Posts: 13665
Карма: 413
   поощрить/наказать


PostPosted: Sat Aug 06, 2005 2:31 am (спустя 7 часов 59 минут; написано за 6 секунд)
   Post subject:
Reply with quote


М

Причем оба, пожалуйста.
Back to top
View user's profile Send private message Send e-mail
Display posts from previous:   
Post new topic   Reply to topic All times are GMT + 3 Hours
Page 1 of 1    Email to a Friend.
You cannot post new topics in this forum. You cannot reply to topics in this forum. You cannot edit your posts in this forum. You cannot delete your posts in this forum. You cannot vote in polls in this forum. You cannot attach files in this forum. You can download files in this forum.
XML