Форум dkLab и Denwer
Здесь общаются Web-разработчики.
Генеральный спонсор:
Хостинг «Джино»

Очень большая БД и поиск в ней (ZiBoX)
Author Message
ZiBoX
Участник форума



Joined: 12 Sep 2004
Posts: 38
Карма: 0
   поощрить/наказать


PostPosted: Wed Aug 03, 2005 10:19 pm (написано за 26 секунд)
   Post subject: Очень большая БД и поиск в ней
Reply with quote

Есть очень большая MySQL БД(>2000Мб)Поиск вида
Code (php): скопировать код в буфер обмена
$query="SELECT * FROM db_stat WHERE `index` LIKE '%".$search."%'";
обрабатывается где то минуты или даже больше на локалльной машине Athlon 2600+ 512 MB.
Можно как-то оптимизировать запрос или БД, чтобы скорость значительно увеличелась?
Back to top
View user's profile Send private message
pav
Участник форума



Joined: 12 Mar 2003
Posts: 203
Карма: 4
   поощрить/наказать

Location: Россия / г.Северодвинск

PostPosted: Wed Aug 03, 2005 11:20 pm (спустя 1 час 59 секунд; написано за 1 минуту 4 секунды)
   Post subject:
Reply with quote

ZiBoX wrote:
Можно как-то оптимизировать запрос или БД, чтобы скорость значительно увеличелась?
Неплохо бы увидеть текущую структуру БД чтобы можно было судить о текущем уровне оптимизаци/нормализации. А а вообще ИМХО такой объем данных уже выходит за рамки разумного применения MySQL.
Back to top
View user's profile Send private message Send e-mail
Mich
Участник форума
Warnings: 1


Joined: 15 Jun 2005
Posts: 197
Карма: -3
   поощрить/наказать


PostPosted: Thu Aug 04, 2005 9:08 pm (спустя 21 час 47 минут; написано за 9 секунд)
   Post subject:
Reply with quote

www.mysql.ru/docs/man/Fulltext_Search.html
www.mysql.ru/docs/man/Fulltext_Fine-tuning.html
Back to top
View user's profile Send private message Send e-mail
Maus
Модератор



Joined: 29 Jun 2003
Posts: 8151
Карма: 271
   поощрить/наказать

Location: пос. Омсукчан Магаданской области

PostPosted: Thu Aug 04, 2005 11:30 pm (спустя 2 часа 22 минуты; написано за 1 минуту 45 секунд)
   Post subject:
Reply with quote

Mich
Имхо:
Fulltext индекс отожрёт места как минимум по размеру столбца, на котором создается. От таких объёмов и необходимости переиндексации MySQL вообще треснет
Back to top
View user's profile Send private message
NoN
Участник форума



Joined: 26 Jul 2005
Posts: 98
Карма: -10
   поощрить/наказать

Location: SPB.RU

PostPosted: Fri Aug 05, 2005 1:51 am (спустя 2 часа 20 минут; написано за 22 секунды)
   Post subject:
Reply with quote

Запрос-то просой. ИМХО дело не в запросе.
Back to top
View user's profile Send private message
Артeм Дивинcкий
Участник форума



Joined: 19 Jul 2005
Posts: 61
Карма: 6
   поощрить/наказать


PostPosted: Fri Aug 05, 2005 3:47 pm (спустя 13 часов 56 минут; написано за 40 секунд)
   Post subject:
Reply with quote

Приведите структуру таблицы и один ряд.
Back to top
View user's profile Send private message Send e-mail
ZiBoX
Участник форума



Joined: 12 Sep 2004
Posts: 38
Карма: 0
   поощрить/наказать


PostPosted: Fri Aug 05, 2005 4:35 pm (спустя 47 минут; написано за 2 минуты 34 секунды)
   Post subject:
Reply with quote

Maus wrote:
Mich
Имхо:
Fulltext индекс отожрёт места как минимум по размеру столбца, на котором создается. От таких объёмов и необходимости переиндексации MySQL вообще треснет
Подскажите тогда альтернативу MySQL. В чем хранить столь большую базу
Back to top
View user's profile Send private message
Mich
Участник форума
Warnings: 1


Joined: 15 Jun 2005
Posts: 197
Карма: -3
   поощрить/наказать


PostPosted: Fri Aug 05, 2005 6:51 pm (спустя 2 часа 16 минут; написано за 2 минуты 27 секунд)
   Post subject:
Reply with quote

Maus
Большая разница: 2 гига или 4 ;)
ZiBoX wrote:
Подскажите тогда альтернативу MySQL. В чем хранить столь большую базу
Очень хочется сказать Oracle... Хотя мне кажется, что не треснет: если она с 2 гигами работает, то почему не будет с 4-мя? Рост же потом линейный будет.
NoN wrote:
Запрос-то просой. ИМХО дело не в запросе.
Поддерживаю. Структуру БД в студию.
Back to top
View user's profile Send private message Send e-mail
NoN
Участник форума



Joined: 26 Jul 2005
Posts: 98
Карма: -10
   поощрить/наказать

Location: SPB.RU

PostPosted: Fri Aug 05, 2005 9:50 pm (спустя 2 часа 58 минут)
   Post subject:
Reply with quote

А ещё можно таблицу разделить по какому-нибудь параметру. Так сами MySQL AB советуют. В крайнем случае по первичному ключу. Чётные в 1 таблицу, нечётные в другую. Только про autoincriment забудьте.
Back to top
View user's profile Send private message
Дмитрий Котеров
Администратор



Joined: 10 Mar 2003
Posts: 13665
Карма: 413
   поощрить/наказать


PostPosted: Sat Aug 06, 2005 2:11 am (спустя 4 часа 20 минут; написано за 2 минуты 31 секунду)
   Post subject:
Reply with quote

Maus wrote:
Fulltext индекс отожрёт места как минимум по размеру столбца
Нет, меньше - где-то раза в 2. По крайней мере, на этом форуме так. А вот если делать fulltext вручную (через дополнительные таблицы слов и связей), то отожрет, действительно, раза в 2 больше места. Зато можно будет разбивать строки как угодно, а не только по пробелам и пунктуации. Например, построить все суффиксы для каждой строки. Места сожрет дай бог, зато летать будет.

ZiBoX, быстрее MySQL в данном случае, по-моему, вряд ли что можно найти. Это одна из самых быстрых СУБД. Разве что Oracle какой-нибудь...
Back to top
View user's profile Send private message Send e-mail
Mich
Участник форума
Warnings: 1


Joined: 15 Jun 2005
Posts: 197
Карма: -3
   поощрить/наказать


PostPosted: Sat Aug 06, 2005 7:31 pm (спустя 17 часов 19 минут; написано за 17 секунд)
   Post subject:
Reply with quote

Дмитрий Котеров wrote:
Например, построить все суффиксы для каждой строки. Места сожрет дай бог, зато летать будет.
Это как, то бишь где об этом почитать?
Back to top
View user's profile Send private message Send e-mail
Дмитрий Котеров
Администратор



Joined: 10 Mar 2003
Posts: 13665
Карма: 413
   поощрить/наказать


PostPosted: Sat Aug 06, 2005 10:14 pm (спустя 2 часа 43 минуты; написано за 6 секунд)
   Post subject:
Reply with quote

Гугл.
suffix trees
Back to top
View user's profile Send private message Send e-mail
Display posts from previous:   
Post new topic   Reply to topic All times are GMT + 3 Hours
Page 1 of 1    Email to a Friend.
You cannot post new topics in this forum. You cannot reply to topics in this forum. You cannot edit your posts in this forum. You cannot delete your posts in this forum. You cannot vote in polls in this forum. You cannot attach files in this forum. You can download files in this forum.
XML