Форум dkLab и Denwer

Дмитрий Кóтеров

Стеммер Портера.

Code (php):

<?php
class Lingua_Stem_Ru
{
var $VERSION = "0.02";
var $Stem_Caching = 0;
var $Stem_Cache = array();
var $VOWEL = '/аеиоуыэюя/';
var $PERFECTIVEGROUND = '/((ив|ивши|ившись|ыв|ывши|ывшись)|((?<=[ая])(в|вши|вшись)))$/';
var $REFLEXIVE = '/(с[яь])$/';
var $ADJECTIVE = '/(ее|ие|ые|ое|ими|ыми|ей|ий|ый|ой|ем|им|ым|ом|его|ого|еых|ую|юю|ая|яя|ою|ею)$/';
var $PARTICIPLE = '/((ивш|ывш|ующ)|((?<=[ая])(ем|нн|вш|ющ|щ)))$/';
var $VERB = '/((ила|ыла|ена|ейте|уйте|ите|или|ыли|ей|уй|ил|ыл|им|ым|ены|ить|ыть|ишь|ую|ю)|((?<=[ая])(ла|на|ете|йте|ли|й|л|ем|н|ло|но|ет|ют|ны|ть|ешь|нно)))$/';
var $NOUN = '/(а|ев|ов|ие|ье|е|иями|ями|ами|еи|ии|и|ией|ей|ой|ий|й|и|ы|ь|ию|ью|ю|ия|ья|я)$/';
var $RVRE = '/^(.*?[аеиоуыэюя])(.*)$/';
var $DERIVATIONAL = '/[^аеиоуыэюя][аеиоуыэюя]+[^аеиоуыэюя]+[аеиоуыэюя].*(?<=о)сть?$/';

function s(&$s, $re, $to)
{
$orig = $s;
$s = preg_replace($re, $to, $s);
return $orig !== $s;
}

function m($s, $re)
{
return preg_match($re, $s);
}

function stem_word($word)
{
$word = strtolower($word);
$word = strtr($word, 'ё', 'е');
# Check against cache of stemmed words
if ($this->Stem_Caching && isset($this->Stem_Cache[$word])) {
return $this->Stem_Cache[$word];
}
$stem = $word;
do {
if (!preg_match($this->RVRE, $word, $p)) break;
$start = $p[1];
$RV = $p[2];
if (!$RV) break;

# Step 1
if (!$this->s($RV, $this->PERFECTIVEGROUND, '')) {
$this->s($RV, $this->REFLEXIVE, '');

if ($this->s($RV, $this->ADJECTIVE, '')) {
$this->s($RV, $this->PARTICIPLE, '');
} else {
if (!$this->s($RV, $this->VERB, ''))
$this->s($RV, $this->NOUN, '');
}
}

# Step 2
$this->s($RV, '/и$/', '');

# Step 3
if ($this->m($RV, $this->DERIVATIONAL))
$this->s($RV, '/ость?$/', '');

# Step 4
if (!$this->s($RV, '/ь$/', '')) {
$this->s($RV, '/ейше?/', '');
$this->s($RV, '/нн$/', 'н');
}

$stem = $start.$RV;
} while(false);
if ($this->Stem_Caching) $this->Stem_Cache[$word] = $stem;
return $stem;
}

function stem_caching($parm_ref)
{
$caching_level = @$parm_ref['-level'];
if ($caching_level) {
if (!$this->m($caching_level, '/^[012]$/')) {
die(__CLASS__ . "::stem_caching() - Legal values are '0','1' or '2'. '$caching_level' is not a legal value");
}
$this->Stem_Caching = $caching_level;
}
return $this->Stem_Caching;
}

function clear_stem_cache()
{
$this->Stem_Cache = array();
}
}
?>

Пример использования:

Code (php):	скопировать код в буфер обмена
$stemmer = new Lingua_Stem_Ru(); echo $stemmer->stem_word('Котеровыми');

Естественно, библиотека иногда ошибается, однако в большинстве случаев все же срабатывает вполне удовлетворительно. Может использоваться в поисковых системах (здесь на форуме, к примеру).

Last edited by Дмитрий Кóтеров on Sat Feb 26, 2005 7:30 pm; edited 2 times in total

Дмитрий Кóтеров

Алгоритм взят вот отсюда: http://search.cpan.org/~algdr/Lingua-Stem-Ru/Ru.pm

Nick Bubelo

Это стеммер Портера:
http://snowball.tartarus.org/russian/stemmer.html

Алгоритм нуждается в маленькой доработке: перед началом стемминга в слове следует заменить все буквы 'ё' на 'е'. Сам Портер, кстати, на вышеуказанной страничке это же и советует.

Дмитрий Кóтеров

Поправил, спасибо.

Сый · Guest Карма: 377 поощрить/наказать

Ну как я понял, скрипт вырезает лишь окончания и некоторые суффиксы. Но он не может различить (и не сможет) корень во многих словах, использующих, например суффикс "ок", ибо этот суффикс во многих случаях является частью корня. Так что словарь к такому скрипту должен прилагаться.

Дмитрий Кóтеров

Кому "должен"?
Вы читали, что такое "стеммер Портера"?

Eugene Babushkin

Ссылка

Nick Bubelo wrote:

http://snowball.tartarus.org/russian/stemmer.html

переехала
http://snowball.tartarus.org/algorithms/russian/stemmer.html

vutsh · Guest Карма: 377 поощрить/наказать

'/((ив|ивши|ившись|ыв|ывши|ывшись)|((?<=[ая])(в|вши|вшись)))$/';
чем здесь віступает ая.

cosmos · Guest Карма: 377 поощрить/наказать

не могу понять на локале класс работает
копирую на хостинг не фига не пашет

cosmos-web · Guest Карма: 377 поощрить/наказать

strtolower

Setti · Guest Карма: 377 поощрить/наказать

Подскажите, пожалуйста, как подключить к этому стеммеру словарь словоформ? Спасибо.

Дмитрий Кóтеров

Никак не подключить. Словоформы - совершенно отдельная штука. Ищите по словам "php ispell".

Константин Жинько [tIT]

Пришло письмо недавно от некой конторы, которая вроде как подрядилась нашей текстовой оптимизацией заниматься примерно следующего содержания:

Quote:

Мы вот тут нашли код для определения словоформ, который поможет вам улучшить поиск на сайте:

Code (php):	скопировать код в буфер обмена
class Lingua_Stemmer_Ru { //...

Посмеялся (-;

Никита Ковалев · Guest Карма: 377 поощрить/наказать

Замену нужно делать не так:
$word = strtr($word, 'ё', 'е');

а так
$word = strtr($word, array('ё'=>'е'));

В теории отличаться не должно, в реальности с Unicode работает правильно только второй вариант. (PHP 5.2.3)

deli6z

никому не попадалось на глаза вот такое:

Пользователь вводит русскуюсловоформу и получает нормальную форму и морфологические атрибуты либо, по желанию, всю парадигму слова.

пример сервиса

http://www.aot.ru/demo/morph.html

Gilthoniel · Guest Карма: 377 поощрить/наказать

А нет ли где-нибудь такой же красивой и готовой на PHP реализации того же алгоритма, только для английского языка?

virus126 · Guest Карма: 377 поощрить/наказать

эхх... кровать-кроватить... :\

bolteg86 · Guest Карма: 377 поощрить/наказать

У меня всё отлично работает на денвере. ВСЁ ПРСТО ОТМЕННО. Разработал такую штуку, которая ищет введённые слова по базе данных во всех формах с учётом чередований в корнях даже. Но на сервере, на зеноне эта хрень не работает. Корень не выделяется. Чё делать, подскажите, плиз

rassol · Guest Карма: 377 поощрить/наказать

Спасибо за стеммер.
Работает на ура (правда таки да, ошибается).
Небольшое дополнение от мну:

Code (php):	скопировать код в буфер обмена
$word = strtr($word, 'ё', 'е');

у меня некорректно работала с UTF-8 general_ci;
Поэтому советую заменить на более универсальную

Code (php):	скопировать код в буфер обмена
$word= str_ireplace('ё', 'е', $word);

qfox.ru · Guest Карма: 377 поощрить/наказать

С утф изза регулярок дикая проблема.
После танцов с бубном выяснилось, что класс выделяет НЕ КОРЕНЬ слова, а его ОСНОВУ.
Жалко :(

p.s. Работу скрипта под дебианом с утф решал примерно так:

Code (any language):

скопировать код в буфер обмена

// для начала локаль, если не стоит как надо.
mb_regex_encoding( 'UTF-8' );
mb_internal_encoding( 'UTF-8' );
// меняем strtolower на mb_strtolower
// меняем strtr на str_replace( 'ё', 'е', $word )
// далее меняем preg_replace на mb_ereg_replace в функции s
// далее меняем preg_match на mb_ereg_match в функции m
// и меняем preg_match в функции word на mb_ereg
// удаляем ограничители (/) во всех выражениях. не забываем про функцию word

Миша Спларов

qfox.ru
Не правильно решали, в preg_replace есть модификатор "u". И синтаксис pcre отличается от синтаксиса posix - одинаковая работа тех же регулярных выражений - случайное совпадение.

Elfet

У меня под UTF-8 выдаёт вот что: ��
Как исправить?

almix · Guest Карма: 377 поощрить/наказать

спасибо! очень помогло qfox.ru , вамотдельное спасибо за правки!

Gamer09 · Guest Карма: 377 поощрить/наказать

А как это реализовать на Delphi кто-нибудь знает?

Александр Firestarte1987 · Guest Карма: 377 поощрить/наказать

Подскажите пожалуйста

78464 · Guest Карма: 377 поощрить/наказать

ваще не могу прочитать!!! на китайском написано чтоли????!!!!

bæv

78464 wrote:

ваще не могу прочитать!!! на китайском написано чтоли????!!!!

— это Вы про что?

Guest · Карма: 377 поощрить/наказать

Gamer09 wrote:

А как это реализовать на Delphi кто-нибудь знает?

Uses
RegExpr

function TForm1.WordStem(InWord: String):String;

     function ExistReg(var InStr:String; RgExp, RpStr : String):Boolean;
     var
     TempStr: String;
     begin
     TempStr := ReplaceRegExpr(RgExp, InStr, RpStr);
     Result := TempStr <> InStr;
     InStr := TempStr;
     end;
var
RVRE, PERFECTIVEGROUND, REFLEXIVE, ADJECTIVE, PARTICIPLE, VERB, NOUN, DERIVATIONAL: String;
RE: TRegExpr;
Stem, Start, Rv: String;
begin
  Result := '';
  RE := TRegExpr.Create;
  try
  RVRE := '^(.*?[аеиоуыэюя])(.*)$';

  PERFECTIVEGROUND := '((ив|ивши|ившись|ыв|ывши|ывшись)|(((?i)[ая])(в|вши|вшись)))$';
  REFLEXIVE := '(с[яь])$';

  ADJECTIVE := '(ее|ие|ые|ое|ими|ыми|ей|ий|ый|ой|ем|им|ым|ом|его|ого|ему|ому|их|ых|ую|юю|ая|яя|ою|ею)$';
  PARTICIPLE := '((ивш|ывш|ующ)|(((?i)[ая])(ем|нн|вш|ющ|щ)))$';

  VERB := '((ила|ыла|ена|ейте|уйте|ите|или|ыли|ей|уй|ил|ыл|им|ым|ен|и|ыт|ены|ить|ыть|ишь|ую|ю)|(((?i)[ая])(ла|на|ете|йте|ли|й|л|ем|н|ло|но|ет|ют|ны|ть|ешь|нно)))$';
  NOUN := '(а|ев|ов|ие|ье|е|иями|ями|ами|еи|ии|и|ией|ей|ой|ий|й|иям|х|ях|ы|ь|ию|ью|ю|ия|ья|я)$';

  DERIVATIONAL := '[^аеиоуыэюя][аеиоуыэюя]+[^аеиоуыэюя]+[аеиоуыэюя].*((?i)о)сть?$';

  InWord := LowerCase(InWord);
  InWord := StringReplace(InWord, 'ё', 'е', [rfReplaceAll]);
  Stem := InWord;

     repeat
     RE.Expression := RVRE;
     if not RE.Exec(Stem) then Break;
     Start := RE.Match[1];
     Rv := RE.Match[2];
     if not ExecRegExpr(RVRE, Rv) then Break;

     if not(ExistReg(Rv, PERFECTIVEGROUND, '')) then ExistReg(Rv, REFLEXIVE, '');

     if (ExistReg(Rv, ADJECTIVE, '')) then ExistReg(Rv, PARTICIPLE, '') else
     if not(ExistReg(Rv, VERB, '')) then ExistReg(Rv, NOUN, '');

     ExistReg(Rv, 'и$', '');

     if ExecRegExpr(DERIVATIONAL, Rv) then ExistReg(Rv, 'ость?$', '');

     if not ExistReg(Rv, 'ь$', '') then
          begin
          ExistReg(Rv, 'ейше?', '');
          ExistReg(Rv, 'нн$', 'н');
          end;

     Stem := Start+Rv;
     Until true;

  Result := Stem;
  finally
  if Assigned (RE) then RE.Free;
  end;
end;

Guest · Карма: 377 поощрить/наказать

Можно алгоритм в коммерческих проектах использоть? К примеру поиск в системе управления сайтом реализовать на этом алгорите, потом получить патент и продавать?

zael

Anonymous wrote:

Можно алгоритм в коммерческих проектах использоть? К примеру поиск в системе управления сайтом реализовать на этом алгорите, потом получить патент и продавать?

это что-бы как у google однокоренные в выдачу попадали, так что не получится запатентовать.

Guest · Карма: 377 поощрить/наказать

zael wrote:

это что-бы как у google однокоренные в выдачу попадали, так что не получится запатентовать.

Нет, не систему поиска запатентовать, а CMS с поиском, использующем этот алгоритм? Т. е. имею ли я право пользоваться алготритмом как хочу, и в коммерческих целях?

TruBrite

Спасибо!!!

Nurmaga

Подскажите пожалуйста, как все это реализовать на самописанном сайте? этот скрипт ищет совпадений в файлах или в базе?

TheWall

подскажите как это реальзовать на windows-1251 (cp1251)
все, вроде бы, работает но вместо слов вылазят краказябры

bæv

М

Ветка выделена в отдельную тему «мусор»,
расположенную в форуме Мусоропровод (21 Января 2011, 15:36).