Форум dkLab и Denwer

Дмитрий Кóтеров

Стеммер Портера.

Код (php):

<?php
class Lingua_Stem_Ru
{
var $VERSION = "0.02";
var $Stem_Caching = 0;
var $Stem_Cache = array();
var $VOWEL = '/аеиоуыэюя/';
var $PERFECTIVEGROUND = '/((ив|ивши|ившись|ыв|ывши|ывшись)|((?<=[ая])(в|вши|вшись)))$/';
var $REFLEXIVE = '/(с[яь])$/';
var $ADJECTIVE = '/(ее|ие|ые|ое|ими|ыми|ей|ий|ый|ой|ем|им|ым|ом|его|ого|еых|ую|юю|ая|яя|ою|ею)$/';
var $PARTICIPLE = '/((ивш|ывш|ующ)|((?<=[ая])(ем|нн|вш|ющ|щ)))$/';
var $VERB = '/((ила|ыла|ена|ейте|уйте|ите|или|ыли|ей|уй|ил|ыл|им|ым|ены|ить|ыть|ишь|ую|ю)|((?<=[ая])(ла|на|ете|йте|ли|й|л|ем|н|ло|но|ет|ют|ны|ть|ешь|нно)))$/';
var $NOUN = '/(а|ев|ов|ие|ье|е|иями|ями|ами|еи|ии|и|ией|ей|ой|ий|й|и|ы|ь|ию|ью|ю|ия|ья|я)$/';
var $RVRE = '/^(.*?[аеиоуыэюя])(.*)$/';
var $DERIVATIONAL = '/[^аеиоуыэюя][аеиоуыэюя]+[^аеиоуыэюя]+[аеиоуыэюя].*(?<=о)сть?$/';

function s(&$s, $re, $to)
{
$orig = $s;
$s = preg_replace($re, $to, $s);
return $orig !== $s;
}

function m($s, $re)
{
return preg_match($re, $s);
}

function stem_word($word)
{
$word = strtolower($word);
$word = strtr($word, 'ё', 'е');
# Check against cache of stemmed words
if ($this->Stem_Caching && isset($this->Stem_Cache[$word])) {
return $this->Stem_Cache[$word];
}
$stem = $word;
do {
if (!preg_match($this->RVRE, $word, $p)) break;
$start = $p[1];
$RV = $p[2];
if (!$RV) break;

# Step 1
if (!$this->s($RV, $this->PERFECTIVEGROUND, '')) {
$this->s($RV, $this->REFLEXIVE, '');

if ($this->s($RV, $this->ADJECTIVE, '')) {
$this->s($RV, $this->PARTICIPLE, '');
} else {
if (!$this->s($RV, $this->VERB, ''))
$this->s($RV, $this->NOUN, '');
}
}

# Step 2
$this->s($RV, '/и$/', '');

# Step 3
if ($this->m($RV, $this->DERIVATIONAL))
$this->s($RV, '/ость?$/', '');

# Step 4
if (!$this->s($RV, '/ь$/', '')) {
$this->s($RV, '/ейше?/', '');
$this->s($RV, '/нн$/', 'н');
}

$stem = $start.$RV;
} while(false);
if ($this->Stem_Caching) $this->Stem_Cache[$word] = $stem;
return $stem;
}

function stem_caching($parm_ref)
{
$caching_level = @$parm_ref['-level'];
if ($caching_level) {
if (!$this->m($caching_level, '/^[012]$/')) {
die(__CLASS__ . "::stem_caching() - Legal values are '0','1' or '2'. '$caching_level' is not a legal value");
}
$this->Stem_Caching = $caching_level;
}
return $this->Stem_Caching;
}

function clear_stem_cache()
{
$this->Stem_Cache = array();
}
}
?>

Пример использования:

Код (php):	скопировать код в буфер обмена
$stemmer = new Lingua_Stem_Ru(); echo $stemmer->stem_word('Котеровыми');

Естественно, библиотека иногда ошибается, однако в большинстве случаев все же срабатывает вполне удовлетворительно. Может использоваться в поисковых системах (здесь на форуме, к примеру).

Последний раз редактировалось: Дмитрий Кóтеров (Сб Фев 26, 2005 7:30 pm), всего редактировалось 2 раз(а)

Дмитрий Кóтеров

Алгоритм взят вот отсюда: http://search.cpan.org/~algdr/Lingua-Stem-Ru/Ru.pm

Nick Bubelo

Это стеммер Портера:
http://snowball.tartarus.org/russian/stemmer.html

Алгоритм нуждается в маленькой доработке: перед началом стемминга в слове следует заменить все буквы 'ё' на 'е'. Сам Портер, кстати, на вышеуказанной страничке это же и советует.

Дмитрий Кóтеров

Поправил, спасибо.

Сый

Ну как я понял, скрипт вырезает лишь окончания и некоторые суффиксы. Но он не может различить (и не сможет) корень во многих словах, использующих, например суффикс "ок", ибо этот суффикс во многих случаях является частью корня. Так что словарь к такому скрипту должен прилагаться.

Дмитрий Кóтеров

Кому "должен"?
Вы читали, что такое "стеммер Портера"?

Eugene Babushkin

Ссылка

Nick Bubelo писал(а):

http://snowball.tartarus.org/russian/stemmer.html

переехала
http://snowball.tartarus.org/algorithms/russian/stemmer.html

vutsh

'/((ив|ивши|ившись|ыв|ывши|ывшись)|((?<=[ая])(в|вши|вшись)))$/';
чем здесь віступает ая.

cosmos

не могу понять на локале класс работает
копирую на хостинг не фига не пашет

cosmos-web

strtolower

Setti

Подскажите, пожалуйста, как подключить к этому стеммеру словарь словоформ? Спасибо.

Дмитрий Кóтеров

Никак не подключить. Словоформы - совершенно отдельная штука. Ищите по словам "php ispell".

Константин Жинько [tIT]

Пришло письмо недавно от некой конторы, которая вроде как подрядилась нашей текстовой оптимизацией заниматься примерно следующего содержания:

Цитата:

Мы вот тут нашли код для определения словоформ, который поможет вам улучшить поиск на сайте:

Код (php):	скопировать код в буфер обмена
class Lingua_Stemmer_Ru { //...

Посмеялся (-;

Никита Ковалев

Замену нужно делать не так:
$word = strtr($word, 'ё', 'е');

а так
$word = strtr($word, array('ё'=>'е'));

В теории отличаться не должно, в реальности с Unicode работает правильно только второй вариант. (PHP 5.2.3)

deli6z

никому не попадалось на глаза вот такое:

Пользователь вводит русскуюсловоформу и получает нормальную форму и морфологические атрибуты либо, по желанию, всю парадигму слова.

пример сервиса

http://www.aot.ru/demo/morph.html

Gilthoniel

А нет ли где-нибудь такой же красивой и готовой на PHP реализации того же алгоритма, только для английского языка?

virus126

эхх... кровать-кроватить... :\

bolteg86

У меня всё отлично работает на денвере. ВСЁ ПРСТО ОТМЕННО. Разработал такую штуку, которая ищет введённые слова по базе данных во всех формах с учётом чередований в корнях даже. Но на сервере, на зеноне эта хрень не работает. Корень не выделяется. Чё делать, подскажите, плиз

rassol

Спасибо за стеммер.
Работает на ура (правда таки да, ошибается).
Небольшое дополнение от мну:

Код (php):	скопировать код в буфер обмена
$word = strtr($word, 'ё', 'е');

у меня некорректно работала с UTF-8 general_ci;
Поэтому советую заменить на более универсальную

Код (php):	скопировать код в буфер обмена
$word= str_ireplace('ё', 'е', $word);

qfox.ru

С утф изза регулярок дикая проблема.
После танцов с бубном выяснилось, что класс выделяет НЕ КОРЕНЬ слова, а его ОСНОВУ.
Жалко :(

p.s. Работу скрипта под дебианом с утф решал примерно так:

Код (any language):

скопировать код в буфер обмена

// для начала локаль, если не стоит как надо.
mb_regex_encoding( 'UTF-8' );
mb_internal_encoding( 'UTF-8' );
// меняем strtolower на mb_strtolower
// меняем strtr на str_replace( 'ё', 'е', $word )
// далее меняем preg_replace на mb_ereg_replace в функции s
// далее меняем preg_match на mb_ereg_match в функции m
// и меняем preg_match в функции word на mb_ereg
// удаляем ограничители (/) во всех выражениях. не забываем про функцию word

Миша Спларов

qfox.ru
Не правильно решали, в preg_replace есть модификатор "u". И синтаксис pcre отличается от синтаксиса posix - одинаковая работа тех же регулярных выражений - случайное совпадение.

Elfet

У меня под UTF-8 выдаёт вот что: ��
Как исправить?

almix

спасибо! очень помогло qfox.ru , вамотдельное спасибо за правки!

Gamer09

А как это реализовать на Delphi кто-нибудь знает?

Александр Firestarte1987

Подскажите пожалуйста

78464

ваще не могу прочитать!!! на китайском написано чтоли????!!!!

bæv

78464 писал(а):

ваще не могу прочитать!!! на китайском написано чтоли????!!!!

— это Вы про что?

Гость · Карма: 367 поощрить/наказать

Gamer09 писал(а):

А как это реализовать на Delphi кто-нибудь знает?

Uses
RegExpr

function TForm1.WordStem(InWord: String):String;

     function ExistReg(var InStr:String; RgExp, RpStr : String):Boolean;
     var
     TempStr: String;
     begin
     TempStr := ReplaceRegExpr(RgExp, InStr, RpStr);
     Result := TempStr <> InStr;
     InStr := TempStr;
     end;
var
RVRE, PERFECTIVEGROUND, REFLEXIVE, ADJECTIVE, PARTICIPLE, VERB, NOUN, DERIVATIONAL: String;
RE: TRegExpr;
Stem, Start, Rv: String;
begin
  Result := '';
  RE := TRegExpr.Create;
  try
  RVRE := '^(.*?[аеиоуыэюя])(.*)$';

  PERFECTIVEGROUND := '((ив|ивши|ившись|ыв|ывши|ывшись)|(((?i)[ая])(в|вши|вшись)))$';
  REFLEXIVE := '(с[яь])$';

  ADJECTIVE := '(ее|ие|ые|ое|ими|ыми|ей|ий|ый|ой|ем|им|ым|ом|его|ого|ему|ому|их|ых|ую|юю|ая|яя|ою|ею)$';
  PARTICIPLE := '((ивш|ывш|ующ)|(((?i)[ая])(ем|нн|вш|ющ|щ)))$';

  VERB := '((ила|ыла|ена|ейте|уйте|ите|или|ыли|ей|уй|ил|ыл|им|ым|ен|и|ыт|ены|ить|ыть|ишь|ую|ю)|(((?i)[ая])(ла|на|ете|йте|ли|й|л|ем|н|ло|но|ет|ют|ны|ть|ешь|нно)))$';
  NOUN := '(а|ев|ов|ие|ье|е|иями|ями|ами|еи|ии|и|ией|ей|ой|ий|й|иям|х|ях|ы|ь|ию|ью|ю|ия|ья|я)$';

  DERIVATIONAL := '[^аеиоуыэюя][аеиоуыэюя]+[^аеиоуыэюя]+[аеиоуыэюя].*((?i)о)сть?$';

  InWord := LowerCase(InWord);
  InWord := StringReplace(InWord, 'ё', 'е', [rfReplaceAll]);
  Stem := InWord;

     repeat
     RE.Expression := RVRE;
     if not RE.Exec(Stem) then Break;
     Start := RE.Match[1];
     Rv := RE.Match[2];
     if not ExecRegExpr(RVRE, Rv) then Break;

     if not(ExistReg(Rv, PERFECTIVEGROUND, '')) then ExistReg(Rv, REFLEXIVE, '');

     if (ExistReg(Rv, ADJECTIVE, '')) then ExistReg(Rv, PARTICIPLE, '') else
     if not(ExistReg(Rv, VERB, '')) then ExistReg(Rv, NOUN, '');

     ExistReg(Rv, 'и$', '');

     if ExecRegExpr(DERIVATIONAL, Rv) then ExistReg(Rv, 'ость?$', '');

     if not ExistReg(Rv, 'ь$', '') then
          begin
          ExistReg(Rv, 'ейше?', '');
          ExistReg(Rv, 'нн$', 'н');
          end;

     Stem := Start+Rv;
     Until true;

  Result := Stem;
  finally
  if Assigned (RE) then RE.Free;
  end;
end;

Гость · Карма: 367 поощрить/наказать

Можно алгоритм в коммерческих проектах использоть? К примеру поиск в системе управления сайтом реализовать на этом алгорите, потом получить патент и продавать?

zael

Anonymous писал(а):

Можно алгоритм в коммерческих проектах использоть? К примеру поиск в системе управления сайтом реализовать на этом алгорите, потом получить патент и продавать?

это что-бы как у google однокоренные в выдачу попадали, так что не получится запатентовать.

Гость · Карма: 367 поощрить/наказать

zael писал(а):

это что-бы как у google однокоренные в выдачу попадали, так что не получится запатентовать.

Нет, не систему поиска запатентовать, а CMS с поиском, использующем этот алгоритм? Т. е. имею ли я право пользоваться алготритмом как хочу, и в коммерческих целях?

TruBrite

Спасибо!!!