Форум dkLab и Denwer
Здесь общаются Web-разработчики.
Генеральный спонсор:
Хостинг «Джино»

Text_WordsParser: грамматический разбор html текста на предложения и слова (Rin)
Author Message
Rin
Участник форума



Joined: 01 Jun 2005
Posts: 515
Карма: 180
   поощрить/наказать

Location: Москва

PostPosted: Wed Feb 27, 2008 12:25 pm (написано за 3 минуты 38 секунд)
   Post subject: Text_WordsParser: грамматический разбор html текста на предложения и слова
Reply with quote

Грамматический разбор html текста на предложения и слова, класс на PHP

Project has been moved to code.google.com/p/php-text-words-parser/

Возможности
  1. Получение всех слов в тексте в порядке их следования
  2. Получение всех предложений и слов в тексте в порядке их следования
  3. Получение уникальных слов в тексте с весами их появления в тексте
  4. Нормализация текста
  5. Распределение абсолютных позиций слов к абсолютным байтовым позициям в нормализованном тексте
  6. Поддержка нескольких языков одновременно
  7. Работает с любыми языками мира, используемая кодировка — UTF-8.
.
Пример
Code (php): скопировать код в буфер обмена
$wp = new Text_WordsParser(array (www.php.net/array)('Latin', 'Cyrillic'));
$html = file_get_contents (www.php.net/file_get_contents)('test.html');
$text = $wp->parse($html, $words, $sentences, $uniques, $offset_map);
var_dump (www.php.net/var_dump)($text, $words, $sentences, $uniques, $offset_map);


Last edited by Rin on Mon Jul 11, 2011 1:11 pm; edited 9 times in total
Back to top
View user's profile Send private message Send e-mail
Rin
Участник форума



Joined: 01 Jun 2005
Posts: 515
Карма: 180
   поощрить/наказать

Location: Москва

PostPosted: Fri May 30, 2008 8:44 pm (спустя 3 месяца 3 дня 8 часов 19 минут; написано за 2 минуты 22 секунды)
   Post subject:
Reply with quote

4.5.0
  1. Первая опубликованная версия
4.5.5
  1. Улучшения в коде, обработка вхождений для языков программирования: C#, C++, T++, деревья B+
Back to top
View user's profile Send private message Send e-mail
FallEn
Guest





Карма: 386
   поощрить/наказать


PostPosted: Wed Mar 18, 2009 7:53 pm (спустя 9 месяцев 18 дней 23 часа 8 минут; написано за 26 секунд)
   Post subject:
Reply with quote

Огромное спасибо,довольно полезная вещь.
Back to top
sand11
Заглянувший



Joined: 20 Aug 2009
Posts: 1
Карма: 0
   поощрить/наказать


PostPosted: Sat Aug 22, 2009 12:02 am (спустя 5 месяцев 3 дня 4 часа 9 минут; написано за 54 секунды)
   Post subject:
Reply with quote

Покажите пожалуйста пример использования данного класса.
Back to top
View user's profile Send private message
Rin
Участник форума



Joined: 01 Jun 2005
Posts: 515
Карма: 180
   поощрить/наказать

Location: Москва

PostPosted: Sun Aug 23, 2009 5:49 pm (спустя 1 день 17 часов 46 минут; написано за 4 минуты 38 секунд)
   Post subject:
Reply with quote

Code (php): скопировать код в буфер обмена
//TextParser-4.5.5

//require 'path_to/TextParser.php';
//require 'path_to/Func.php';
//require ...

$tp = new TextParser();
$sentences = $alnum_all = $pos_map = array (www.php.net/array)();
$html = file_get_contents (www.php.net/file_get_contents)('path_to/filename.html');
$text = $tp->parse($html, $sentences, $alnum_all, $pos_map)
var_dump (www.php.net/var_dump)($text, $sentences, $alnum_all, $pos_map);
Back to top
View user's profile Send private message Send e-mail
dandandan
Заглянувший



Joined: 22 Nov 2008
Posts: 5
Карма: -1
   поощрить/наказать


PostPosted: Sun Mar 14, 2010 7:02 pm (спустя 6 месяцев 22 дня 1 час 13 минут; написано за 2 минуты 5 секунд)
   Post subject:
Reply with quote

require 'TextParser/TextParser.php';
require 'TextParser/Func.php';

$tp = new TextParser();
$sentences = $alnum_all = $pos_map = array();
$html = file_get_contents('mozgun.ru');
$html=iconv("windows-1251", "UTF-8",$html);
$text = $tp->parse($html, $sentences, $alnum_all, $pos_map);
print_r($text);
print_r($alnum_all);
print_r($pos_map);


Пробую сделать так. Вылазиет ошибка:
Quote:
Warning: preg_match_all() [function.preg-match-all]: Compilation failed: unknown property name after \P or \p at offset 232 in Y:\home\localhost\megaupload\tags\TextParser\TextParser.php on line 127

Warning: Invalid argument supplied for foreach() in Y:\home\localhost\megaupload\tags\TextParser\TextParser.php on line 134
Весь текст не привожу. Вот концовка:
Quote:
Прикольные головоломки. Головоломки с решениями и ответами Головоломки Отгадай головоломку Отправка данных... Выделенная ошибка: Ваши комментарии (если необходимы)Array ( ) Array ( )
Т.е. видимо последние 2 массива пустые.
Где, что подправить?
Тект распарсивается, но не выводит частоту его вхождения. Жду ответа.
Back to top
View user's profile Send private message
Александр Михалицын
Модератор



Joined: 23 May 2008
Posts: 1299
Карма: 81
   поощрить/наказать


PostPosted: Mon Mar 15, 2010 1:16 pm (спустя 18 часов 13 минут; написано за 57 секунд)
   Post subject:
Reply with quote


М

dandandan,
во-первых, код нужно обрамлять соответствующими тегами,
во-вторых, пограмотнее пишите, пожалуйста.
Back to top
View user's profile Send private message Send e-mail
Rin
Участник форума



Joined: 01 Jun 2005
Posts: 515
Карма: 180
   поощрить/наказать

Location: Москва

PostPosted: Mon Mar 15, 2010 10:50 pm (спустя 9 часов 33 минуты; написано за 42 секунды)
   Post subject:
Reply with quote

обновите PHP, а точнее PCRE до версии 7.2
Back to top
View user's profile Send private message Send e-mail
Флаш
Guest





Карма: 386
   поощрить/наказать


PostPosted: Mon Apr 19, 2010 1:52 pm (спустя 1 месяц 3 дня 15 часов 2 минуты; написано за 56 секунд)
   Post subject: Темная
Reply with quote

Расскажите подробней о функционале и как пользоваться? ФАК есть? я не пойму что там да как вызывать Спасибо
Back to top
Гость
Guest





Карма: 386
   поощрить/наказать


PostPosted: Tue Apr 27, 2010 9:49 am (спустя 7 дней 19 часов 57 минут; написано за 36 секунд)
   Post subject:
Reply with quote

присоединяюсь к последнему комментарию - расскажите пожалуйста поподробней
Back to top
Guest






Карма: 386
   поощрить/наказать


PostPosted: Tue Apr 27, 2010 3:46 pm (спустя 5 часов 57 минут; написано за 1 минуту 55 секунд)
   Post subject:
Reply with quote

Должно быть полезный класс. К сожалению, у меня выдало тоже самое:
Warning: preg_match_all() [function.preg-match-all]: Compilation failed: unknown property name after \P or \p at offset 231 in /usr/local/www/html/marketing/parser/TextParser.php on line 127

OS: FreeBSD 6.2
PHP Version: 5.2.11
PCRE Library Version: 7.9
Back to top
andreypaa
Заглянувший



Joined: 23 May 2010
Posts: 1
Карма: 0
   поощрить/наказать


PostPosted: Sun May 23, 2010 6:53 pm (спустя 26 дней 3 часа 7 минут; написано за 1 минуту 40 секунд)
   Post subject:
Reply with quote

Вышеприведённый пример у меня заработал, после того, как я инициализировал основной класс немного по-другому:
Code (php): скопировать код в буфер обмена
$tp = new TextParser(null, array (www.php.net/array)('Cyrillic', 'Latin'));
т.е. при создании объекта задаются только необходимые языки.
Back to top
View user's profile Send private message
Rin
Участник форума



Joined: 01 Jun 2005
Posts: 515
Карма: 180
   поощрить/наказать

Location: Москва

PostPosted: Mon Jul 11, 2011 1:12 pm (спустя 1 год 1 месяц 18 дней 18 часов 18 минут; написано за 5 секунд)
   Post subject:
Reply with quote

Project has been moved to code.google.com/p/php-text-words-parser/
Back to top
View user's profile Send private message Send e-mail
defond
Заглянувший



Joined: 02 Aug 2011
Posts: 1
Карма: 0
   поощрить/наказать


PostPosted: Thu Aug 04, 2011 11:26 am (спустя 23 дня 22 часа 13 минут; написано за 1 минуту 42 секунды)
   Post subject:
Reply with quote

Вы занимаетесь поддержкой данного скрипта? С Вами можно связаться? Моя почта - defond@gmail.com Либо через ЛС сообщения на форуме.
Back to top
View user's profile Send private message Send e-mail
Rin
Участник форума



Joined: 01 Jun 2005
Posts: 515
Карма: 180
   поощрить/наказать

Location: Москва

PostPosted: Tue Aug 30, 2011 10:10 pm (спустя 26 дней 10 часов 43 минуты; написано за 10 секунд)
   Post subject:
Reply with quote

defond Ответил в ЛС
Back to top
View user's profile Send private message Send e-mail
spendhunters
Заглянувший



Joined: 13 Feb 2015
Posts: 1
Карма: 0
   поощрить/наказать


PostPosted: Fri Feb 13, 2015 1:26 pm (спустя 3 года 5 месяцев 13 дней 15 часов 16 минут; написано за 50 секунд)
   Post subject:
Reply with quote

Здравствуйте, Вы еще поддерживаете скрипт?
Back to top
View user's profile Send private message
Houus
Заглянувший



Joined: 30 Apr 2015
Posts: 2
Карма: 0
   поощрить/наказать


PostPosted: Thu Apr 30, 2015 5:12 pm (спустя 2 месяца 17 дней 3 часа 45 минут; написано за 19 секунд)
   Post subject:
Reply with quote

судя по изменениям - уже не давно не меняют ничего
Back to top
View user's profile Send private message
Display posts from previous:   
Post new topic   Reply to topic All times are GMT + 3 Hours
Page 1 of 1    Email to a Friend.
You cannot post new topics in this forum. You cannot reply to topics in this forum. You cannot edit your posts in this forum. You cannot delete your posts in this forum. You cannot vote in polls in this forum. You cannot attach files in this forum. You can download files in this forum.
XML