Форум dkLab и Denwer

[Rin]

Класс пытается определить наличие мата (нецензурных, матерных слов) в html-тексте
Возвращает FALSE, если мат не обнаружен, иначе обнаруженное матерное слово или фрагмент текста с "подсвеченным" матерным словом (настраивается).

Алгоритм достаточно надежен и быстр, в т.ч. на больших объемах данных.
Метод обнаружения мата основывается на корнях и предлогах русского языка, а не на словаре.
Слова "лох", "хер", "залупа", "сука" матерными словами не считаются (см. словарь Даля)

---

Censure-3.2.6.7z
Описание:	Детектор мата, матотест PHP	Скачать
Имя файла:	Censure-3.2.6.7z
Размер:	27,84 KB
Скачали:	1759 раз(а)

---

Последний раз редактировалось: Rin (Пт Июл 30, 2010 10:41 am), всего редактировалось 9 раз(а)

[Юрий Насретдинов]

Rin, не могли бы Вы убрать комментарии в версии, которая на этом форуме? Потому что лично меня напрягает читать Ваш исходный код из-за обилия мата. Я предлагаю поместить версию с комментариями во вложение, а тут выложить версию без мата в комментах.

[bæv]

Rin писал(а):

Слова "лох", "хер", "залупа", "сука" матерными словами не считаются (см. словарь Даля)

— они, конечно, матерными словами не считаются.
Только Даль тут причём?
В оригинальном словаре Даля весь мат был «на равных правах» с остальными словами.

[Гость]

как он ведёт себя со словами типа "заштрихуй"?

[Rin]

Заштрихуй, дебет, оскорблять, перебалтывай -- все эти слова и подобные НЕ считаются матом.
За 2 года его использования могу сказать, что фильтр достаточно надежен.

[amikhailov]

Код (php):

скопировать код в буфер обмена

#вырезаем все лишнее     #скрипты не вырезаем, т.к. м.б. обходной маневр на с кодом на javascript:     #<script>document.write('сло'+'во')</script>     #хотя давать пользователю возможность использовать код на javascript нехорошо     if (! function_exists('strip_tags_smart'))  #оптимизация скорости include_once     {         include_once 'strip_tags_smart.php';     }     $s = strip_tags_smart($s, true, true, array('comment', 'style', 'map', 'frameset', 'object', 'applet'));     if (! function_exists('utf8_html_entity_decode'))  #оптимизация скорости include_once     {         include_once 'utf8_html_entity_decode.php';     }

Для порядку бы тогда уж и strip_tags_smart.php + utf8_html_entity_decode.php в архив вложили бы

[Rin]

Недостающие файлы есть на этом форуме, но для порядку добавил в архив.

[Базылев Дмитрий]

Кстати, вот вам отличная идея - есть словарь русского мата на mat.fobo.ru.
Можно договориться с их авторами, и сделать XML-экспорт списка слов в вашу базу мата.

Я сам в своем универсальном парсере такое планирую сделать.

[Maus]

М

Ветка выделена в отдельную тему «стоит ли цензурировать мат в интернете?», расположенную в форуме Прочее (27 Ноября 2007, 03:05).

[ABTOP]

Базылев Дмитрий писал(а):

Кстати, вот вам отличная идея - есть словарь русского мата на mat.fobo.ru. Можно договориться с их авторами, и сделать XML-экспорт списка слов в вашу базу мата. Я сам в своем универсальном парсере такое планирую сделать.

mat.fobo.ru писал(а):

Статистика На данный момент в базе словаря находится 4208 слов и выражений (включая не подтвержденные).

Йето реально работать с более 4-х тыс. слов?

Rin,
почему у вас такой странный набор корней - некоторые нематерные присутствуют, а некоторые матерные не включены?

[Rin]

Напишите мне личное сообщение, чтобы не "светить" матом здесь.

[simbel]

Уважаемый Rin.

Скачал архив censure.rar. Поставил скрипт(все функции). Ничего не менял, кроме путей к файлам с функциями - прописал полные пути (до изменения include_once выдавал ошибку об отсутствии файла).

Вот строка, которое обрабатывается вашим скриптом:

Код (php):	скопировать код в буфер обмена
$s = 'Всё ОК тел супер, пользуюсь <> 11 месяцев, #"с_л@о#во,с\xc2\xa7лово.Слово dgdddedbd gdebdgdebvd ### dgefhf глюков нет и не облазит, нех.. покупать по-дешевле в ненадежных местах.';

В результате скрипт выдаёт ошибку:

Код (php):	скопировать код в буфер обмена
Warning: preg_match() [function.preg-match]: Compilation failed: invalid UTF-8 string at offset 6 in z:\home\prostor\www\admcode\cats\all_function.php on line 260

В чём может быть сдесь ошибка? Помогите, пожалуйста.

Проверил как меняется строка после обработки каждой из функций: strip_tags_smart(), utf8_html_entity_decode() и utf8_convert_case(). Результат - никаких изменений, ничего не вырезается и не заменяется - строка остаётся такой же как и на входе. Так и должно быть?

Дальше, после обработки регулярным выражением:

Код (php):	скопировать код в буфер обмена
#получаем в массив только буквы и цифры     #"с_л@о#во,с\xc2\xa7лово.Слово" -> "слово слово слово"     preg_match_all('/(?> \xd0[\xb0-\xbf]|\xd1[\x80-\x8f\x91]  #[а-я]                       |  [a-z\d]+                       )+                     /isx', $s, $m);

строка $s превращается в

Код (php):	скопировать код в буфер обмена
11 xc2 xa7 dgdddedbd gdebdgdebvd dgefhf

После обработки регулярным выражением

Код (php):	скопировать код в буфер обмена
#убираем все повторяющиеся символы     #"сллоооовоо   слово" -> "слово слово"     echo $s = preg_replace('/(  [\xd0\xd1][\x80-\xbf]  #оптимизированное [а-я]                          | [a-z\d]                          ) \\1+                        /sx', '$1', $s);

строка превращается в

Код (php):	скопировать код в буфер обмена
1 xc2 xa7 dgdedbd gdebdgdebvd dgefhf

Ну а на последнем регулярном выражении, которое вырезает плохие слова возникает ошибка:

Код (php):	скопировать код в буфер обмена
Warning: preg_match() [function.preg-match]: Compilation failed: invalid UTF-8 string at offset 6 in z:\home\prostor\www\admcode\cats\all_function.php on line 260

Что может быть не так? Помогите, пожалуйста, разобраться.

[Rin]

Проверьте строку функцией is_utf8()

[simbel]

Я, для разработки сайта использую кодировку win-1251. Может поэтому проблемы? В моём случае вообще целесообразно использовать функции utf8_html_entity_decode() и utf8_convert_case()? Я сделал без них и вроде всё работает. Мат распознаётся. Для чего вообще нужны эти функции?

[Ksnk]

Захотелось пофлудить на тему utf8 - а настолько ли он нужен для определения русского мата?...
simbel Но слабый смертный не ведает будущего и счастлив неведением своим!... (с)Ф. Н. Глинка
Rin ...во многой мудрости много печали... (с)Еккл (1:17,18) ;-(

[Rin]

UTF‑8: современно, грамотно, удобно

[Валенок]

а пхп обещало его хорошую поддержку тока в 6ой версии%))

[Ksnk]

Rin Ну, одна из моих мыслЕй была - utf - это интернационально, так что только словарем одного русского мата, как-бы, обойтись будет, в перспективе, непросто... А cp1251 - гарантирует мат на русском :) Хотя мысль, конечно, гниловата... Флуд, что с него взять...

[Rin]

3.1.0-beta

1. Добавлены новые матные слова
2. Функция распознает гораздо больше матных слов, чем прежняя версия
3. При обнаружении мата возвращается фрагмент текста с матерным словом

Функция нуждается в более тщательном тестировании.
В случае обнаружения ошибок (ложных срабатываний) -- пишите.

[Гость]

Отличная работа! Респект автору.
А есть ли что-нибудь подобное для обысного ср1251 ?

[Rin]

Перекодировка работает достаточно быстро. :)

[Апокалипсис]

Автору спасибо за этот фильтр. Установил его у себя в чате - и отловил много ложных срабатываний фильтра. Если интересует могу выложить их.

[bæv]

Апокалипсис, рекламу из подписи уберите.

[Rin]

Апокалипсис

Напишите сюда или в личное сообщение список ложных срабатываний.

[Rin]

Последние обновления этой функции смотрите здесь

[Кро]

Как пользоваться этой функцией если я хочу вырезать из текста всё матные слова?

[Rin]

Попробуйте модернизировать исходный код.
В каком случае такое могло понадобиться?

[Военный1]

Rin писал(а):

В каком случае такое могло понадобиться?

Дело в том, что если в строчке имеется больше 1го матерного слова, то функция возвращает только первое вхождение.
В случае необходимости найти и заменить все слова - надо вызывать функцию до тех пор, пока она не вернет false.
Я думаю, что речь шла об этом.

[Savy]

Всем Привет!
А если в слове заменить русскую "а" на английскую, слово отловится?
Это простой случай, можно ещё привести более изощрённые замены "ж" -> "*" (в сотовом телефоне один к одному :) )

[Qyax]

А как же пробелы !?
пример: С У К А, Х У Й
или пример: идите все на х у й
типа такого функция "пропустит" !?

P.S. Сорри за нецензурщину :)

[Юрий Насретдинов]

Вроде не пропускает...

[иван2323]

не знает слова минет

[Юрий Насретдинов]

иван2323
А это не мат

[ClawFinger]

мандарин цензурит...

[Rin]

[cutted]

Последний раз редактировалось: Rin (Пт Июл 30, 2010 10:31 am), всего редактировалось 1 раз

[andy_v]

на слово "чебуречная" , "чебурек" срабатывает :)

[andy_v]

извините, именно так: "Чебурек", т.е. с заглавной буквы

[andy_v]

из той же оперы: "Не будет"

[Rin]

Вышла новая версия 3.2.6

[Александр Михалицын]

М

Ветка выделена в отдельную тему «Примеры использования библиотеки Censure», расположенную в форуме Разное :: PHP (16 Августа 2010, 14:24).