Форум dkLab и Denwer

[Rin]

PHP5 UTF-8 is a UTF-8 aware library of functions mirroring PHP's own string functions.

The powerful solution/contribution for UTF-8 support in your framework/CMS, written on PHP.
This package is advance of sourceforge.net/projects/phputf8 (last updated in 2007).

Project has been moved to code.google.com/p/php5-utf8/

In Russian:

Поддержка UTF-8 в PHP 5.

Преимущества использования этого класса:

1. Совместимость с интерфейсом стандартных PHP функций, работающих с однобайтовыми кодировками
2. Возможность работы без PHP расширений ICONV и MBSTRING, если они есть, то активно используются! Используется наиболее быстрый из доступных методов между MBSTRING, ICONV, родной реализацией на PHP и хаками.
3. Полезные функции, отсутствующие в ICONV и MBSTRING
4. Методы, которые принимают и возвращают строку, умеют принимать и возвращать null. Это удобно при выборках значений из базы данных.
5. Несколько методов умеют обрабатывать массивы рекурсивно: convert_from(), convert_to(), strict(), is_utf8(), blocks_check(), convert_case(), lowercase(), uppercase(), unescape()
6. Проверка у методов входных параметров на допустимые типы через рефлексию (можно отключить)
7. Единый интерфейс и инкапсуляция, можно унаследоваться и переопределить методы
8. Покрытие тестами
9. PHP >= 5.3.x

.
Обзор (code.google.com/p/php5-utf8/wiki/Overview)

Example:

Code (php):	скопировать код в буфер обмена
$s = 'Hello, Привет';   if (UTF8::is_utf8($s)) echo (www.php.net/echo) UTF8::strlen (www.php.net/strlen)($s);

Last edited by Rin on Wed Oct 12, 2011 5:01 pm; edited 86 times in total

[Rin]

Все функции для работы с UTF-8 собраны в один архив.

Last edited by Rin on Mon Aug 03, 2009 10:14 am; edited 1 time in total

[Rin]

Обновление от 2007-07-16.

[Rin]

Обновление от 2007-09-08.

[iceman]

в архиве чето нету файла php2js.php

а в списке указан..

[Rin]

Обновление от 2007-10-12. (+ php2js.php)

[Rin]

Обновление от 2007-10-20. (+ hyphen_words.php)

[Rin]

Обновление от 2007-10-22. (+ utf8_autoconvert_request_charset.php)

[Rin]

Обновление от 2007-11-12.

1. html_template() -- Если имя метки-заменителя начинается с _SERVER или _REQUEST, то применяется htmlspecialchars($string); добавлены методы .intval() и .floatval()
2. utf8_str_limit() -- Если текст содержит HTML код, теперь он НЕ вырезается автоматически

[Guest]

Огромное спасибо! Реально нужные вещи....

[Rin]

Обновление от 2007-11-19.

1. utf8_autoconvert_request_charset() -- добавлена перекодировка массива $_FILES.
   Кстати, побочным положительным эффектом функции является защита от XSS атаки с непечатаемыми символами на уязвимые PHP функции.

[Guest]

Ну ребята....
Да у вас тут кладезь мудростей прям!!!!
Огромное спасибо!!!
Главное идея ;)

[Guest]

Большое спасибо!

[Rin]

Обновление от 2008-02-21.
Из того, что вспомнил:

1. censure() -- новая версия антиматного фильтра (forum.dklab.ru/viewtopic.php?p=136749)
2. cp1251_to_utf8_recursive() -- новая функция
3. html_template() -- теперь пустые таги автоматически не вырезаются
4. hyphen_words() -- добавлена обработка слов со знаком ударения
5. is_utf8() -- добавлен второй параметр $is_strict (строгая проверка диапазона ASCII?)
6. strip_tags_smart() (forum.dklab.ru/viewtopic.php?t=19849) -- корректная обработка внутри тагов <pre></pre>
7. utf8_autoconvert_request_charset() -- добавлен параметр $is_hex2bin (Декодировать HEX-данные типа 0xd09ec2a0d0bad0be?)
8. utf8_check() -- добавлен второй параметр $is_strict (строгая проверка диапазона ASCII?)
9. utf8_strlen() -- оптимизация

Last edited by Rin on Fri Feb 22, 2008 4:02 pm; edited 3 times in total

[Maus]

Rin
Мм, а можно более информативный комментарий?

[eternalko]

Супер!
Только бы комментарии поинформативней (:

[Rin]

Обновление от 2008-04-25

1. html_words_highlight() исправлена ошибка, добавлена оптимизация
2. utf8_convert_case() исправлена ошибка
3. php2js() символ квотирования по умолчанию -- двойная кавычка вместо одинарной (стандарт JSON)
4. strip_tags_smart() Пробелы и переносы строк форматируется по-умолчанию.
   Чтобы исключить форматирование, необходимо установить параметр $is_format_spaces = FALSE.
5. ucs2_to_utf8() Новая функция. Преобразует строку из кодировки UCS-2 в UTF-8, без использования iconv (основной PHP-код -- Юрий Насретдинов)
6. utf8_unescape() Функция может работать без использования библиотеки iconv.

[Shulman Alexandr (Lex)]

спасибо за подборку. хорошая баблиотека

[cevek]

function utf8_strpos($haystack, $needle, $offset = 0){
      # get substring (if isset offset param)
      $offset = ($offset<0) ? 0 : $offset;
      if ($offset>0){
         preg_match('/^.{' . $offset . '}(.*)/us', $haystack, $dummy);
         $haystack = (isset($dummy[1])) ? $dummy[1] : '';
      }

      # get relative pos
      $p = strpos($haystack, $needle);
      if ($haystack=='' or $p===false) return false;
      $r = $offset;
      $i = 0;

      # calc real pos
      while($i<$p){
         if (ord($haystack[$i])<128) {
            # ascii symbol
            $i = $i + 1;
         } else {
            # non-ascii symbol with variable length
            # (handling first byte)
            $bvalue = decbin(ord($haystack[$i]));
            $i = $i + strlen(preg_replace('/^(1+)(.+)$/', '\1', $bvalue));
         }
         $r++;
      }
      return $r;
   }

[Rin]

cevek

Code (php):

скопировать код в буфер обмена

function utf8_strpos($haystack, $needle, $offset = null) {     if ($offset === null or $offset < 0) $offset = 0;     if (function_exists (www.php.net/function_exists)('mb_strpos')) return mb_strpos (www.php.net/mb_strpos)($haystack, $needle, $offset, 'utf-8');     if (function_exists (www.php.net/function_exists)('iconv_strpos')) return iconv_strpos($haystack, $needle, $offset, 'utf-8');     if (! function_exists (www.php.net/function_exists)('utf8_strlen')) include_once 'utf8_strlen.php';     $byte_pos = $offset;     do if (($byte_pos = strpos (www.php.net/strpos)($haystack, $needle, $byte_pos)) === false) return false;     while (($char_pos = utf8_strlen(substr (www.php.net/substr)($haystack, 0, $byte_pos++))) < $offset);     return $char_pos; }

[Rin]

Обновление от 2008-06-05

1. Func.php -- Добавлен класс-загрузчик
2. utf8_strpos() -- Добавлена новая функция
3. censure() -- Добавлено исключение для слова "Hyundai" :)
4. utf8_str_limit() -- Если длина "хвоста", оставшегося после обрезки текста, меньше $tail_min_length, то текст возвращается без изменений
5. strip_tags_smart() -- Улучшена обработка ошибок функций preg_*()
6. html_words_highlight() -- Исправлена ошибка

[Bolzamo]

Жесть вообще!
Архив про UTF-8, а все комментарии на русском языке в кодировке cp1251!
Да и RAR-архиватор для Open Source-подборки - нонсенс! Мне очень понравилась подборка сама по себе, авторы молодцы и очень постарались, но в GNU/Linux мне трудно с ней работать, потому как в редакторе по умолчанию стоит юникод, а добиваться поддержки rar-архивов пришлось скачиванием дополнительного софта.

Взываю к вам! Используйте юникод в комментариях и открытые архиваторы(zip,gz,bz2,7z).

[Rin]

Мне так было удобнее.
А у Вас есть время перевести все комментарии на английский? :)

[БорисК]

utf8_substr($str, 0, 1000) работает 0.011384 секунд
preg_match("/^.{1000}/su", $str, $matches) - 0.000136
mb_substr - 0.000048
substr (неправильно считает длину и обрезает полсимвола) - 0.000008
iconv_substr - 0.057839

[БориК]

/**
 * Функция для быстрого примерного(!) отрезания строки в кодировке utf-8
 * только для 2хбайтной кодировки, но после небольшой доработки будет работать и с 3-4хбайтной
 *
 * substr работает только с однобайтными кодировками, поэтому
 * - неправильно отрезает utf8-строку (в байтах, а не символах)
 * учитывая, что русские символы занимают 2 байта, латинские, пробел, вводимые с клавиатуры спецсимволы - 1 байт,
 * то опытным путем подбирается примерный коэффициент 1.8
 * - последний символ может случайно отрезаться частично. Поэтому проверяем, если его код 11xxxxxx (0xC0) - отрезаем его тоже.
 *
 * Зато работает значительно быстрее любой другой функции отрезания utf-8, даже встроенных!
 * Примерный результат теста на shared-хостинге с PHP5 при $length = 1000 и длине входного текста (статья на русском языке) = 5000 символов:
 * utf8_fast_approx_substr (эта функция) - 0.000018 секунды (+ 0.000020 секунды собственно на вызов этой функции)
 * mb_substr (только при установленном пакете MultiByte) - 0.000048 секунды
 * utf8_fast_substr - 0.000126 секунды (+ 0.000020 секунды собственно на вызов этой функции)
 * utf8_substr - 0.011364 секунды (+ 0.000020 секунды собственно на вызов этой функции)
 * iconv_substr (только при установленном пакете Iconv) - 0.057839 секунды
 *
 * @param string $string входная строка в кодировке utf-8
 * @param int $start начальное смещение
 * Если start неотрицателен, возвращаемая подстрока начинается с позиции start от начала строки, считая от нуля.
 * Например, в строке 'abcdef', в позиции 0 находится символ 'a', в позиции 1 - символ 'b', и т.д.
 * Если start отрицательный, возвращаемая подстрока начинается с start символа с конца строки string.
 * Например, в строке 'abcdef', в позиции -1 находится символ 'f', в позиции -2 - символ 'e', и т.д.
 * Если длина строки string меньше или равна start символов, возвращается FALSE.
 * @param int $length длина
 * Если length положительный, то от start будет отсчитано примерно length символов, а последующие отрезаны.
 * Если length отрицательный, то будет отброшено примерно length символов с конца строки string.
 * Если при этом позиция начала подстроки, определяемая аргументом start, находится в отброшенной части строки, возвращается пустая строка.
 *
 * @return string/boolean
 *
 * @author Boris Korobkov
 * @link www.ajaxforum.ru/
 */
function utf8_fast_approx_substr($string, $start, $length = null)
{
    if (function_exists('mb_substr'))
    {
        /* только при установленном пакете MultiByte. mb_substr хоть и медленней этой функции, но зато точнее */
        return mb_substr($string, $offset, $length, 'utf-8');
    }
    
    $string = substr($string, (int) $start * 1.8, (int) $length * 1.8);
    
    /* если последний байт = полсимвола utf-8, удалить его */
    if (ord(substr($string, -1)) & 0xC0)
    {
        $string = substr($string, 0, -1);
    }
    return $string;

}

/**
 * Функция для быстрого отрезания конца строки в кодировке utf-8
 *
 * Примерный результат теста на shared-хостинге с PHP5 при $length = 1000 и длине входного текста (статья на русском языке) = 5000 символов:
 * utf8_fast_approx_substr - 0.000018 секунды (+ 0.000020 секунды собственно на вызов этой функции)
 * mb_substr (только при установленном пакете MultiByte) - 0.000048 секунды
 * utf8_fast_substr (эта функция) - 0.000126 секунды (+ 0.000020 секунды собственно на вызов этой функции)
 * utf8_substr - 0.011364 секунды (+ 0.000020 секунды собственно на вызов этой функции)
 * iconv_substr (только при установленном пакете Iconv) - 0.057839 секунды
 * *
 * @param string $string входная строка в кодировке utf-8
 * @param int $length длина (положительная)
 *
 * @return string
 *
 * @author Boris Korobkov
 * @link www.ajaxforum.ru/
 */
function utf8_fast_substr($string, $length)
{
    if (function_exists('mb_substr'))
    {
        /* только при установленном пакете MultiByte. mb_substr быстрее этой функции */
        return mb_substr($string, 0, $length, 'utf-8');
    }
    
    $pcre = sprintf("/^.{%s}/su", $length);
    $matches = array (
    );
    if (preg_match($pcre, $string, $matches))
    {
        return $matches[0];
    } else
    {
        return $string;
    }

}

[Rin]

БориК

Насколько я помню, в библиотеке PCRE было ограничение на кол-во повторов в 65535 символов.
Попробуйте отрезать рег. выражением первые 70,000 символов: /^.{70000}/su

Ваша функция не совместима по параметрам с substr() и utf8_substr() из архива.

[БорисК]

Да, есть ограничение на 64К. Да, другие параметры. И что?

[Guest]

<?php
Func::setPath(dirname(__FILE__) . '/func/');

$s = Func::call('html_optimize', $s); # PHP < 5.3.0
$s = Func::html_optimize($s); # PHP >= 5.3.0

Func::load('utf8_str_limit', 'strip_tags_smart');
$s = utf8_str_limit(strip_tags_smart($s), 100, null, $is_cutted);
?>


Вот так делаю, а н функцию главную не может найти. Что делать?

[Стасон]

Пока просто скачал. Попробую, если работает, то огромное спасибо.

[beerman]

прикрутил к drupal'у. работает

[Rin]

Обновление от 2008-10-13

1. hyphen_words() -- добавлена возможность обрабатывать html код
2. censure() -- улучшен алгоритм работы

[Rin]

Обновление от 2008-11-17

1. strip_tags_smart() -- текст форматируется только в том случае, если были вырезаны какие-либо таги.
2. utf8_unescape_request() -- если в HTTP_COOKIE есть параметры с одинаковым именем, то берётся последнее значение, а не первое (так обрабатывается QUERY_STRING).
3. utf8_simple_search_sql -- улучшен поиск целых слов (см. $re_utf8_no_letter_begin), функция может возвращать массив

[Guest]

Благодарствую

[Эдуард83]

function utf8_str_split($str) {
    // place each character of the string into and array
    $split=1;
    $array = array();
    for ( $i=0; $i < strlen( $str ); ){
        $value = ord($str[$i]);
        if($value > 127){
            if($value >= 192 && $value <= 223)
                $split=2;
            elseif($value >= 224 && $value <= 239)
                $split=3;
            elseif($value >= 240 && $value <= 247)
                $split=4;
        }else{
            $split=1;
        }
            $key = NULL;
        for ( $j = 0; $j < $split; $j++, $i++ ) {
            $key .= $str[$i];
        }
        array_push( $array, $key );
    }
    return $array;
}

Работает и в ПХП4
Нашёл в комментах cz.php.net/manual/ru/function.str-split.php#83331

Прошу добавить в сборку

[bæv]

М

Ветка выделена в отдельную тему «base64_decode», расположенную в форуме Разное :: PHP (11 Декабря 2008, 21:18).

[bæv]

М

Ветка выделена в отдельную тему ««Проблемы» с include()», расположенную в форуме Лень сходить в Поиск или почитать документацию (17 Декабря 2008, 01:50).

[Rin]

Обновление от 2008-12-17

1. normal/ -- добавлены скрипты для нормализации UTF-8 из mediawiki.org
2. class Func -- метод Func::setPath() заменён на метод Func::add_include_path()
3. utf8_preg_match_all() -- Новая функция
4. utf8_str_split() -- Новая функция
5. utf8_chunk_split() -- Новая функция
6. php2js() -- Некоторые улучшения в коде
7. utf8_unescape_request() -- Создаёт массив $_POST для нестандартных Content-Type, например, "Content-Type: application/octet-stream". Стандартный PHP 5.2.x создаёт массив только для "Content-Type: application/x-www-form-urlencoded" и "Content-Type: multipart/form-data".

[Rin]

Обновление от 2008-12-22

1. unicode_blocks_check() -- новая функция
2. utf8_chr() -- новая функция
3. utf8_ord() -- новая функция
4. utf16_to_utf8() -- новая функция
5. ucs2_to_utf8() -- функция удалена, вместо неё используется utf16_to_utf8()
6. censure() -- улучшен алгоритм работы (remove unicode combining diactrical marks)
7. оптимизация и улучшения в других функциях, в т.ч. расширение диапазона юникода с UCS-2 до UTF-16!

[Rin]

Обновление от 2008-12-30, рекомендуется обновиться

1. utf8_unescape() -- исправлена ошибка декодирования %uXXXX в UTF-8
2. utf8_escape() -- функция удалена, т.к. формат %uXXXX является устаревшим
3. utf8_unescape_request() -- исправлена ошибка декодирования %uXXXX в UTF-8 (используется utf8_unescape()), оптимизация скорости
4. utf8_substr_replace() -- новая функция
5. utf8_casecmp() -- новая функция
6. utf8_strrev() -- новая функция
7. оптимизация и улучшения в других функциях

[atofigli]

Господа, можно вопрос, почему процедуру конверта из ucs2 заменили utf-16. это одно и то же ?