Форум dkLab и Denwer

Юрий Насретдинов

В этой теме уже достаточно долгое время я выкладываю свои функции для работы с файлами, которых нет в стандартной поставке PHP, и многие из которых написаны с применением рекурсии, которая немного сложна для понимания новичками.

Функции, которые здесь представлены:

1) show_size($f,$format=true,$size=false) - показывает размер папки или файла $f, если $format=true или не указан, то вместо размера в байтах, возвращается строка, содержащая уже отформатированный размер - например не «10253», а «10.01 Kb». Как показывает практика, это более удобно, так как всё равно обычно приходится приводить всё к такому виду. Если указан третий параметр ($size), то функция просто оформляет указанный размер в виде "XX Kb" или "XX Mb", и т.д.

2) display_perms($f) - показывает права файла или папки $f в виде «drwxrwxrwx». ИМХО это наиболее естественное и удобное представление прав файлов и папок.

3) get_owner($file), get_group($file) - показывают соответственно владельца или группу *nix файла или папки $file. В Windows возвращается пустая строка.

4) remove_u($dir) - удаляет файл или папку $dir (папка может и не быть пустой). Постфикс «_u» у функций обозначает «universal» - универсальный, не зависящий от того, папка это или файл, работающий всегда.

5) chmoddir($dir,$mod) - выставляет права $mod папке $dir всем вложенным папкам и файлам

6) copy_u($src,$dest) - копирует папку или файл $src в указанное место $dest. Заметьте, что, естественно, в качестве $dest нужно указывать не папку, в которую нужно скопировать $src, а папку, которая должна в результате этого получиться. То же самое касается и файлов.

7) writefile(), file2string() и dirstats() - читайте описание функций, они не так часто используются, но описание на русском языке.

Извиняюсь за то, что некоторые комментарии на английском языке, что функции, вообще говоря, написаны в разном стиле и т.д... Они все писались в разное время и даже разными людьми, все проверены и отлажены, пользуйтесь наздоровье. Любые комментарии, дополнения и критика крайне приветствуется. Спасибо за внимание.

Code (php):

скопировать код в буфер обмена

/**
* Shows size of $f file or folder like "1023.53 Kb". If $format=false, it returns just filesize in bytes. If $size is not false, the function will just format $size value, but not count the size of directory again.
*
* @param string $f
* @param bool $format
* @return string/int
*/
function show_size($f,$format=true,$size=false)
{
if($format || $size!==false)
{
if($size===false) $size=show_size($f,false);
$p = '';
if($size<=1024) return $p.$size.' bytes';
else if($size<=1048576) return $p.round($size/1024,2).' Kb';
else if($size<=1073741824) return $p.round($size/1048576,2).' Mb';
else if($size<=1099511627776) return $p.round($size/1073741824,2).' Gb';
else if($size<=1125899906842624) return $p.round($size/1099511627776,2).' Tb';
else return $p.round($size/1125899906842624,2).' Pb';
}else
{
if(is_file($f)) return sprintf("%u",filesize($f)); // for files the size of which is more than 2 Gb and less than 4 Gb
$size=0;
$dh=opendir($f);
while(($file=readdir($dh))!==false)
{
if($file=='.' || $file=='..') continue;

if(is_file($f.'/'.$file)) $size+=sprintf("%u",filesize($f.'/'.$file));
else $size+=show_size($f.'/'.$file,false);
}
closedir($dh);
return $size+filesize($f); // +filesize($f) for *nix directories
}
}

/**
* Function grabbed from PhpRemoteView and was a bit improved. Returns string, file permissions like -rwxr-xrw-
* Example of usage: display_perms("file")
*
* @param string $f
* @return string
*/
function display_perms($f)
{
// global $_SERVER;
// if ($_SERVER['COMSPEC']) return "Windows-система";
/* Determine Type */
$mode=fileperms($f);

if( $mode & 0x1000 )
$type='p'; /* FIFO pipe */
else if( $mode & 0x2000 )
$type='c'; /* Character special */
else if( $mode & 0x4000 )
$type='d'; /* Directory */
else if( $mode & 0x6000 )
$type='b'; /* Block special */
else if( $mode & 0x8000 )
$type='-'; /* Regular */
else if( $mode & 0xA000 )
$type='l'; /* Symbolic Link */
else if( $mode & 0xC000 )
$type='s'; /* Socket */
else
$type='u'; /* UNKNOWN */

/* Determine permissions */
$owner["read"] = ($mode & 00400) ? 'r' : '-';
$owner["write"] = ($mode & 00200) ? 'w' : '-';
$owner["execute"] = ($mode & 00100) ? 'x' : '-';
$group["read"] = ($mode & 00040) ? 'r' : '-';
$group["write"] = ($mode & 00020) ? 'w' : '-';
$group["execute"] = ($mode & 00010) ? 'x' : '-';
$world["read"] = ($mode & 00004) ? 'r' : '-';
$world["write"] = ($mode & 00002) ? 'w' : '-';
$world["execute"] = ($mode & 00001) ? 'x' : '-';

/* Adjust for SUID, SGID and sticky bit */
if( $mode & 0x800 )
$owner["execute"] = ($owner['execute']=='x') ? 's' : 'S';
if( $mode & 0x400 )
$group["execute"] = ($group['execute']=='x') ? 's' : 'S';
if( $mode & 0x200 )
$world["execute"] = ($world['execute']=='x') ? 't' : 'T';

$s=sprintf("%1s", $type);
$s.=sprintf("%1s%1s%1s", $owner['read'], $owner['write'], $owner['execute']);
$s.=sprintf("%1s%1s%1s", $group['read'], $group['write'], $group['execute']);
$s.=sprintf("%1s%1s%1s", $world['read'], $world['write'], $world['execute']);
return trim($s);
}

/**
* Gets owner of $file. Returns empty string on failure.
*
* @param string $file
* @return string
*/
function get_owner($file)
{
if(function_exists('fileowner') && function_exists('posix_getpwuid'))
{
@$tmp=posix_getpwuid(fileowner($file));
return $tmp['name'];
}
return '';
}

/**
* Gets group, which the $file owner belongs to. Returns empty string on failure.
*
* @param string $file
* @return string
*/
function get_group($file)
{
if(function_exists('filegroup') && function_exists('posix_getgrgid'))
{
@$tmp=posix_getgrgid(filegroup($file));
return $tmp['name'];
}
return '';
}

/**
* Function removes $dir directory, or $dir file.
*
* @param string $dir
* @return bool
*/
function remove_u($dir)
{
if(is_file($dir)) return unlink($dir);

$dh=opendir($dir);
while(false!==($file=readdir($dh)))
{
if($file=='.'||$file=='..') continue;
remove_u($dir."/".$file);
}
closedir($dh);

return rmdir($dir);
}

# chmoddir ( string dir, int mod )
# dir - папка, права которой нужно сменить (желательно абсолютный путь)
#
# комментарий - функция меняет права всем вложенным папкам и файлам внутри папки
#
# возвращает true в случае удачи и false, если сменить права папке не удалось
function chmoddir($dir, $mod)
{
$dh=opendir($dir);
while (false!==($file=readdir($dh)))
{
if($file!="." && $file!="..")
{
$fullpath=$dir."/".$file;
if(!is_dir($fullpath))
{
if (!@chmod($fullpath, $mod)) exec('chmod '.$mod.' '.$fullpath);
}else
{
chmoddir($fullpath, $mod);
}
}
}
closedir($dh);
if(!@chmod($dir, $mod) || exec('chmod '.$mod.' '.$dir))
{
return true;
}else
{
return false;
}
}

/**
* Copy not only files, but folders too. See copy() description for details
*
* @param string $src
* @param string $dest
* @return bool
*/
function copy_u($src,$dest)
{
if(!file_exists($src)) return false;
if(is_file($src)) return copy($src,$dest);

$src=realpath($src).'/';
$dest=realpath($dest).'/';
if(substr($dest,0,strlen($src))==$src) return false;

$error=false;

if(!mkdir($dest,0777)) $error=true;

$dh=opendir($src);
while(false!==($f=readdir($dh)))
{
if($f=='.' || $f=='..') continue;
if(!copy_u($src.'/'.$f,$dest.'/'.$f)) $error=true;
}
closedir($dh);

return !$error;
}

# writefile ( string file, string content )
# file - файл, который нужно переписать
# content - содежимое файла
#
# возвращает true в случае удачи и false в случае, когда файл не может быть переписан

function writefile($file, $content)
{
if(is_readable($file) && is_writable($file))
{
$f=fopen($file,"wb+"); //обязательно wb , просто w портит бинарные файлы
fputs($f,$content);
fclose($f);
return true;
}else
{
return false;
}
}

# file2string ( string file )
# file - файл, содержимое которого нужно получить
#
# возвращает содержимое файла в случае удачи, и false в противном случае

function file2string($file)
{
global $filecontent;
if(file_exists($file) && is_readable($file))
{
$f=fopen($file,"rb");
$filecontent=fread($f,filesize($file));
fclose($f);
return $filecontent;
}else
{
return false;
}
}

# mkfile ( string name [, int mod] )
# name - имя создаваемого файла
# [mod] - (необязательный параметр) права файла после создания
#
# возвращает true в случае удачи и false, когда файл создать не удалось

function mkfile($name, $chmod=0777)
{
$f=fopen($name,"w");
fwrite ($f,"",0);
@chmod($f, $chmod);
fclose($f);
if(file_exists($name))
{
return true;
}else
{
return false;
}
}

# dirstats ( string dir )
# dir - папка, статистику которой нужно получить
#
# возвращает массив из трех элементов:
# files - количество файлов
# dirs - количество папок
# size - общий размер папки

function dirstats($dir, $stats=array('files'=>0,'dirs'=>0,'size'=>0))
{
$dirst=0;
$filez=0;
$size=0;
settype($stats['files'], "integer");
settype($stats['dirs'], "integer");
settype($stats['size'], "integer");
$realpath=realpath($dir);
if(!$dh=opendir($dir)) return array('files'=>0,'dirs'=>0,'size'=>0);
while (false!==($file=readdir($dh)))
{
if($file!="." && $file!="..")
{
$fullpath=$realpath."/".$file;
if(is_dir($fullpath))
{
$dirst++;
$dirs[]=$fullpath;
}else
{
$filez++;
$size+=filesize($fullpath);
}
}
}
closedir($dh);

if(isset($dirs))
{
foreach($dirs as $key=>$value)
{
$stats2=dirstats($value, $stats);
$dirst+=$stats2['dirs'];
$filez+=$stats2['files'];
$size+=$stats2['size'];
}
}
$filez+=$stats['files'];
$dirst+=$stats['dirs'];
$size+=$stats['size'];
return array('files'=>$filez,'dirs'=>$dirst,'size'=>$size,);
}

function safe_mkdir($dir,$chmod=0777)
{
umask(0);
mkdir($dir,$chmod);
chmod($dir,$chmod);
}

Last edited by Юрий Насретдинов on Sat May 12, 2007 1:58 am; edited 16 times in total

Guest · Карма: 377 поощрить/наказать

Code (php):

скопировать код в буфер обмена

function upload()
{
for ($i=0;$i<СЧЕТЧИК КОЛ-ВА ФАЙЛОВ;$i++)
{
$path = "КУДА КАЧАТЬ (ПУТЬ)";
if (!empty($_FILES['userfile']['tmp_name'][$i]))
{
move_uploaded_file($_FILES['userfile']['tmp_name'][$i], $path.$_FILES['userfile']['name'][$i]);
$filename = $_FILES['userfile']['name'][$i];
$filesize = $_FILES['userfile']['size'][$i];
chmod ("КУДА КАЧАТЬ (ПУТЬ)".$filename."", 0644);
}
}
return true;
};

WingedFox

И еще немного файловых функций.
Будут доступны и в шаблонизаторе.

Code (php):

скопировать код в буфер обмена

// ищет файл.
// рекурсивно обходит каталоги, начиная с $basedir и возвращает реальный путь к файлу,
// или false, если ничего не найдено.
// ! возвращает путь к первому найденному файлу !
function getfname ($fname,$basedir="/") {
$res = false;
$dr = $_SERVER['DOCUMENT_ROOT'];
$f = $dr.$basedir.$fname;
if (file_exists($f) && is_file($f)) return $f;
if ($dir = opendir($dr.$basedir)) {
while (false !== ($entry = readdir($dir))) {
if ($entry != "." && $entry != ".." && is_dir($dr.$basedir."/".$entry)) {
$res = getfname ($fname, $basedir.$entry."/");
}
if ($res) break;
}
closedir($dir);
}
return $res;
}

// Удаляет каталог, все подкаталоги и файлы.
// пути считаются от корня сайта.
function removedir($dir) {
$dr = $_SERVER['DOCUMENT_ROOT']."/";
$dh = opendir($dr.$dir);
while (false !== ($file = readdir($dh))) {
if ($file != "." && $file != "..") {
$fullpath = $dr.$dir."/".$file;
if (!is_dir($fullpath)) {
unlink($fullpath);
}else{
removedir($dir."/".$file);
}
}
}
closedir($dh);
return rmdir($dr.$dir);
}

// перемещает файлы из $s в $d, на перемещаемые
// директории устанавливаются права $m
// все директории создаются относительно корня сайта.
function move($s,$d,$m=0777){
$dr = $_SERVER['DOCUMENT_ROOT']."/";
makedir ($d,$m);
$dh = opendir($dr.$s);
while (false !== ($file = @readdir($dh))) {
if ($file != "." && $file != "..") {
$fullpath = $dr.$s."/".$file;
if (!is_dir($fullpath)) {
copy($fullpath,$dr.$d."/".$file);
}else{
move($s."/".$file,$d."/".$file);
}
}
}
closedir($dh);
removedir($s);
}

// создает директорию и все предшествующие директории.
// на все создаваемые директории устанавливаются права $m
// директории создаются начиная с корня сайта.
function makedir ($d,$m=0777){
$dr = $_SERVER['DOCUMENT_ROOT'];
$dir = explode ("/",$d);
$d = "/".$dir[0];
for ($i=1;$i<count($dir);$i++) {
$d .= "/".$dir[$i];
if (!file_exists($dr.$d)) {
mkdir ($dr.$d,$m);
@chmod ($dr.$d,$m);
}
}
}

// создает файл и все предшествующие ему директории.
// устанавливает всем права $m
function mkfile ($f,$m=0777) {
$dr = $_SERVER['DOCUMENT_ROOT']."/";
makedir (dirname($f),$m);
$p = fopen ($dr.$f,"a");
fwrite ($p,"");
fclose ($p);
@chmod ($dr.$f,$m);
}

Юрий Насретдинов · Posted: Wed Jul 30, 2003 5:57 pm (спустя 12 минут) Post subject:

WingedFox:
По-моему половина этих же функций написана вверху. У меня галлюцинации ?

WingedFox · Posted: Wed Jul 30, 2003 6:01 pm (спустя 3 минуты) Post subject:

yUAC:
Только одна, да и то работающая немного по другому.
Ладно, полторы.

Юрий Насретдинов · Posted: Wed Jul 30, 2003 6:44 pm (спустя 43 минуты) Post subject:

WingedFox:
Полторы !?!?! Функция removedir и mkfile !!! В общем-то неважно, что mkfile создает и директории (хотя не должен), которые появляются "на пути" к этому файлу, и что removedir удаляет все файлы и папки относительно "корня сайта".

WingedFox · Posted: Wed Jul 30, 2003 6:58 pm (спустя 13 минут) Post subject:

yUAC:
Но это и не половина %)
И функциональность отличается...
Предлагаю дать людЯм самим решить, какие функции они будут использовать.

Юрий Насретдинов · Posted: Wed Jul 30, 2003 7:34 pm (спустя 36 минут) Post subject:

WingedFox:
Все равно ими пользуется оооочень мало народу...

WingedFox · Posted: Wed Jul 30, 2003 8:03 pm (спустя 28 минут) Post subject:

Ими пользуются те, кто любит экономить свое время =)
Сейчас вовсю пользуюсь getfname() - тормозов нет вообще, а удобства - море.
Уже даже не вспоминаю про запрещение некоторых хостеров на работу с относительными путями, на работу сайта в подкаталоге... 8*)

Юрий Насретдинов

WingedFox:
Как это ни странно, но я относительные пути вообще не использую. Только абсолютные. Так надежнее, если скрипт работает из другой папки.

WingedFox · Posted: Wed Jul 30, 2003 10:37 pm (спустя 25 минут) Post subject:

yUAC:
Я теперь - тоже =)

Юрий Насретдинов · Posted: Wed Jul 30, 2003 10:56 pm (спустя 18 минут) Post subject:

WingedFox:
=)

Евгений Бондарев

Хм...
Такое впечатление, что никто не слышал профункцию realpath()

Юрий Насретдинов

Евгений Бондарев:
Да что Вы говорите !!! Я еще слышал от Дмитрия Котерова про функцию dirname() - кстати говоря лучше даже, чем realpath, как оказалось ;). Я использую абсолютные пути, но эти пути не привязаны жестко, это "относительные абсолютные пути" - можно так сказать.

WingedFox · Posted: Thu Jul 31, 2003 12:21 pm (спустя 28 минут) Post subject:

Евгений Бондарев:
Абсолютно согласен с предыдущим оратором :)
А этот самый realpath() не поможет уже даже при простом переносе файла в другой каталог :)

Евгений Бондарев · Posted: Thu Jul 31, 2003 1:18 pm (спустя 57 минут) Post subject:

WingedFox:
Да? А мне очень даже помогает ;-)

Юрий Насретдинов · Posted: Thu Jul 31, 2003 1:31 pm (спустя 12 минут) Post subject:

Евгений Бондарев:
realpath - хорошо, действительно помогает, но все равно не всегда. dirname лучше. Когда include файла делаешь, который находится в другой директории, а тот инклюдит другой файл... Ну и короче говоря во всей этой путанице dirname(__FILE__) очень даже помогает.

Евгений Бондарев · Posted: Thu Jul 31, 2003 1:36 pm (спустя 5 минут) Post subject:

yUAC:
Это понятно и хорошо, когда пивязываешься к какому-нть файлу. А если привязываешься к относительной директории?

Юрий Насретдинов · Posted: Thu Jul 31, 2003 1:45 pm (спустя 9 минут) Post subject:

Евгений Бондарев:
Ну, все правильно. Ведь директория обычно "." ? А dirname(__FILE__) выдает то же самое, что и realpath("."), но realpath не учитывает, что этот файл может быть заинклюден из другой папки, и "." - это адрес не той папки, в которой находится скрипт, которого инклюдили, а той, в которой находится скрипт, который инклюдил. А dirname(__FILE__) всегда выдает правильный путь. В общем, наверное мы говорим о разных вещах.

Евгений Бондарев

yUAC:
Нет. Как раз обычно директория "..", а еще чаще бывает, что или "." или ".." и это передается параметром

Юрий Насретдинов

Добавлена функция копирования директории

[offtopic] предлагаю почистить тему от оффтопика

MonaHS · Guest Карма: 377 поощрить/наказать

Хотелось бы увидеть какой-нибудь скрипт, выводящий полное дерево каталогов (включая файлы) сайта. Я думаю, что он пригодится для создания "карты сайта". Самому в лень с этим заниматся, а вот если вы начнете давать идеи... Может что-нибудь решим.
Заранее благодарен.

WingedFox

http://ru.php.net/manual/ru/function.glob.php
Мануал - страшная сила.

ГМ

MonaHS wrote:

Хотелось бы увидеть какой-нибудь скрипт, выводящий полное дерево каталогов (включая файлы) сайта. Я думаю, что он пригодится для создания "карты сайта". Самому в лень с этим заниматся, а вот если вы начнете давать идеи... Может что-нибудь решим.
Заранее благодарен.

Читай книгу Дмитрия Котерова.
Я на основе примера из этой книги создал карту сайта (ну естественно с дополнениями, там можно создавать, редактировать, удалять, переименовывать каталоги и файлы. В общем позволяет работать с содержимым сайта через браузер при отсутствии доступа по FTP. Но начал-то я её делать полностью переписав пример из книги. Сейчас даже страницу скажу: глава 16, страница 271, так и называется "Пример:печать дкерева каталогов"

Дмитрий Эсс

MonaHS:
см. Исходники из моей книги.

WingedFox

Обновление chmoddir.
Иногда, chmod() не срабатывает. Приходится использовать exec.

Code (php):

скопировать код в буфер обмена

# chmoddir ( string dir, int mod )
# dir - папка, права которой нужно сменить (желательно абсолютный путь)
#
# комментарий - функция меняет права всем вложенным папкам и файлам внутри папки
#
# возвращает true в случае удачи и false, если сменить права папке не удалось
function chmoddir($dir, $mod)
{
$dh=opendir($dir);
while ($file=readdir($dh))
{
if($file!="." && $file!="..")
{
$fullpath=$dir."/".$file;
if(!is_dir($fullpath))
{
if (!@chmod($fullpath, $mod)) exec('chmod '.$mod.' '.$fullpath);
}else
{
chmoddir($fullpath, $mod);
}
}
}
closedir($dh);
if(!@chmod($dir, $mod) || exec('chmod '.$mod.' '.$dir))
{
return true;
}else
{
return false;
}
}

Last edited by WingedFox on Tue Mar 07, 2006 11:19 pm; edited 1 time in total

Юрий Насретдинов

WingedFox wrote:

if (!@chmod($dir, $mod))

Эээ, вместо $dir наверное $fullpath...?

WingedFox wrote:

if(!@chmod($dir, $mod) || exec('chmod '.$mod.' '.$fullpath))

А тут на последнем месте вместо $fullpath надо $dir...

WingedFox

Юpий Насрeтдинов
Истинно так. Спасибо 8*)

Юрий Насретдинов

Немного обновил описание и сами функции.

Kirk · Guest Карма: 377 поощрить/наказать

Fatal error: Call to undefined function: safe_mkdir(). У меня что-то в ПХП нету такой функции. Может Вы ее забыли написать?

Юрий Насретдинов

Kirk
Да, и вправду забыл :).

Вот она:

Code (php):	скопировать код в буфер обмена
function safe_mkdir($dir,$chmod=0777) { @mkdir($dir,$chmod); @chmod($dir,$chmod); }

Юрий Насретдинов

Конструкция в одну строчку, которая возвращает права файла (в восьмеричном виде):

Code (php):	скопировать код в буфер обмена
substr(decoct(fileperms($f)), -3) //пример: $f = __FILE__; echo 'file '.$f.' has rights: 0'.substr(decoct(fileperms($f)), -3);

Юрий Насретдинов

Ну и короткий аналог display_perms, взятой из PhpRemoteView:

Code (php):

скопировать код в буфер обмена

/* get permissions of file $f. If $oct is set to false,
it will return the string like "drwxrwxrwx"
instead of returning something like 777
*/
function get_rights($file, $oct=true, $p=false)
{
static $s='rwxrwxrwx',$t='upcudubu-ulusuwu';

if(!$p) $p=fileperms($file);
if(!$oct)
{
$m=sprintf('%09b',$p&511);
for($i=0;$i<9;$i++)$m[$i]=$m[$i]=='0'?'-':$s[$i];

return $t[($p&61440)>>12].$m;
}else
{
return sprintf("%03d",decoct($p&511));
}
}

Интересно, сможет ли кто-нибудь написать эту функцию ещё короче :)?

UPD: К сожалению, пришлось сделать функцию немного длиннее, т.к. она некорректно обрабатывала права вроде 077 -- она забывала про ведущие нули.

Last edited by Юрий Насретдинов on Sun Dec 09, 2007 11:11 pm; edited 1 time in total

Guest · Карма: 377 поощрить/наказать

Хм...
Такое впечатление, что никто не слышал профункцию file_get_contents()
:^)

Юрий Насретдинов

Юpий Насрeтдинов wrote:

18 Марта 2003

Кажется, тогда был только PHP 4.2, в котором функции file_get_contents не присутствовало. К тому же, file_get_contents() на больших объёмах(вроде 30 Мб) валится. По крайней мере, валился.

Юрий Насретдинов

Функции для копирования файлов в несколько приёмов (без проверки на копирование директории внутрь себя):

Code (php):

скопировать код в буфер обмена

<?
define('MAX_COPY_TIME',7); // how many seconds the files can be copied
$__copy_cache = array('dirs' => array( /* 0 => array(from, to, offset) */), 'files' => array());

/* $fromlist - list with absolute paths of files and folders you want to copy.
$tolist - list of files you want to get after copying */
function advanced_copy_start($fromlist, $tolist)
{
global $__copy_cache;
foreach($fromlist as $k=>$v)
{
$__copy_cache[is_dir($v) ? 'dirs' : 'files'][] = array($v, $tolist[$k], 0);
}
return true;
}

/* gets cache if $cache is not set
returns cache otherwise */

function advanced_copy_cache($cache = false)
{
if($cache === false) return $GLOBALS['__copy_cache'];
else $GLOBALS['__copy_cache'] = $cache;
}

function have_time_to_copy()
{
return (array_sum(explode(' ',microtime())) - START_TIME) < MAX_COPY_TIME;
}

/* continue copy process. returns number of bytes copied
0 bytes copied means end of copy process
*/

function advanced_copy_cont()
{
global $__copy_cache;

$bytes = 0;

while(sizeof($__copy_cache['files']) > 0 || sizeof($__copy_cache['dirs']) > 0)
{
while(sizeof($__copy_cache['files']) > 0)
{
$f = array_pop($__copy_cache['files']);

//array_display($f);

//echo 'copying '.$f[0].' to '.$f[1].' ... ';
//flush();

if(!$from = fopen($f[0], 'rb')) continue;
if(!$to = fopen($f[1], 'ab')) { fclose($from); continue; }

fseek($from, $f[2]);

while(!feof($from))
{
if(have_time_to_copy())
{
$buf = fread($from, 4096);
fputs($to, $buf);
$bytes += strlen($buf);
}else
{
$f[2] = ftell($from);
$__copy_cache['files'][] = $f; /* return the last copied file to cache */

fclose($from);
fclose($to);

return $bytes;
}
}

fclose($from);
fclose($to);
}

if(sizeof($__copy_cache['dirs']) > 0)
{
$dir = array_shift($__copy_cache['dirs']);
//array_display($dir);

$res = d_filelist_fast($dir[0]);

if(!$res) continue; /* we will just skip anything we cannot copy... it's good behavour, by the way */
if(!file_exists($dir[1]) && !mkdir($dir[1],0777)) continue;

//array_display($res);

foreach($res['files'] as $k=>$v)
{
$__copy_cache['files'][] = array($v, $dir[1].'/'.basename($v), 0);
}

foreach($res['dirs'] as $k=>$v)
{
$__copy_cache['dirs'][] = array($v, $dir[1].'/'.basename($v), 0);
}
}
}

return $bytes;
}

/* Dolphin.php function, which is used with these functions */

function d_filelist_fast($dir)
{
if(!(@$dh=opendir($dir))) return false;

if($dh)
{
$dirs = $files = $fsizes = array();
/* chdir($dir); */

while(false!==(@$file=readdir($dh)))
{
if($file=='.' || $file=='..') continue;
if(is_dir($dir.'/'.$file)) $dirs[]=$dir.'/'.$file;
else $files[]=$dir.'/'.$file;
$fsizes[$dir.'/'.$file] = filesize($dir.'/'.$file);
}

closedir($dh);
}

return array('dirs'=>$dirs,'files'=>$files,'fsizes'=>$fsizes);
}
?>

пример (копирование большого файла storm-in-the-glass.2.avi, находящегося в папке d:/films):

Code (php):

скопировать код в буфер обмена

<?
session_start();
include('advanced_copy.php');

if(@$_REQUEST['act']=='clean') $_SESSION['cache'] = false;

echo ''; flush();

chdir('d:/films');

if(empty($_SESSION['cache']))
{
advanced_copy_start(array('storm-in-the-glass.2.avi'), array('storm.avi'));
}else
{
advanced_copy_cache($_SESSION['cache']);
}

echo '<h2>'.show_size(null, true, advanced_copy_cont()).' copied. Press F5 to continue copy</h2>';

$_SESSION['cache'] = advanced_copy_cache();
?>

Last edited by Юрий Насретдинов on Thu Dec 13, 2007 9:08 pm; edited 1 time in total

Юрий Насретдинов

Если Вам нужно в своей админ-панели (или где-то ещё) отображать сортированный список файлов, можно воспользоваться следующей функцией, которая способна отдавать список файлов (с разделением на страницы) за очень короткое время. На сервере с моим файловым менеджером открытие папки с 50000 файлов занимает всего-лишь 0.7 сек (для сравнения, PhpRemoteView и другим требуется то же время для открытия папки с 1000 файлов). Функция поддерживает сортировку по любым доступным полям stat(), а также по имени файла и по его правам.

Если используется сортировка по любому полю, кроме имени, работа существенно замедляется из-за необходимости вызвать stat() для каждого файла в директории. Такая поддержка всё равно присутствует, причём реализация сортировки также в несколько раз производительнее аналогов. Новичкам функция может быть полезна в плане обучения использованию array_multisort() :).

Code (php):

скопировать код в буфер обмена

/*

extremely fast (on huge directories) and customizable sorted filelist :)

$dir -- directory from which to get filelist
$params -- array with optional parameters (see beginning of function for details)

RETURN: array(

'pages' => array(
$pagemin => array(
'files' => array('field1' => $list1, ..., 'fieldN' => $listN),
'dirs' => ... (array of the same format)
),

... (the intermediate pages)

$pagemax => array(
'files' => ...,
'dirs' => ...
)
),

'pages_num' => ...,
'items_num' => ...
)

where

field1, ..., fieldN -- requested fields (default 'name' and 'size')
$list1, ..., $listN -- a list of values (array('value1', 'value2', ...,'valueN')),

$pagemin and $pagemax -- the page numbers of the specified range (default 1)
pages_num -- filtered number of pages (returns 1 if you do not ask not to split to pages)
items_num -- filtered number of files + total number of folders

EXAMPLE:

$res = d_filelist_exteme('/home/yourock');
print_r($res);

this will result in:

Array
(
[pages] => Array
(
[1] => Array
(
[files] => Array
(
[name] => Array (
[0] => file1
[1] => file3
[2] => file20
)

[size] => Array (
[0] => 1000
[1] => 2000
[2] => 300000
)
)

[dirs] => Array
(
[name] => Array (
[0] => dir1
)

[size] => Array (
[0] => 512
)
)
)
)

[pages_num] => 1

[items_num] => 4
)

*/

function d_filelist_extreme($dir, $params=array())
{
/* set defaults: $key = ''; is equal to default value for $params['key'] */

$fields = array('name', 'size'); // name, chmod or any field of stat(): (size, mtime, uid, gid, ...)

$filt=''; // filename filter
$sort='name'; // what field to sort (see $fields)
$order='asc'; // sorting order: "asc" (ascending) or "desc" (descending)

$fast=true; // use some optimizations (e.g. can allow to get some range from a filelist of 5000 files in 0.1 sec)
$maxit=200; // how many items is enough to enable optimization?

$split=true; // split result to pages and return only results for pages from $pagemin to $pagemax (including both)
$pagemin=1;
$pagemax=1; // see description for $split
$perpage=30; // how many files per page

/* read parameters, overwriting default values */
extract($params,EXTR_OVERWRITE);

if($sort!='name')
{
/*return d_error('Not supported yet');*/
$fast = false;

if(array_search('mode', $fields) === false) $fields[] = 'mode';
}
if($pagemax < $pagemin) $pagemax = $pagemin;
if(array_search($sort, $fields)===false) $fields[] = $sort;
if($order != 'asc') $order = 'desc';
$filt = strtolower($filt);

/* check required fields */
$st = stat(__FILE__);

foreach($fields as $k=>$v)
{
if($v == 'name' || $v=='chmod') continue;
if(!isset($st[$v]))
{
$keys = array_filter(array_keys($st), 'is_string');
return d_error('Unknown field: '.$v.'. Use the following: name, chmod, '.implode(', ', $keys));
}
}

if(!@$dh = opendir($dir))
{
return d_error('Directory not readable');
}

$it = array(); /* items */
if(!$filt)
{
while(false!==(@$f=readdir($dh)))
{
if($f=='.' || $f=='..') continue;
$it[] = $f;
}
}else
{
while(false!==(@$f=readdir($dh)))
{
if($f=='.' || $f=='..') continue;
if(strpos(strtolower($f),$filt)!==false) $it[] = $f;
}
}
closedir($dh);

if(!$split) $perpage = sizeof($it);

$old_dir = getcwd();
chdir($dir);

$l = sizeof($it);
if($l < $maxit) $fast = false;

/* $fast means do not sort "folders first" */

if($fast) /* $sort = 'name' and $split = true */
{
sort($it);
if($order=='desc') $it = array_reverse($it);
}else
{
$dirs = $files = array();

if($sort=='name')
{
for($i = 0; $i < $l; $i++)
{
if(is_dir($it[$i])) $dirs[] = $it[$i];
else $files[] = $it[$i];
}

sort($dirs);
sort($files);

$it = array_merge($dirs, $files);

if($order == 'desc') $it = array_reverse($it);
}
}

/* array_display($it); */

$res = array('pages_num' => ceil($l / $perpage), 'items_num' => $l);
$all = $pages = array();

$cd = $cf = $ci = ''; /* Code for Directories, Code for Files and Code for Items */
foreach($fields as $v)
{
$t = '[\''.$v.'\'][] = ';

if ($v == 'name') $t .= '$n';
else if ($v == 'chmod') $t .= 'decoct($s[\'mode\'] & 0777)';
else $t .= '$s[\''.$v.'\']';

if($sort == 'name')
{
$cd .= '$pages[$page][\'dirs\']'.$t.";\n";
$cf .= '$pages[$page][\'files\']'.$t.";\n";
}else
{
$ci .= '$all'.$t.";\n";
}
}

/* we cannot optimize sorting, if sorted field is not name:
we will have to call expensive stat() for every file, not only
$perpage files.
*/

if($sort == 'name')
{
eval('
for($i = 0; $i < '.$l.'; $i++)
{
$page = floor($i / '.$perpage.') + 1;
if( $page < '.$pagemin.' || $page > '.$pagemax.' ) continue;

$n = $it[$i];
$s = stat($n);

// is a directory?
if(($s[\'mode\'] & 0x4000) == 0x4000)
{
'.$cd.'
}else
{
'.$cf.'
}
}
');
}

if($sort!='name')
{
eval('
for($i = 0; $i < '.$l.'; $i++)
{
$n = $it[$i];
$s = stat($n);
'.$ci.'
}
');

$code = 'array_multisort($all[\''.$sort.'\'], SORT_NUMERIC, SORT_'.strtoupper($order);

foreach($fields as $v)
{
if($v != $sort) $code .= ', $all[\''.$v.'\']';
}

$code .= ');';

/* code is evalled to prevent games with links to arrays */

eval($code);

$pages = array();

$cf = $cd = '';

foreach($fields as $k => $v)
{
$cf .= '$pages[$page][\'files\'][\''.$v.'\'][] = $all[\''.$v.'\'][$i];';
$cd .= '$pages[$page][\'dirs\'][\''.$v.'\'][] = $all[\''.$v.'\'][$i];';
}

eval('
for($i = 0; $i < $l; $i++)
{
$page = floor($i / '.$perpage.') + 1;
if( $page < '.$pagemin.' || $page > '.$pagemax.' ) continue;

if(($all[\'mode\'][$i] & 0x4000) == 0x4000)
{
'.$cd.'
}else
{
'.$cf.'
}
}
');
}

if($res) $res['pages'] = $pages;

chdir($old_dir);

return $res;
}

// the function to log errors. If $error_text is set to 'all', the function returns an array of all error messages.
// If $error_text is not set, the function returns the last error message. if $error_text==NODEBUG, the name of function will be removed if it was present (in the beginning)
// Else it logs the error message and returns false.
//
// example of usage: if(false) return d_error('You have set "false" in "if" condition');
define('NODEBUG',1);
function d_error($error_text = 0)
{
static $errors = array();

if($error_text === NODEBUG && !function_exists('debug_backtrace')) $error_text = 0;

if($error_text === 'all') return $errors;
if($error_text === 0) return (sizeof($errors)>0 ? $errors[sizeof($errors)-1] : '');
if($error_text === NODEBUG)
{
if(sizeof($errors)==0) return '';
$p = explode(' ', $errors[sizeof($errors)-1],2);
return $p[1];
}

if(function_exists('debug_backtrace'))
{
$tr = debug_backtrace();
$error_text = '['.$tr[1]['function'].'] '.$error_text;
}

$errors[]=$error_text;
return false;
}

Функция возвращает булевый FALSE в случае ошибки. Узнать причину ошибки можно, вызвав d_error() без параметров, причём d_error() прилагается :).

Юрий Насретдинов

К вопросу о том, зачем такая функция нужна, отвечу: очень приятно, когда все папки открываются без задержек, даже если количество файлов в папке огромно и достигает нескольких тысяч (большинство файловых менеджеров, даже не web-based, начинают ощутимо тормозить на таких объёмах).

Юрий Насретдинов

Интересно, неужели я сам все эти 15000 просмотров набил :)? Господа, скажите, хоть кто-нибудь из этих 15000 просмотревших обратил внимание на семество функций advanced_copy_*() и на новую d_filelist_extreme()?

Юрий Насретдинов

Используем возможности PHP и JavaScript ещё более полно:

Семейство функций multipart_*() -- продолжение идей, которые были заложены в функции advanced_copy_*() -- копированию файлов в несколько приёмов.

Функции multipart_*() позволяют делать вообще любые операции с файлами, которые Вам нужны, в несколько приёмов с сохранением промежуточного состояния. Это может понадобиться, если вы хотите посчитать объём какой-нибудь огромной папки, скопировать большой массив файлов, или даже удалить большую папку. Юзвери -- существа нетерпеливые, поэтому если состояние операции не будет показываться, то они вряд ли будут от этого сильно счастливы.

Код функций (с описанием):

Code (php):

скопировать код в буфер обмена

<?
define('MAX_MULTIPART_TIME', 4); /* how many seconds can operations be run */

function have_time()
{
static $start = false;
if($start === false) $start = time();

return (time()-$start) < MAX_MULTIPART_TIME;
}

/*
* function, that begins multipart operation
*
* PARAMS: array $params
*
* array $params -- see possible keys in the beginning of function
*
* RETURN:
*
* array $cache -- an array (you should not know it's structure) with data
* for multipart_cont()
*/

function multipart_begin($params)
{
$files = array(); // initial array of files & folders to process
$data = array(); // any information your functions may need to run
$basedir = isset($_SESSION['DIR']) ? $_SESSION['DIR'] : getcwd();

/* $processors is array of function names to process file
* ($filename -- name of file or directory):

begin($filename, $data)

'begin' is name of function to start processing file.
function must return FALSE on failure and $resumedata array for cont() or
TRUE if you will not use cont(), with cont() being a continue function
described below.

the next two are not obligatory:

cont($filename, $data, $resumedata):

function that continues the processing (should not work too long),
it should return TRUE on successfull finish, FALSE on error and
$resumedata array for temporary information, which is saved between
multipart_cont() calls. If function does not need resume data, please
return empty array instead of something else (because of strict
comparison with bool TRUE and FALSE in multipart_cont() ).

stop($filename, $data, $successful):

function to be executed on successful (or not) end of operation
*/

$processors = array('begin','cont','stop');

/*

$dircall:
when to call processor for directory? before calling
file processors ('before'), after calling on all files in dir ('after')

HINT: 'before' is for copying, 'after' -- for deleting items

*/

$dircall = 'before';

extract($params, EXTR_OVERWRITE);

/* "mark" all files as being of unknown type (see multipart_cont()) */
foreach($files as $k=>$v) $files[$k] = 'n'.$v;

if(sizeof($processors) == 1) $processors = array($processors[0], false, false);
else if(sizeof($processors) == 2) $processors = array($processors[0], $processors[1], false);
else if(sizeof($processors) != 3)
{
return d_error('Invalid processors: only from 1 to 3 processors supported');
}

return array(
'data' => $data,
'basedir' => $basedir,
'processors' => $processors,
'dircall' => $dircall,

'files' => $files, /* files left for processing */

'curfile' => false, /* the name of processed file, if script was stopped at cont() function */
'resume_data' => array(),
);
}

/*
* function to continue the processing of files
*
* PARAMS: $cache -- obligatory parameter with function cache
*
* RETURN:
*
* TRUE on success (process finished successfully)
* FALSE on error
* array $cache if operation is to be continued
*/

function multipart_cont($cache)
{
if(is_bool($cache)) return $cache; /* this line should be here */

$keys = array_keys($cache);

extract($cache);
$cache = array();

list($b,$c,$s) = $processors;

if($c == 'cont') $c = false;
if($s == 'stop') $s = false;

if($curfile) $files[] = 'i'.$curfile;

/*
* first symbol filename of $files will tell, what to do with file:
*
* i -- intermediate file, which needs continue processing (w/$resume_data)
* n -- new file with unknown type: use all actions
* d -- directory which should not be expanded, just execute processors
* (needed for $dircall = 'after' and 'before')
*/

if(!@chdir($basedir)) return d_error('cannot change directory to current');

while($it = array_pop($files))
{
$a = $it[0]; /* action */
$name = substr($it, 1);
$curfile = false;

if(!have_time())
{
$files[] = $it;

foreach($keys as $key) $cache[$key] = $$key;
return $cache;
}

if(is_file($name) || $a == 'd' || $a == 'i')/*only execute processors*/
{
/* for intermediate files we already have $resume_data from cache */
/* TODO: do not just skip errors at begin function */
if($a != 'i' && ($resume_data=$b($name, $data)) === false) continue;

if($c)
{
$have = true; /* for case when $resume_data = true */
$curfile = $name;

while(is_array($resume_data) && ($have=have_time()))
{
$resume_data = $c($name, $data, $resume_data);
}

if(!$have)
{
foreach($keys as $key) $cache[$key] = $$key;
return $cache;
}

if($have && $s)
{
$s($name, $data, $resume_data);
}
}
}else if(is_dir($name))
{
if(!@$dh = opendir($name)) continue;

if(/*$dircall == 'both' || */$dircall == 'after') $files[] = 'd'.$name;

/*
* we just get a list of files (even without determining type)
* because stat() (or is_file() or is_dir()) consumes much time.
* it is important if directory is huge (5000-50000 files)
*/

while(false!==($f=readdir($dh)))
{
if($f=='.'||$f=='..') continue;
$files[] = 'n'.$name.'/'.$f;
}

closedir($dh);

if(/*$dircall == 'both' || */$dircall == 'before') $files[] = 'd'.$name;
}
}

return true;
}

// the function to log errors. If $error_text is set to 'all', the function returns an array of all error messages.
// If $error_text is not set, the function returns the last error message. if $error_text==NODEBUG, the name of function will be removed if it was present (in the beginning)
// Else it logs the error message and returns false.
//
// example of usage: if(false) return d_error('You have set "false" in "if" condition');
define('NODEBUG',1);
function d_error($error_text = 0)
{
static $errors = array();

if($error_text === NODEBUG && !function_exists('debug_backtrace')) $error_text = 0;

if($error_text === 'all') return $errors;
if($error_text === 0) return (sizeof($errors)>0 ? $errors[sizeof($errors)-1] : '');
if($error_text === NODEBUG)
{
if(sizeof($errors)==0) return '';
$p = explode(' ', $errors[sizeof($errors)-1],2);
return $p[1];
}

if(function_exists('debug_backtrace'))
{
$tr = debug_backtrace();
$error_text = '['.$tr[1]['function'].'] '.$error_text;
}

$errors[]=$error_text;
return false;
}
?>

Простой пример использования -- подсчёт размера папки WINDOWS:

Code (php):

скопировать код в буфер обмена

<?
include('multipart.php');

// simple multipart processor: size() -- puts information about size to $_SESSION

function size($name)
{
$_SESSION['TOTAL_BYTES'] += filesize($name);

if(is_dir($name)) $_SESSION['DIRS']++;
else $_SESSION['FILES']++;

return true;
}

session_start();

if(isset($_GET['flush']))
{
unset($_SESSION['cache']);
$_SESSION['FILES'] = $_SESSION['DIRS'] = $_SESSION['TOTAL_BYTES'] = 0;
header('location: '.$_SERVER['PHP_SELF']);
die();
}

echo '<a href="?flush=all">flush all data</a> ';

if(empty($_SESSION['cache']))
{
$_SESSION['cache'] = multipart_begin(

array(
'basedir' => 'C:/',
'files' => array('WINDOWS'),
'processors' => array('size'),
)

);

if(!$_SESSION['cache']) die(d_error());

$_SESSION['TOTAL_BYTES'] = $_SESSION['DIRS'] = $_SESSION['FILES'] = 0;
}

$_SESSION['cache'] = multipart_cont($_SESSION['cache']);

echo 'Size: '.$_SESSION['TOTAL_BYTES'].' bytes Files: '.$_SESSION['FILES'].' Folders: '.$_SESSION['DIRS'].' ';

if(!is_bool($_SESSION['cache']))
{
echo '<a href="'.$_SERVER['PHP_SELF'].'">continue count</a>';
}else
{
echo 'Count process finished';
}
?>