Войти

Показать полную графическую версию : [решено] не работает скрипт счет кол-ва и размера файлов


Wheee111
16-06-2016, 21:45
Господа и господамы, здравствуйте! Беда-печаль - руководство просит проанализировать рост объема данных на файлохранилищах для предсказания роста оных. Ради сей задачи был накидан скриптик, с которым можно ознакомиться ниже, и который, собака такая страшная, отказывается работать. Чую косяк с переносами строк и определением типов. Пример входного файла в конце.
Жду помощи от более опытных коллег.

#Задаем путь к CSV файлу со списком папок для поиска и путь к папке с результатами работы скрипта
$PathToCsv = "C:\Temp\Test.csv"
$PathToResult = "C:\Temp\"
#задаем "глубину" поиска
$DaysToSearch = 749

#задаем временной промежуток для поиска (в днях)
$DaysIntervalToSearch = 7

#Импортируем CSV файл
$Path_Folders = Import-Csv -Path $PathToCsv -Delimiter ";"
foreach ($Path_Folder in $Path_Folders)
{
#Выбираем следующую строку
$Path = $Path_Folder.PathFolder
$ResultFileName = $Path_Folder.ResFileName

#Просто текст, для вывода. культуры ради.
$Txt = "Analising $Path"

#заранее объявляем переменную с полным путем выходного файла
$ResultFilePath = $PathToResult + $ResultFileName + ".csv"

#пишем какую папку анализируем
Write-Host $Txt -ForegroundColor Green

#Готовимся к циклу.
$FinDay=$DaysToSearch
$DayInterval=$DaysIntervalToSearch

#Считаем кол-во столбов в результируещем файле
$b = $FinDay / $DayInterval

#Задаем размер массива для хранения названий столбцов
$StringsArray = 1..($b*2)

#Обнуляем переменную для счетчика элементов массива =)
$x = 0

#переменная для хранения результата нашего поиска
$files=dir $Path -recurse | Select Fullname,CreationTime,LastWriteTime,Length,
@{Name="Age";Expression={(Get-Date)-$_.CreationTime}},
@{Name="Days";Expression={[int]((Get-Date)-$_.CreationTime).TotalDays}}

#хэш с результатами поиска
$hash=@{
#Объявляем и заполняем наши столбцы с результатами работы
Path=$path

#Подсчет кол-ва и объема файлов, старее заданной глубины поиска
Over = ($files | Where {$_.Days -gt $FinDay} | Measure-Object).Count
'Over_SizeKB'= [math]::Round((($files | Where {$_.Days -gt $FinDay} | Measure-Object -Property Length -Sum).sum/1KB),2)

Do
{
#Создаем текстовые строки для последующего вывода в файл
$FDayInterval = $FinDay - $DayInterval
$StringDays = [string]$FinDay + 'Days'
$StringDaysSize = [string]$FinDay + 'Days_SizeKB'

#Заполняем массив получившимися строками для финального select-а
$StringsArray[$x] = $StringDays
$StringsArray[$x+1] = $StringDaysSize
$x = $x+2

#Подсчитываем кол-во элементов и их размер в KB в папке за заданный временной промежуток
'$StringDays'= ($files | Where {$_.Days -gt $FDayInterval -AND $_.Days -le $FinDay} | Measure-Object).Count
'$StringDaysSize'= [math]::Round((($files | Where {$_.Days -gt $FDayInterval -AND $_.Days -le $FinDay} | Measure-Object -Property Length -Sum).sum/1KB),2)

#Уменьшаем глубину поиска
$FinDay = $FinDay - $DayInterval

}
Until ($FinDay -le 1)

}
New-Object -TypeName PSObject -Property $hash | Select Path,Over, Over_SizeKB, $StringsArray | export-CSV $ResultFilePath -Encoding UTF8 -Delimiter ";"

}




Пример входных данных (Разумеется внутри CSV файлика):


PathFolder;ResFileName
"C:\Users";Users

Iska
17-06-2016, 01:58
Wheee111, Вы словами напишите, что Вы хотите получить.

Wheee111
17-06-2016, 02:42
Iska, Благодарю за ответ.
Задача состоит в том, что бы проанализировать за 2 года рост объема файлов на файловых серверах. с детализацией до папки департамента. т.е. структура папок выглядит примерно так: \\SrvFile(01-10)\Company(01-06)\Department(01-20)\*

Мой вариант реализации, по идее должен проходить по всем папкам, указанным в заранее подготовленном файле, считать информацию о дате создания файлов в указанных папках и кол-во файлов, после записать полученный результат в разные файлы. для каждого департамента свой файл (м.б. можно и в один). Соответственно идет анализ изменений за 7 дней.
На выходе получаем табличку вида:
имя папки | кол-во и размер старше 2х лет | кол-во и размер файлов созданных в промежутке 749-742 дня назад | кол-во и размер файлов созданных в промежутке 742-735 дней назад | etc... | кол-во и размер файлов созданных в промежутке 7-0 дней назад

------
Select Fullname, LastWriteTime - задел на будущее для фильтрации ошибок доступа или слишком длинного пути и анализа не по дате создания, а дате изменения.

Foreigner
17-06-2016, 09:36
Как пример:

$files = get-childitem "C:\Folder" -recurse -file -force -ea 0

foreach ($file in $files)
{
switch (((get-date) - (get-date $file.lastwritetime)).days)
{

{ $_ -ge 1000 } { $age1000++; $size1000 += $file.length }
{ $_ -ge 750 -and $_ -le 999 } { $age_750++; $size_750 += $file.length }
{ $_ -ge 500 -and $_ -le 749 } { $age_500++; $size_500 += $file.length }
{ $_ -ge 250 -and $_ -le 499 } { $age_250++; $size_250 += $file.length }
default { $age_000++; $size_000 += $file.length }

}
}

$result =

[pscustomobject] @{

'1000+' = ("$age1000/" + ($size1000 / 1mb).tostring('f'))
'750+' = ("$age_750/" + ($size_750 / 1mb).tostring('f'))
'500+' = ("$age_500/" + ($size_500 / 1mb).tostring('f'))
'250+' = ("$age_250/" + ($size_250 / 1mb).tostring('f'))
'0+' = ("$age_000/" + ($size_000 / 1mb).tostring('f'))
}

$result | format-table -auto
Вывод приблизительно такой (колонки по возрасту, значения в формате "общее_кол-во/суммарный_размер в мегабайтах"):

1000+ 750+ 500+ 250+ 0+
----- ---- ---- ---- --
966/77,09 70/2,41 189/13,53 155/28,71 595/237,77

Wheee111
17-06-2016, 15:50
Foreigner, Идея интересна, но мне на выходе нужно получить большое кол-во точек за неопределенный заранее промежуток времени, для детального изучения графика роста объема данных и предсказания планируемого объема при таких же темпах роста, через год, два или три. Если выборка маленькая, то грфик будет "скакать" в зависимости от выбранного периода.
Пример полученного результата моим вариантом скрипта в конце сообщения и на всякий случай во вложении, но работал скрипт без циклического перебора, было задано фиксированное кол-во проходов, что не универсально, примерно таким образом:



Over= ($files | Where {$_.Days -gt 749} | Measure-Object).Count
'Over_SizeKB'= [math]::Round((($files | Where {$_.Days -gt 749} | Measure-Object -Property Length -Sum).sum/1KB),2)
'749Days'= ($files | Where {$_.Days -gt 742 -AND $_.Days -le 749} | Measure-Object).Count
'749Days_SizeKB'= [math]::Round((($files | Where {$_.Days -gt 742 -AND $_.Days -le 749} | Measure-Object -Property Length -Sum).sum/1KB),2)
'742Days'= ($files | Where {$_.Days -gt 735 -AND $_.Days -le 742} | Measure-Object).Count
'742Days_SizeKB'= [math]::Round((($files | Where {$_.Days -gt 735 -AND $_.Days -le 742} | Measure-Object -Property Length -Sum).sum/1KB),2)

... ...

'7Days'= ($files | Where {$_.Days -gt 0 -AND $_.Days -le 7} | Measure-Object).Count
'7Days_SizeKB'= [math]::Round((($files | Where {$_.Days -gt 0 -AND $_.Days -le 7} | Measure-Object -Property Length -Sum).sum/1KB),2)




Ссыль на картинку (http://i73.fastpic.ru/big/2016/0617/d6/c3989ec2c97a1b04ce644734f77d2ad6.jpg)

Iska
18-06-2016, 02:24
Я бы скорее выбрал вариант вида |Путь|Интервал возраста|Количество|Размер|Среднее|. А с неё уже потом можно лепить какие угодно варианты, хоть сводные таблицы, хоть диаграммы для разнообразного анализа. В качестве инструмента — LogParser:
LogParser.exe "SELECT EXTRACT_PATH(Path) AS OnlyPath, QUANTIZE(CreationTime, 604800) AS DateInterval, COUNT(*) AS TotalFiles, DIV(SUM(Size), 1024) AS TotalSize, DIV(TotalSize, TotalFiles) AS Average INTO 'Result.csv' FROM '\\SrvFile(01-10)\*.*' WHERE Name <> '.' AND Name <> '..' GROUP BY OnlyPath, DateInterval" -i:FS -recurse:-1 -headers:on -stats:off -oCodepage:1251 -oSeparator:; -o:TSV
Интервал вполне может задаваться параметром запроса (в примере он задан жёстко в запросе в неделю).

Хотя, вполне может быть, что я банально не допонял задачу.

Wheee111
20-06-2016, 21:40
Iska, Работает шустро, но почему-то результат он мне выдал по папкам. Я не силен в SQL, посему не смогу быстро поправить запрос под свои нужды. Кажется это повод изучить функционал этой программки. Давно собирался. =)
PowerShell мне как-то ближе.

Iska
21-06-2016, 01:00
Iska, Работает шустро, »
Да, LogParser — это самый быстрый вариант из возможных (кроме, разве что, ручного режима работа с файловой системой), работает весьма эффективно.

но почему-то результат он мне выдал по папкам. »
Ну, Вы же вроде бы так:
с детализацией до папки департамента. т.е. структура папок выглядит примерно так: \\SrvFile(01-10)\Company(01-06)\Department(01-20)\* »
и хотели, не? Мною предполагалась именно детализация вида:
|Путь|Интервал возраста|Количество|Размер|Среднее|. А с неё уже потом можно лепить какие угодно варианты, хоть сводные таблицы, хоть диаграммы для разнообразного анализа. »
Если нет — поясните подробнее/как-то иначе, попробуем сделать, как потребно.

PowerShell мне как-то ближе. »
PowerShell, конечно, гибче. Впрочем, ничто не мешает использовать LogPaser из-под PowerShell, поскольку LogPaser предоставляет сервер Automation и не только:
LogQuery Object
The LogQuery object exposes the main API methods that execute a SQL-Like query and provides access to global parameters controlling the execution of a query.

The object is instantiated with the "MSUtil.LogQuery" ProgId.
The class name of the .NET COM wrapper for this object is "Interop.MSUtil.LogQueryClassClass".

Wheee111
21-06-2016, 12:15
Если нет — поясните подробнее/как-то иначе, попробуем сделать, как потребно. »
Полагаю, эта часть и есть ответ на вопрос:
имя папки департамента | кол-во и размер файлов старше 2х лет | кол-во и размер файлов созданных в промежутке 749-742 дня назад | кол-во и размер файлов созданных в промежутке 742-735 дней назад | etc... | кол-во и размер файлов созданных в промежутке 7-0 дней назад »

Foreigner
21-06-2016, 12:36
Wheee111, Чем вас не устраивает мой пример? Добавьте туда сколько вам нужно точек, хоть на каждый день.

Wheee111
23-06-2016, 21:22
Foreigner, тем, что сей способ не универсален. В сообщении #5 я указал, что похожий вариант уже был реализован, и он не удобен в случае расширения временного промежутка.

Foreigner
23-06-2016, 21:39
Если честно я не понимаю смысла:
на выходе нужно получить большое кол-во точек за неопределенный заранее промежуток времени
Что значит этот промежуток, который заранее не известен и его никак не определяют? Временные точки тоже заранее не известны и их никто не назначает? Уравнение а-ля:

a+b=c
Чему равно d?
ЗЫ. Тогда наверное надо все эти данные передавать, как параметры к скрипту.

Wheee111
23-06-2016, 21:55
Foreigner, примерно так в первом сообщении в не рабочей версии скрипта и есть:


$PathToResult = "C:\Temp\"
#задаем "глубину" поиска
$DaysToSearch = 749
#задаем временной промежуток для поиска
$DaysIntervalToSearch = 7

Foreigner
24-06-2016, 09:57
Такой вариант. Правда неторопливый (но в разумных пределах):

param (

[int] $deep = 750,
[int] $interval = 7

)

$dirs = get-childitem c:\root\folder -directory
$result = foreach ($dir in $dirs)
{
$dirfiles = get-childitem $dir.fullname -file -recurse
$objectbody =
for ($i = 0; $i -le $deep; $i += $interval)
{
$files =
$dirfiles | where {
$_.lastwritetime -le (get-date).adddays(-$i) -and $_.lastwritetime -ge (get-date).adddays(-$($i+$interval))
}
$files |
foreach { $size = 0 } { $size += $_.length / 1mb } { "`'$i+`' = `'$($files.count) / $($size.tostring('f'))`'" }
}

@"
[pscustomobject] @{
folder = `'$dir`'
$($objectbody -join "`n")
}
"@ | invoke-expression

}

$result | convertto-csv | out-file result.csv

Вызывать соответственно:

.\script -deep 300 -interval 10
.\script -d 300 -i 10
.\script # значения $deep и $interval по умолчанию (750 и 7)




© OSzone.net 2001-2012