[Iska]

Griboed0ff, по возможности, работайте с csv-файлом, как с базой данных посредством OLE DB. Это наиболее быстрый способ доступа к произвольным данным (за исключением Log Parser'а).

P.S. В конце-концов — почему Вы не перейдёте от CSV к любой базе данных?!

Ищу любые способы ускорения процесса, »

Приложите Ваш образец:

Пример данных таблицы

в виде файла, упаковав его в архив.

[DJ Mogarych]

любой базе данных »

Тем более, что она уже есть, называется Active Directory.

[Griboed0ff]

В конце-концов — почему Вы не перейдёте от CSV к любой базе данных?! »

База данных уже есть в 1С, просто в нее еще не спарсили нужные поля и не настроили отчеты в нужном виде. В данный момент специалист 1с в отпуске и сделать этого нет возможности, а данные нужны сейчас. Да и в общем надо понимать как в крайнем случае работать с таким объемом данных, такие случаи бывают редко, но метко. Таблица, про которую сейчас идет речь, хранится как резервный вариант хранения исторических данных, который мне сейчас и пригодился. Есть и другие таблицы огромного объема, которые возможно будут использоваться только раз или два, поэтому самый простой, но бывает медленный вариант -это накидать скрипт. Файл прикладываю.

[Griboed0ff]

Тем более, что она уже есть, называется Active Directory. »

У нас в AD не хранятся такие данные и вмешаться в его работу нет возможности. Да и другие таблицы есть, которые мне присылают, но там я не могу поменять способ хранения данных остается просто научиться более или менее быстро работать с этими таблицами. Такие случаи бывают крайне редко, поэтому прибегать к каким-то сторонним решениям нецелесообразно. Если нет возможности как-то оптимизировать данный процесс, то просто буду ожидать по 8 часов своих данных.

[DJ Mogarych]

Можно попробовать для начала запускать скрипт на PS7, в отдельных случаях он работает быстрее PS5.

[Griboed0ff]

попробовать для начала запускать скрипт на PS7 »

Данный метод ускорил процесс, но не глобально. МБ select-string может искать не одно значение, а сразу много, или он может искать сразу с конца таблицы? Может есть какой-нибудь фреймворк, который умеет искать значения как select-string?

[Serguei Kouzmine]

@Griboed0ff попробуйте поставить sqlite3.exe https://zametkinapolyah.ru/zametki-o...windows-7.html и в sqlite создайте таблицу с индксом

[Griboed0ff]

попробуйте поставить sqlite3.exe »

Я даже попытался сделать как вы сказали, но это поставило меня в тупик еще больше. Я поставил sqlite3, создал базу, импортировал туда свою csv, все данные видно через sqlitestudio, но что мне делать с этим далее я даже не представляю. Я так понял мне надо создать какой то запрос, который сделал бы выборку уникальных значений по столбцу name, выбирая при этом самую старшую дату из столбца дата. Есть ощущение, что язык запросов sql для меня еще сложнее чем powershell, потому как я ранее никогда не встречался с ним. Возможно вы знаете, что-либо о запросах?! Индексирование тоже вызывает у меня вопросы..

[Griboed0ff]

Все-таки было решено с помощью sqlite в соседней теме теме.
Пару запросов к базе через модуль PSSQLite, завернул в скрипт powershell. Итог - теперь моя выборка создается за минуту!
Скрипт запрашивает у меня аушку или набор аушек по коротким псевдонимам и я всегда получаю таблицу с выборкой.
Кусок скрипта для примера:

Код:

$time = Measure-Command -Expression {
# блок про аушки
[Parameter(Mandatory=$true)][String]$Region
$ofs=''
$Region= Read-Host "введите одно из значений: All_ALL, All_TT, All_S, All_B, MSK_TT, MSK_B, MSK_S и т.д."
$Region2 = $Region
$date= [datetime]::now.tostring("ddMMyyyy")
$outfile = "D:\SQlite3\result\$Region2`_$date.csv"

$myscripname=$myInvocation.ScriptName
Remove-Item $outfile -ErrorAction SilentlyContinue
    if ($Region -eq "MSK_TT") {...}
#тут кусок с наборами аушек и  короткими псевдонимами

$OUt = $OU | ForEach {get-adcomputer -Filter {ObjectClass -eq 'Computer'} -SearchBase $_ -Properties CN,LastLogon,lastLogon,lastLogonTimeStamp,CanonicalName,Enabled,whenChanged  | Select-Object @{n='System_Unit_Name';e={$_.CN}},@{n='lastLogon';e={[DateTime]::FromFileTime($_.lastLogon)}},@{n='lastLogonTimeStamp';e={[DateTime]::FromFileTime($_.lastLogonTimeStamp)}},Enabled,CanonicalName,whenChanged }| Out-DataTable

$datasource = ".....info.db" 
# Удаления прошлых результатов выполнения скрипта
$Query0 = "DROP TABLE AD_list;
DROP TABLE all_pc_result;

# команда создает таблицу в базе с заданными именами столбцов
$Query1 = "CREATE TABLE AD_list (System_Unit_Name,lastLogon,lastLogonTimeStamp,Enabled,CanonicalName,whenChanged)"
Invoke-SqliteQuery -Query $Query1 -DataSource $datasource

# Запись $OUt в таблицу      
Invoke-SQLiteBulkCopy  -DataTable $OUt  -DataSource $DataSource  -Table "AD_list" -NotifyAfter 100000  -force

# приводим список AD и список имен ПК к нижнему регистру
$Query2 = "UPDATE all_pc
SET System_Unit_Name = LOWER(System_Unit_Name);

UPDATE AD_list
SET System_Unit_Name = LOWER(System_Unit_Name);"
# выполнение запроса на нижний регистр $Query2
Invoke-SqliteQuery -Query $Query2 -DataSource $datasource

# запрос для создания выборки из таблицы all_pc по списку AD
$Query3 = "CREATE TABLE IF NOT EXISTS all_pc_result AS
SELECT *
FROM all_pc, AD_list USING(System_Unit_Name)
WHERE Ping <> 'No'
GROUP BY System_Unit_Name HAVING max(printf('%s-%s-%s', substr(Data, length(Data) + 1, -4), substr(Data, instr(Data, '.') + 1, 2), substr(Data, 1, 2)));"
# выполнение запроса выборки по списку из AD_list
Invoke-SqliteQuery -Query $Query3 -DataSource $datasource

# экспорт в таблицу csv
D:\SQlite3\soft\sqlite3.exe -header D:\SQlite3\base_test\all_pc_info.db -tabs "select * from all_pc_result" > $outfile
}
$time.ToString()