[решено] Поиск данных из одного файла в другом

[dahiko]

Всем привет!

Стоит задача: сравнивать результаты обучающихся (БД MySQL) с пользователями в Active Directory и считать процент (количество) не обученных.

Для этого начал писать скрипт на Powershell, в котором есть такое:
1. Выгрузить данные из MySQL (mysql.csv)
#Connection options
$constring="server=10.7.7.7;uid=myuser;pwd=mypassword;database=mydb;Pooling=False"

$mysql = New-Object MySql.Data.MySqlClient.MySqlConnection($constring)
$mysql.Open()

#Collect data from table
$sqlquery1 = "select * from mytable"
$req = New-Object Mysql.Data.MysqlClient.MySqlCommand($sqlquery1,$mysql)
$dataAdapter = New-Object MySql.Data.MySqlClient.MySqlDataAdapter($req)
$dataSet = New-Object System.Data.DataSet
$dataAdapter.Fill($dataSet, "Query1") | Out-Null

#Export data to CSV
$dataSet.Tables["Query1"] | Export-Csv -path "C:\Users\dahiko\Desktop\mysql.csv" -Encoding UTF8 -NoTypeInformation

2. Выгрузить пользователей из определенной OU Active Directory (ad.csv)
$OUUsers=@(
'OU=AllUsers,OU=filial1,DC=my,DC=domain,DC=ru',
'OU=AllUserss,OU=filial2,DC=my,DC=domain,DC=ru')

$OUUsers | foreach { Get-ADUser -Filter {(Enabled -eq "True")} -SearchBase $_ -Properties *} | Select mail,Name, samaccountname, distinguishedName, whenCreated, department, title, city,description,Company,telephoneNumber,mobile | ConvertTo-CSV | Out-File "C:\Users\dahiko\Desktop\ad.csv"

Вот как теперь в файле mysql.csv найти всех, кто есть в файле ad.csv и высчитать процент необученных? Может у кого-то есть примеры чего-то похожего по сравнению двух файлов? В обоих файлах есть одинаковое поле "mail"

Заранее благодарен.

[YuS_2]

dahiko,
Прикрепите примеры обоих файлов (конфиденциальные данные можете изменить), тогда можно будет предложить алгоритм.
На вскидку:
Выделить сравниваемые поля из обоих файлов и сравнить оба набора данных через compare-object (https://docs.microsoft.com/ru-ru/powershell/module/microsoft.powershell.utility/compare-object?view=powershell-7.2)

[dahiko]

Прикрепите примеры обоих файлов »
Файлы прикрепил. Создал вручную, потому что пока нет доступа к БД и AD.

[DJ Mogarych]

dahiko, пример хороший, только одинакового поля mail нет, в одном файле это mail, в другом - email.
И в AD меньше пользователей, чем в Mysql, т. е., обучившихся больше, чем людей в наличии.

Если поправить это, то получится так, как и предположил YuS_2:


$notTrained = compare ($csvAD = import-csv "D:\temp\compare\ad.txt") ($csvMysql = import-csv "D:\temp\compare\mysql.txt") -Property mail |? SideIndicator -eq '<='

# процент
(($notTrained |measure).count / ($csvad |measure).count).ToString("P")

[YuS_2]

Создал вручную, потому что пока нет доступа к БД и AD. »
$a = gc ad.txt -enc utf8|convertfrom-csv
$b = gc mysql.txt -enc utf8|convertfrom-csv
diff $a.mail $b.email

[dahiko]

только одинакового поля mail нет, в одном файле это mail, в другом - email. »
Это исправил. Теперь в обоих файлах "mail".

И в AD меньше пользователей, чем в Mysql »
Тут все верно. Обучившихся может быть больше, чем пользователей в файле ad.csv. Потому что в ad.csv пользователи только из определенных OU (Только те предприятия, которые проверяем в данный момент).


Не понял, но почему-то скрипт считает процент не верно. Скрипт возвращает 50,00%. Хотя в файле mysql.csv есть все люди из файла ad.csv. Значит результат должен быть 100%

[DJ Mogarych]

Это процент тех, кто не обучился, т. е., есть в AD, но нет в Mysql.

[YuS_2]

Не понял, но почему-то скрипт считает процент не верно. Скрипт возвращает 50,00%. Хотя в файле mysql.csv есть все люди из файла ad.csv. Значит результат должен быть 100% »
Вы уточните задачу, в привязке к файлам, кто из них кто, где список тех кого необходимо учитывать в обоих файлах, кто именно из них обученные, и процент кого именно необходимо вычислять?

[dahiko]

Прошу прощения. Скрипт правильно посчитал. Он вернул 50%, поточу что у одного пользователя в ad.csv не было кавычки. Поэтому одного пользователя скрипт не смог найти с файле mysql.csv.

Подскажите, как добавить в вывод скрипта еще две цифры?
1. Количество уникальных пользователей из файла ad.csv
2. Количество обученных уникальных пользователей из файла mysql.csv, которые есть в файле ad.csv. В файле mysql.csv один человек может быть указан несколько раз, т.к. есть несколько курсов, которым обучаются пользователи)

[DJ Mogarych]

$csvAD |sort mail -Unique
$notTrained |sort -Unique

https://docs.microsoft.com/en-us/powershell/module/microsoft.powershell.utility/sort-object?view=powershell-7.2