Прочие БД - [решено] SQLite3, сделать выборку из большого файла csv

Iska · Отправлено: **21:41, 16-09-2021** | #2

1. А поле Data у Вас — дата? Или как в csv — строка? Вообще, чтобы:

Цитата Griboed0ff:

есть два столбца, по которым ориентируюсь: Data, System_Unit_Name »

поле Data должна иметь тип дата-время. Тогда хоть какая-то гарантия, что не будет двух одинаковых строк по полям Data и System_Unit_Name.

2.

Цитата Griboed0ff:

выбрать уникальное значение из System_Unit_Name с самой старшей датой из столбца Data »

Вот эта самая «самая старшая дата» — она будет одинакова для всех искомых System_Unit_Name? Или для одного значения из System_Unit_Name может быть одна, для другого — другая «самая старшая дата»?

В первом случае проблем нет (я и в параллельной теме сделал для текстовых файлов, всё никак не допишу текстовку; ответите здесь на вопросы — допишу):

Код:

SELECT DISTINCT * 
    INTO [ResultTable] 
    FROM [SourceTable] 
    WHERE 
        Ping = 'Yes' AND 
        Data = (SELECT MAX(Data) FROM [SourceTable]) AND 
        System_Unit_Name IN (SELECT MachineName FROM [MachineNames]) 
    ORDER BY System_Unit_Name

Выбираем уникальные строки из исходной таблицы по условиям:

поле Ping = 'Yes';
поле Data равно максимальному из значений поля Data;
поле System_Unit_Name входит в перечень значений поля MachineName из таблицы MachineNames (туда Вы помещаете Ваш список имён машин из AD).

Сортируем результирующие строки по полю System_Unit_Name. Помещаем результирующие строки в таблицу ResultTable.

Griboed0ff · Отправлено: **15:31, 17-09-2021** | #3

Цитата Iska:

1. А поле Data у Вас — дата? Или как в csv — строка? »

В столбце Data - дата. В базе пометил столбец как DATETIME.

Цитата Iska:

Тогда хоть какая-то гарантия, что не будет двух одинаковых строк по полям Data и System_Unit_Name. »

Дублей с абсолютно одинаковыми строками очень много. Скорее всего перед манипуляциями придется удалить дубли.

Цитата Iska:

Или для одного значения из System_Unit_Name может быть одна, для другого — другая «самая старшая дата»? »

Верно.

примерно вижу это так:
Приложил скрин и пример таблицы как ее загрузил в базу и пример желаемого результата.
Получается выбирать из поля Ping значения все кроме NO, потому что поле иногда бывает пустым, но данные присутствуют.
Выбрать все значения для одного System_Unit_Name из таблицы AD_list, куда поместится список имен AD.
Выбрать старшую строку по дате из прошлой выборки.
Поместить в таблицу

Кстати подумал, что если из базы удалить дубли то объем данных порядком сократиться. Например, есть дублирующиеся строки, где все данные в столбцах одинаковые. Т.е. это одна и та же строка скопированная 2-100 раз. Так же по данным видно, что информация редко меняется, кроме поля дата. Если удалить дубли по всем полям кроме дата и оставить только самые младшие значения по дате, то исторические данные и изменения останутся, а база похудеет и будет весить несколько метров, а то сейчас 700 метров.

Iska · Отправлено: **23:10, 17-09-2021** | #4

Цитата Griboed0ff:

Дублей с абсолютно одинаковыми строками очень много. Скорее всего перед манипуляциями придется удалить дубли. »

Рассмотрите вопрос о том, чтобы в поле Data в CSV писались значения даты-времени, а не только даты. И не в виде строки (в кавычках), а в виде какого-либо из стандартных форматов даты-времени. Это будет правильным.

Если сие возможно — подготовьте новый образец файла 1.csv и выложите его в ту тему.

Цитата Griboed0ff:

Верно. »

Бяда-пичаль

. Время обработки будет NxM. Потому что надо будет для каждого из уникальных System_Unit_Name выбирать максимальное значение даты, и только потом отбирать эту строку. Одним запросом такого напрямую не сделать (потому что предикат ORDER BY применяется в последнюю очередь, уже после отбора). Насколько я понимаю, во всяком случае.

Цитата Griboed0ff:

Так же по данным видно, что информация редко меняется, кроме поля дата. Если удалить дубли по всем полям кроме дата и оставить только самые младшие значения по дате, то исторические данные и изменения останутся, а база похудеет и будет весить несколько метров, а то сейчас 700 метров. »

Не надо. Это не так работает.

Если будет возможность поизучать теория и принципы построения реляционных баз данных — сделайте это.

El Sanchez · Конфигурация компьютера

Цитата Iska:

Одним запросом такого напрямую не сделать (потому что предикат ORDER BY применяется в последнюю очередь, уже после отбора). »

Iska, группы, Холмс, юзайте группы. А сортировку ТС не просил.

Цитата Griboed0ff:

Получается выбирать из поля Ping значения все кроме NO, потому что поле иногда бывает пустым, но данные присутствуют.
Выбрать все значения для одного System_Unit_Name из таблицы AD_list, куда поместится список имен AD.
Выбрать старшую строку по дате из прошлой выборки.
Поместить в таблицу »

Griboed0ff, выборка из таблицы AD_list в таблицу AD_result

Код:

CREATE TABLE IF NOT EXISTS AD_result AS
SELECT *
FROM AD_list
WHERE Ping <> 'No'
GROUP BY System_Unit_Name HAVING max(printf('%s-%s-%s', substr(Data, length(Data) + 1, -4), substr(Data, instr(Data, '.') + 1, 2), substr(Data, 1, 2)))

Griboed0ff · Отправлено: **10:51, 20-09-2021** | #6

Цитата Iska:

Рассмотрите вопрос о том, чтобы в поле Data в CSV писались значения даты-времени, а не только даты. »

Данные уже имеются в таком виде как есть и приходится работать с ними.

Цитата El Sanchez:

выборка из таблицы AD_list в таблицу AD_result »

К сожалению у меня не получилось, скорее всего из-за отсутствия знаний.
Импортировал в базу "all_pc_info", таблицу с данными "all_pc", из которых и надо сделать выборку, так же импортировал в таблицу "AD_list" список имен АД в один столбик (название столбца System_Unit_Name). Далее пробовал делать запрос, но ничего не происходит. Для наглядности, что в базе и скрин команд прикладываю.

El Sanchez · Конфигурация компьютера

Цитата Griboed0ff:

Далее пробовал делать запрос, но ничего не происходит. Для наглядности, что в базе и скрин команд прикладываю »

Griboed0ff,

Код:

CREATE TABLE IF NOT EXISTS all_pc_result AS
SELECT *
FROM all_pc
WHERE Ping <> 'No'
GROUP BY System_Unit_Name HAVING max(printf('%s-%s-%s', substr(Data, length(Data) + 1, -4), substr(Data, instr(Data, '.') + 1, 2), substr(Data, 1, 2)))

Griboed0ff · Отправлено: **13:32, 20-09-2021** | #8

Цитата El Sanchez:

Код:

CREATE TABLE IF NOT EXISTS all_pc_result AS
SELECT *
FROM all_pc
WHERE Ping <> 'No'
GROUP BY System_Unit_Name HAVING max(printf('%s-%s-%s', substr(Data, length(Data) + 1, -4), substr(Data, instr(Data, '.') + 1, 2), substr(Data, 1, 2)));

»

Спасибо получилось! Но насколько я понял, создается таблица из запроса, выбирается таблица с данными, не берем строки со значением NO, а далее просто выбирается для каждого System_Unit_Name, строка с максимальной датой. Т.е. никакого сравнения со списком AD из таблицы AD_list нет. В принципе я уже получил хороший результат и можно сделать впр со списком AD вручную или powershell. Или возможно создать еще один запрос, который возьмет значение из таблицы AD_list столбик System_Unit_Name, найдет его с столбике System_Unit_Name таблицы all_pc_result, экспортирует строку его в еще одну таблицу. Ну или возможно добавить это в старый запрос?

El Sanchez · Конфигурация компьютера

Цитата Griboed0ff:

Или возможно создать еще один запрос, который возьмет значение из таблицы AD_list столбик System_Unit_Name, найдет его с столбике System_Unit_Name таблицы all_pc_result, экспортирует строку его в еще одну таблицу. Ну или возможно добавить это в старый запрос? »

Griboed0ff, таблица AD_list точно нужна? Не, можно и её использовать, можно и конкретные System_Unit_Name в запросе указывать:

Код:

...
WHERE Ping <> 'No' AND System_Unit_Name IN ('foo', 'bar', 'baz')
...

Griboed0ff · Отправлено: **18:03, 20-09-2021** | #10

Цитата El Sanchez:

таблица AD_list точно нужна? »

Да точно нужна, там в AD 14k имен.