Компьютерный форум OSzone.net  

Компьютерный форум OSzone.net (http://forum.oszone.net/index.php)
-   Программирование в *nix (http://forum.oszone.net/forumdisplay.php?f=35)
-   -   Bash скрипт с несколькими кронами (http://forum.oszone.net/showthread.php?t=342175)

r-studio 13-09-2019 15:45 2887783

Bash скрипт с несколькими кронами
 
помогите пожалуйста, написать bash скрипт на cent os server7 , который берет данные из оракловской базы и импортирует в csv и делает несколько кронов (т.е. запусков по времени)
логин оракла:моя_база, пароль:мой_пароль

надо чтобы выполнялись запросы(тут работает только на просмотр)

SELECT * FROM bass.LENTA
SELECT * FROM bass.NAR
SELECT * FROM bass.WORKES


он должен выгрузить все данные в csv(для каждой таблицы свой csv), их там несколько миллионов и настроить время, чтобы дополнял данные
пример в самый первый раз выгрузил все миллион строк, в другой таблице 100 000 в третьей 10 000
1
2
...
...
1000 000

запустился крон к примеру завтра, для каждой таблицы проверил не изменилось ли число строк. Если для какой то из таблиц не изменилось ничего не делать, если в какой - то из таблиц прибавилась строка или строки, то добавить к строкам, уже в ранее выгруженный файл соответствующей таблицы

также каждый день эти файлы файлы будут обрабатываться программой R (мойскрипт.R) и результат будет из нее в файле itog.csv(разделители запятая)
можно ли также после того как была проверка данных csv тут же запускать файл мойскрипт.R(неважно есть новые данные или нет)
результат itog.csv сразу после обработки толкнуть в базу постгрес (моя_база1, пароль:1, таблица:myresultat) и перезаписалось начальное содержимое

как такой скрипт написать и поставить его на регулярное выполнение

DJ Mogarych 13-09-2019 21:26 2887824

Цитата:

Цитата r-studio
Если для какой то из таблиц не изменилось ничего не делать, если в какой - то из таблиц прибавилась строка или строки, то добавить к строкам, уже в ранее выгруженный файл соответствующей таблицы »

Смысл? Не легче ли просто тупо выгружать таблицу ещё раз поверх, зачем что-то сравнивать при такой постановке задачи?
Время всё равно не сэкономится - надо в любом случае читать всю таблицу, потом сравнивать, потом дополнять, как бы это не было медленнее, чем простая выгрузка.

r-studio 14-09-2019 11:05 2887891

Цитата:

Цитата DJ Mogarych
Смысл? Не легче ли просто тупо выгружать таблицу ещё раз поверх, зачем что-то сравнивать при такой постановке задачи? »

можно и так , я думал как я хотел это быстрее, но если это суть дела не меняет , как тогда такой скрипт написать?

DJ Mogarych 15-09-2019 09:02 2888022

Ну как - выгружаете, обрабатываете, загружаете в другую базу, просто не нужно ничего сравнивать.
Вряд ли здесь кто-то напишет такой скрипт за вас - это достаточно сложная задача, к тому же, необходимо гораздо больше информации по задаче, планирование и изучение разных путей её решения.

Может быть, задача вообще должна решаться как-то по-другому, без промежуточных CSV.


Время: 23:01.

Время: 23:01.
© OSzone.net 2001-