Вытяжка данных Zenbot

[Dark_Delphin]

Всем привет.

Пытаюсь разобраться с Zenbot (https://github.com/DeviaVir/zenbot). Поставил его на убунту, все отлично работает, делает вытяжку исторических данных по указанным мною параметрам.
Вот к примеру командой делаю вытяжку за 30 дней (./zenbot.sh sim kraken.XXBT-ZEUR --days 30) и в конце он создает файл html результат (http://forum.oszone.net/attachment.php?attachmentid=160663&stc=1&d=1584186780).

И в консоли вот вытяжку выводит, которая мне и нужна (вот пример скопирован из консоли в ворд без имени.docx (http://forum.oszone.net/attachment.php?attachmentid=160664&stc=1&d=1584186930)). Но с консоли оно копирует тупо одной строкой или как-то криво, хотелось бы как то разделить все это по столбцам как в консоли, что-бы удобно было фильтровать по дате например и остальным критериям.

Лазил в коде и наткнулся, что в файле js (https://github.com/DeviaVir/zenbot/blob/unstable/commands/sim.js) вроде идёт речь о создании файла результате html, и как бы csv файл должен быть, ну как его получить не пойму? Кто имел опыт с ботом или как хотя-бы из консоли правильно скопировать данные?

Заранее благодарен.

[Iska]

И в консоли вот вытяжку выводит, которая мне и нужна (вот пример скопирован из консоли в ворд без имени.docx). Но с консоли оно копирует тупо одной строкой или как-то криво, хотелось бы как то разделить все это по столбцам как в консоли, »
Перенаправьте вывод в файл (а не «скопирован из консоли в ворд»), упакуйте файл в архив, каковой приложите к сообщению.

[Dark_Delphin]

Iska, вот за пару дней последних сделал вывод в текстовый документ...

[Iska]

Смотрю.

В выводе наблюдаются escape-последовательности (не стал всё отмечать):
https://i.imgur.com/5JLcgN6.png
— то есть, управление форматом, цветом и т.п. делается не непосредственно управлением консолью, а ANSI-командами для терминала («ANSI escape sequences»). Например, «[2K» — очищает всю текущую строку. Следующая команда, «[1G» — перемещает курсор в начало строки. «[44m» — устанавливает синий цвет фона. И т.п.

Собственно, весь вывод в реальности состоит из двух строк — первой, длиною 415 тысяч 958 символов (включая те самые «escape sequences») и третьей, длиною 49 тысяч 249 символов. Как и положено для Unix, строки заканчиваются одним символом LineFeed (0x10).

В конце наличествует небольшой блок в формате JSON.

То есть, что мы имеем «с гуся»? Фактически, никаких «строк» и «столбцов» в выводе нет, они организуются управляющими инструкциями escape-последовательностей для терминала (в числе прочего). Парсить такой вывод, конечно, можно попытаться, но — такое себе занятие, надо знать все escape-последовательности и уметь их разбирать и преобразовывать. Посему я бы попытался поискать параметр/настройку в Zenbot, которая бы либо отключала использование данных последовательностей, либо делала прямой вывод в текстовый файл в формате CSV.

[Dark_Delphin]

Iska, такого парметра так и не нашел, пробовать в файле sim убрать лишний код, что-бы csv создавало. Или это надо знать все последовательности?

[Iska]

Как минимум, все используемые escape-последовательности. И желательно понимать, что каждая из них делает, чтобы их убирать или на что следует заменять.

Ну, попробуйте так (на PowerShell):
((((Get-Content -Path 'C:\Мои проекты\0304\console.txt' -Raw) -replace "\e\[(1G|\d{1,3}m)", "") -replace "\e\[2K", "`r`n") -replace "`n", "`r`n")

2020-03-12 14:29:58 5420.80 XXBT-ZEUR 117
2020-03-12 14:31:59 5403.30 XXBT-ZEUR -0.33% 50
2020-03-12 14:33:59 5447.20 XXBT-ZEUR +0.81% 69
2020-03-12 14:35:59 5449.00 XXBT-ZEUR +0.03% 64
2020-03-12 14:37:59 5395.90 XXBT-ZEUR -0.98% 62
2020-03-12 14:39:58 5337.60 XXBT-ZEUR -1.09% 79
2020-03-12 14:41:59 5347.30 XXBT-ZEUR +0.18% 70
2020-03-12 14:43:57 5319.10 XXBT-ZEUR -0.53% 45
2020-03-12 14:45:57 5326.10 XXBT-ZEUR +0.13% 106
2020-03-12 14:47:59 5294.90 XXBT-ZEUR -0.59% 65
2020-03-12 14:49:59 5252.30 XXBT-ZEUR -0.81% 146
2020-03-12 14:51:59 5325.00 XXBT-ZEUR +1.38% 106
2020-03-12 14:53:59 5305.50 XXBT-ZEUR -0.37% 58
2020-03-12 14:55:59 5409.50 XXBT-ZEUR +1.96% 106
2020-03-12 14:57:57 5419.10 XXBT-ZEUR +0.17% 65 51.15 +
2020-03-12 14:59:57 5358.00 XXBT-ZEUR -1.13% 83 - 45.09
2020-03-12 15:01:59 5424.60 XXBT-ZEUR +1.24% 58 51.80 +
2020-03-12 15:03:59 5423.00 XXBT-ZEUR -0.03% 75 51.63 +
2020-03-12 15:05:59 5403.40 XXBT-ZEUR -0.37% 39 - 49.57
2020-03-12 15:07:59 5377.60 XXBT-ZEUR -0.48% 23 - 46.92
2020-03-12 15:09:58 5344.60 XXBT-ZEUR -0.62% 21 -- 43.70
2020-03-12 15:11:56 5335.20 XXBT-ZEUR -0.18% 46 -- 42.80
2020-03-12 15:13:59 5359.30 XXBT-ZEUR +0.45% 53 - 45.88
2020-03-12 15:15:59 5341.00 XXBT-ZEUR -0.35% 72 -- 43.94
2020-03-12 15:17:58 5366.70 XXBT-ZEUR +0.48% 83 - 47.31
2020-03-12 15:19:59 5341.50 XXBT-ZEUR -0.47% 44 -- 44.49
2020-03-12 15:21:59 5348.30 XXBT-ZEUR +0.12% 63 - 45.43
2020-03-12 15:23:59 5310.00 XXBT-ZEUR -0.72% 59 -- 41.18 -0.0761 sell
2020-03-12 15:25:59 5320.00 XXBT-ZEUR +0.18% 77 -- 42.69 -0.0567 0.0068 0.00000000 XXBT 1000.00 ZEUR +0.00% -0.06%
2020-03-12 15:27:59 5336.10 XXBT-ZEUR +0.30% 44 - 45.13 -0.0303 0.0126 0.00000000 XXBT 1000.00 ZEUR +0.00% -0.36%
2020-03-12 15:29:59 5334.30 XXBT-ZEUR -0.04% 41 -- 44.90 -0.0306 0.0170 0.00000000 XXBT 1000.00 ZEUR +0.00% -0.33%
2020-03-12 15:31:59 5255.10 XXBT-ZEUR -1.49% 74 -- 36.16 -0.1379 0.0235 0.00000000 XXBT 1000.00 ZEUR +0.00% +1.17%
2020-03-12 15:33:59 5275.90 XXBT-ZEUR +0.39% 54 -- 39.49 -0.0990 0.0365 0.00000000 XXBT 1000.00 ZEUR +0.00% +0.78%
2020-03-12 15:35:59 5250.10 XXBT-ZEUR -0.49% 86 -- 36.92 -0.1276 0.0361 0.00000000 XXBT 1000.00 ZEUR +0.00% +1.27%
2020-03-12 15:37:59 5248.60 XXBT-ZEUR -0.03% 162 -- 36.77 -0.1203 0.0381 0.00000000 XXBT 1000.00 ZEUR +0.00% +1.30%
2020-03-12 15:39:59 5246.20 XXBT-ZEUR -0.05% 67 -- 36.51 -0.1149 0.0379 0.00000000 XXBT 1000.00 ZEUR +0.00% +1.35%
2020-03-12 15:41:59 5228.60 XXBT-ZEUR -0.34% 46 --- 34.61 -0.1310 0.0372 0.00000000 XXBT 1000.00 ZEUR +0.00% +1.69%
2020-03-12 15:43:59 5198.60 XXBT-ZEUR -0.58% 104 --- 31.60 -0.1633 0.0378 0.00000000 XXBT 1000.00 ZEUR +0.00% +2.27%
2020-03-12 15:45:59 5135.10 XXBT-ZEUR -1.23% 123 --- 26.36 -0.2401 0.0422 0.00000000 XXBT 1000.00 ZEUR +0.00% +3.54%
2020-03-12 15:47:58 5288.30 XXBT-ZEUR +2.98% 128 - 48.53 -0.0085 0.0547 0.00000000 XXBT 1000.00 ZEUR +0.00% +0.54%
2020-03-12 15:49:59 5240.60 XXBT-ZEUR -0.91% 52 -- 44.08 -0.0746 0.0584 0.00000000 XXBT 1000.00 ZEUR +0.00% +1.45%
2020-03-12 15:51:59 5283.20 XXBT-ZEUR +0.81% 52 - 48.61 -0.0095 0.0588 0.00000000 XXBT 1000.00 ZEUR +0.00% +0.64%
2020-03-12 15:53:58 5252.10 XXBT-ZEUR -0.59% 27 - 45.70 -0.0523 0.0623 0.00000000 XXBT 1000.00 ZEUR +0.00% +1.23%
2020-03-12 15:55:59 5254.60 XXBT-ZEUR +0.04% 44 - 45.98 -0.0450 0.0609 0.00000000 XXBT 1000.00 ZEUR +0.00% +1.18%
2020-03-12 15:57:59 5257.20 XXBT-ZEUR +0.04% 19 - 46.29 -0.0380 0.0598 0.00000000 XXBT 1000.00 ZEUR +0.00% +1.13%
2020-03-12 15:59:56 5319.60 XXBT-ZEUR +1.18% 25 53.23 + 0.0523 0.0617 0.00000000 XXBT 1000.00 ZEUR +0.00% -0.05%
2020-03-12 16:01:58 5327.00 XXBT-ZEUR +0.13% 59 53.99 + 0.0588 0.0721 0.00000000 XXBT 1000.00 ZEUR +0.00% -0.19%
2020-03-12 16:03:58 5311.20 XXBT-ZEUR -0.30% 37 52.05 + 0.0322 0.0790 0.00000000 XXBT 1000.00 ZEUR +0.00% +0.11%
2020-03-12 16:05:57 5291.50 XXBT-ZEUR -0.38% 56 - 49.65 0.0022 0.0813 0.00000000 XXBT 1000.00 ZEUR +0.00% +0.48%
2020-03-12 16:07:59 5309.30 XXBT-ZEUR +0.33% 55 51.81 + 0.0270 0.0809 0.00000000 XXBT 1000.00 ZEUR +0.00% +0.14%
2020-03-12 16:09:58 5321.50 XXBT-ZEUR +0.22% 70 53.29 + 0.0421 0.0794 0.00000000 XXBT 1000.00 ZEUR +0.00% -0.09%
2020-03-12 16:11:58 5342.60 XXBT-ZEUR +0.39% 24 55.82 ++ 0.0685 0.0731 0.00000000 XXBT 1000.00 ZEUR +0.00% -0.48%
2020-03-12 16:13:59 5342.40 XXBT-ZEUR -0.01% 26 55.79 ++ 0.0631 0.0433 buy 0.00000000 XXBT 1000.00 ZEUR +0.00% -0.48%
2020-03-12 16:15:59 5355.30 XXBT-ZEUR +0.24% 65 57.42 ++ 0.0764 0.0457 bought 0.18432967 XXBT 12.71 ZEUR +0.31% -0.40%
2020-03-12 16:17:59 5371.70 XXBT-ZEUR +0.30% 25 59.47 ++ 0.0936 0.0422 bought 0.18432967 XXBT 12.71 ZEUR +0.61% -0.41%
2020-03-12 16:19:57 5377.70 XXBT-ZEUR +0.11% 67 60.23 ++ 0.0949 0.0449 bought 0.18432967 XXBT 12.71 ZEUR +0.72% -0.41%
2020-03-12 16:21:55 5403.10 XXBT-ZEUR +0.47% 36 63.34 ++ 0.1232 0.0418 bought 0.18432967 XXBT 12.71 ZEUR +1.19% -0.42%
2020-03-12 16:23:59 5413.70 XXBT-ZEUR +0.19% 61 64.58 ++ 0.1287 0.0393 bought 0.18432967 XXBT 12.71 ZEUR +1.39% -0.42%
2020-03-12 16:25:58 5390.50 XXBT-ZEUR -0.43% 91 59.80 ++ 0.0867 0.0343 bought 0.18432967 XXBT 12.71 ZEUR +0.96% -0.41%
2020-03-12 16:27:58 5390.20 XXBT-ZEUR -0.01% 52 59.73 ++ 0.0798 0.0344 bought 0.18432967 XXBT 12.71 ZEUR +0.96% -0.41%
2020-03-12 16:29:57 5389.70 XXBT-ZEUR -0.01% 39 59.62 ++ 0.0732 0.0343 bought 0.18432967 XXBT 12.71 ZEUR +0.95% -0.41%
2020-03-12 16:31:58 5444.20 XXBT-ZEUR +1.01% 69 66.82 +++ 0.1433 0.0330 bought 0.18432967 XXBT 12.71 ZEUR +1.95% -0.43%
2020-03-12 16:33:59 5461.30 XXBT-ZEUR +0.31% 58 68.70 +++ 0.1561 0.0310 bought 0.18432967 XXBT 12.71 ZEUR +2.27% -0.43%
…
…
…
2020-03-14 09:33:56 4983.40 XXBT-ZEUR +0.06% 41 58.53 ++ 0.0248 0.0177 bought 0.18156314 XXBT 11.54 ZEUR +13.04% +20.61%
2020-03-14 09:35:59 4958.90 XXBT-ZEUR -0.50% 41 - 46.21 -0.0136 0.0132 bought 0.18156314 XXBT 11.54 ZEUR +12.59% +20.73%
2020-03-14 09:37:43 4973.20 XXBT-ZEUR +0.28% 2 52.50 + 0.0087 0.0126 sold 0.00181564 XXBT 901.06 ZEUR +12.83% +20.63%
2020-03-14 09:39:56 4973.10 XXBT-ZEUR -0.01% 4 52.45 + 0.0079 0.0132 sold 0.00181564 XXBT 901.06 ZEUR +12.83% +20.63%
2020-03-14 09:41:53 4980.60 XXBT-ZEUR +0.15% 5 55.60 ++ 0.0185 0.0135 sold 0.00181564 XXBT 901.06 ZEUR +12.83% +20.45%
buy cancel quarentine time: 2020-03-14 09:36:25

2020-03-14 09:43:56 4979.90 XXBT-ZEUR -0.02% 2 55.24 ++ 0.0161 0.0130 sold 0.00181564 XXBT 901.06 ZEUR +12.83% +20.47%
2020-03-14 09:45:40 4979.00 XXBT-ZEUR -0.02% 10 54.73 + 0.0135 0.0129 sold 0.00181564 XXBT 901.06 ZEUR +12.83% +20.49%
2020-03-14 09:47:53 4977.90 XXBT-ZEUR -0.03% 6 54.09 + 0.0109 0.0131 sold 0.00181564 XXBT 901.06 ZEUR +12.83% +20.52%
…
…
…
2020-03-14 14:39:54 4917.40 XXBT-ZEUR +0.25% 4 50.50 + 0.0033 0.0297 sold 0.00181889 XXBT 896.37 ZEUR +13.25% +22.45%
2020-03-14 14:41:42 4917.80 XXBT-ZEUR +0.00% 1 50.62 + 0.0036 0.0303 sold 0.00181889 XXBT 896.37 ZEUR +13.25% +22.44%
2020-03-14 14:43:50 4925.00 XXBT-ZEUR +0.14% 7 52.86 + 0.0142 0.0314 sold 0.00181889 XXBT 896.37 ZEUR +13.25% +22.26%
2020-03-14 14:45:42 4921.70 XXBT-ZEUR -0.07% 4 51.70 + 0.0082 0.0311 sold 0.00181889 XXBT 896.37 ZEUR +13.25% +22.35%
end balance: 1132.51658272 (13.25%)
buy hold: 924.65817833 (-7.54%)
vs. buy hold: 22.47%
57 trades over 3 days (avg 19.00 trades/day)
win/loss: 8/21
error rate: 72.41%
{
"asset_capital": 0,
"avg_slippage_pct": 0.045,
"buy_pct": 99,
"buy_stop_pct": 0,
"currency_capital": 1000,
"days": 2,
"markdown_buy_pct": 0,
"markup_sell_pct": 0,
"max_buy_loss_pct": 99,
"max_sell_loss_pct": 99,
"max_slippage_pct": 5,
"min_periods": 52,
"mode": "sim",
"neutral_rate": "auto",
"order_adjust_time": 5000,
"order_poll_time": 5000,
"order_type": "maker",
"oversold_rsi": 10,
"oversold_rsi_periods": 14,
"period": "2m",
"period_length": "2m",
"profit_stop_enable_pct": 0,
"profit_stop_pct": 1,
"quarentine_time": 10,
"rsi_periods": 14,
"selector": {
"exchange_id": "kraken",
"product_id": "XXBT-ZEUR",
"asset": "XXBT",
"currency": "ZEUR",
"normalized": "kraken.XXBT-ZEUR"
},
"sell_pct": 99,
"sell_stop_pct": 0,
"show_options": true,
"start": 1583971200000,
"stats": false,
"strategy": "trend_ema",
"symmetrical": false,
"trend_ema": 26,
"verbose": false,
"simresults": {
"start_capital": 1000,
"last_buy_price": "4848.00",
"last_assest_value": 4916.5,
"asset_capital": 8.926930231000197,
"currency": 1132.51658272,
"profit": 0.13251658272000008,
"buy_hold": 924.6581783302928,
"buy_hold_profit": -0.0753418216697072,
"total_trades": 57,
"length_days": 3,
"total_sells": 29,
"total_losses": 21,
"vs_buy_hold": 22.47948585336139
},
"net_currency": 1123.5740100360015
}
wrote simulations/sim_result_kraken.XXBT-ZEUR_200314_124612_UTC.html
Насколько это годится для Ваших исходных целей — смотрите сами, поскольку мы ни на шаг не приблизились к CSV.

[Dark_Delphin]

Iska, да, но я думал, если в файле sim.js есть речь о csv, то можно каждое значение в столбцы вывести в каждую ячейку отдельно.

[Iska]

Dark_Delphin, если расскажете, что делать с этой разницей:
2020-03-12 14:29:58 5420.80 XXBT-ZEUR 117
2020-03-12 14:31:59 5403.30 XXBT-ZEUR -0.33% 50
…
2020-03-12 14:53:59 5305.50 XXBT-ZEUR -0.37% 58
2020-03-12 14:55:59 5409.50 XXBT-ZEUR +1.96% 106
2020-03-12 14:57:57 5419.10 XXBT-ZEUR +0.17% 65 51.15 +
2020-03-12 14:59:57 5358.00 XXBT-ZEUR -1.13% 83 - 45.09
…
2020-03-12 15:19:59 5341.50 XXBT-ZEUR -0.47% 44 -- 44.49
2020-03-12 15:21:59 5348.30 XXBT-ZEUR +0.12% 63 - 45.43
2020-03-12 15:23:59 5310.00 XXBT-ZEUR -0.72% 59 -- 41.18 -0.0761 sell
2020-03-12 15:25:59 5320.00 XXBT-ZEUR +0.18% 77 -- 42.69 -0.0567 0.0068 0.00000000 XXBT 1000.00 ZEUR +0.00% -0.06%
2020-03-12 15:27:59 5336.10 XXBT-ZEUR +0.30% 44 - 45.13 -0.0303 0.0126 0.00000000 XXBT 1000.00 ZEUR +0.00% -0.36%
…

а также с прочими данными, которые никак не вписываются в CSV — подумаем.

[Dark_Delphin]

Iska, привет. Вот без разницы не подскажете, пожалуйста, как вставить примерно такого вида (https://prnt.sc/rqqye5)?