Компьютерный форум OSzone.net  

Компьютерный форум OSzone.net (http://forum.oszone.net/index.php)
-   Хочу все знать (http://forum.oszone.net/forumdisplay.php?f=23)
-   -   Вытяжка данных Zenbot (http://forum.oszone.net/showthread.php?t=344413)

Dark_Delphin 14-03-2020 14:59 2913158
Вытяжка данных Zenbot
 
Вложений: 2
Всем привет.

Пытаюсь разобраться с Zenbot. Поставил его на убунту, все отлично работает, делает вытяжку исторических данных по указанным мною параметрам.
Вот к примеру командой делаю вытяжку за 30 дней (./zenbot.sh sim kraken.XXBT-ZEUR --days 30) и в конце он создает файл html результат.

И в консоли вот вытяжку выводит, которая мне и нужна (вот пример скопирован из консоли в ворд без имени.docx). Но с консоли оно копирует тупо одной строкой или как-то криво, хотелось бы как то разделить все это по столбцам как в консоли, что-бы удобно было фильтровать по дате например и остальным критериям.

Лазил в коде и наткнулся, что в файле js (https://github.com/DeviaVir/zenbot/b...ommands/sim.js) вроде идёт речь о создании файла результате html, и как бы csv файл должен быть, ну как его получить не пойму? Кто имел опыт с ботом или как хотя-бы из консоли правильно скопировать данные?

Заранее благодарен.

Iska 14-03-2020 15:10 2913159
Цитата:
Цитата Dark_Delphin
И в консоли вот вытяжку выводит, которая мне и нужна (вот пример скопирован из консоли в ворд без имени.docx). Но с консоли оно копирует тупо одной строкой или как-то криво, хотелось бы как то разделить все это по столбцам как в консоли, »
Перенаправьте вывод в файл (а не «скопирован из консоли в ворд»), упакуйте файл в архив, каковой приложите к сообщению.

Dark_Delphin 14-03-2020 15:53 2913164
Вложений: 1
Iska, вот за пару дней последних сделал вывод в текстовый документ...

Iska 14-03-2020 17:19 2913168
Смотрю.

В выводе наблюдаются escape-последовательности (не стал всё отмечать):
Скрытый текст

— то есть, управление форматом, цветом и т.п. делается не непосредственно управлением консолью, а ANSI-командами для терминала («ANSI escape sequences»). Например, «[2K» — очищает всю текущую строку. Следующая команда, «[1G» — перемещает курсор в начало строки. «[44m» — устанавливает синий цвет фона. И т.п.

Собственно, весь вывод в реальности состоит из двух строк — первой, длиною 415 тысяч 958 символов (включая те самые «escape sequences») и третьей, длиною 49 тысяч 249 символов. Как и положено для Unix, строки заканчиваются одним символом LineFeed (0x10).

В конце наличествует небольшой блок в формате JSON.

То есть, что мы имеем «с гуся»? Фактически, никаких «строк» и «столбцов» в выводе нет, они организуются управляющими инструкциями escape-последовательностей для терминала (в числе прочего). Парсить такой вывод, конечно, можно попытаться, но — такое себе занятие, надо знать все escape-последовательности и уметь их разбирать и преобразовывать. Посему я бы попытался поискать параметр/настройку в Zenbot, которая бы либо отключала использование данных последовательностей, либо делала прямой вывод в текстовый файл в формате CSV.

Dark_Delphin 14-03-2020 18:17 2913179
Iska, такого парметра так и не нашел, пробовать в файле sim убрать лишний код, что-бы csv создавало. Или это надо знать все последовательности?

Iska 14-03-2020 19:08 2913180
Как минимум, все используемые escape-последовательности. И желательно понимать, что каждая из них делает, чтобы их убирать или на что следует заменять.

Ну, попробуйте так (на PowerShell):
Код:
((((Get-Content -Path 'C:\Мои проекты\0304\console.txt' -Raw) -replace "\e\[(1G|\d{1,3}m)", "") -replace "\e\[2K", "`r`n") -replace "`n", "`r`n")
Результат
Цитата:
Код:
2020-03-12 14:29:58  5420.80 XXBT-ZEUR              117                           
2020-03-12 14:31:59  5403.30 XXBT-ZEUR  -0.33%      50                           
2020-03-12 14:33:59  5447.20 XXBT-ZEUR  +0.81%      69                           
2020-03-12 14:35:59  5449.00 XXBT-ZEUR  +0.03%      64                           
2020-03-12 14:37:59  5395.90 XXBT-ZEUR  -0.98%      62                           
2020-03-12 14:39:58  5337.60 XXBT-ZEUR  -1.09%      79                           
2020-03-12 14:41:59  5347.30 XXBT-ZEUR  +0.18%      70                           
2020-03-12 14:43:57  5319.10 XXBT-ZEUR  -0.53%      45                           
2020-03-12 14:45:57  5326.10 XXBT-ZEUR  +0.13%      106                           
2020-03-12 14:47:59  5294.90 XXBT-ZEUR  -0.59%      65                           
2020-03-12 14:49:59  5252.30 XXBT-ZEUR  -0.81%      146                           
2020-03-12 14:51:59  5325.00 XXBT-ZEUR  +1.38%      106                           
2020-03-12 14:53:59  5305.50 XXBT-ZEUR  -0.37%      58                           
2020-03-12 14:55:59  5409.50 XXBT-ZEUR  +1.96%      106                           
2020-03-12 14:57:57  5419.10 XXBT-ZEUR  +0.17%      65  51.15 +                     
2020-03-12 14:59:57  5358.00 XXBT-ZEUR  -1.13%      83    - 45.09                   
2020-03-12 15:01:59  5424.60 XXBT-ZEUR  +1.24%      58  51.80 +                     
2020-03-12 15:03:59  5423.00 XXBT-ZEUR  -0.03%      75  51.63 +                     
2020-03-12 15:05:59  5403.40 XXBT-ZEUR  -0.37%      39    - 49.57                   
2020-03-12 15:07:59  5377.60 XXBT-ZEUR  -0.48%      23    - 46.92                   
2020-03-12 15:09:58  5344.60 XXBT-ZEUR  -0.62%      21    -- 43.70                   
2020-03-12 15:11:56  5335.20 XXBT-ZEUR  -0.18%      46    -- 42.80                   
2020-03-12 15:13:59  5359.30 XXBT-ZEUR  +0.45%      53    - 45.88                   
2020-03-12 15:15:59  5341.00 XXBT-ZEUR  -0.35%      72    -- 43.94                   
2020-03-12 15:17:58  5366.70 XXBT-ZEUR  +0.48%      83    - 47.31                   
2020-03-12 15:19:59  5341.50 XXBT-ZEUR  -0.47%      44    -- 44.49                   
2020-03-12 15:21:59  5348.30 XXBT-ZEUR  +0.12%      63    - 45.43                   
2020-03-12 15:23:59  5310.00 XXBT-ZEUR  -0.72%      59    -- 41.18    -0.0761    sell
2020-03-12 15:25:59  5320.00 XXBT-ZEUR  +0.18%      77    -- 42.69    -0.0567  0.0068          0.00000000 XXBT  1000.00 ZEUR  +0.00%  -0.06%
2020-03-12 15:27:59  5336.10 XXBT-ZEUR  +0.30%      44    - 45.13    -0.0303  0.0126          0.00000000 XXBT  1000.00 ZEUR  +0.00%  -0.36%
2020-03-12 15:29:59  5334.30 XXBT-ZEUR  -0.04%      41    -- 44.90    -0.0306  0.0170          0.00000000 XXBT  1000.00 ZEUR  +0.00%  -0.33%
2020-03-12 15:31:59  5255.10 XXBT-ZEUR  -1.49%      74    -- 36.16    -0.1379  0.0235          0.00000000 XXBT  1000.00 ZEUR  +0.00%  +1.17%
2020-03-12 15:33:59  5275.90 XXBT-ZEUR  +0.39%      54    -- 39.49    -0.0990  0.0365          0.00000000 XXBT  1000.00 ZEUR  +0.00%  +0.78%
2020-03-12 15:35:59  5250.10 XXBT-ZEUR  -0.49%      86    -- 36.92    -0.1276  0.0361          0.00000000 XXBT  1000.00 ZEUR  +0.00%  +1.27%
2020-03-12 15:37:59  5248.60 XXBT-ZEUR  -0.03%      162    -- 36.77    -0.1203  0.0381          0.00000000 XXBT  1000.00 ZEUR  +0.00%  +1.30%
2020-03-12 15:39:59  5246.20 XXBT-ZEUR  -0.05%      67    -- 36.51    -0.1149  0.0379          0.00000000 XXBT  1000.00 ZEUR  +0.00%  +1.35%
2020-03-12 15:41:59  5228.60 XXBT-ZEUR  -0.34%      46  --- 34.61    -0.1310  0.0372          0.00000000 XXBT  1000.00 ZEUR  +0.00%  +1.69%
2020-03-12 15:43:59  5198.60 XXBT-ZEUR  -0.58%      104  --- 31.60    -0.1633  0.0378          0.00000000 XXBT  1000.00 ZEUR  +0.00%  +2.27%
2020-03-12 15:45:59  5135.10 XXBT-ZEUR  -1.23%      123  --- 26.36    -0.2401  0.0422          0.00000000 XXBT  1000.00 ZEUR  +0.00%  +3.54%
2020-03-12 15:47:58  5288.30 XXBT-ZEUR  +2.98%      128    - 48.53    -0.0085  0.0547          0.00000000 XXBT  1000.00 ZEUR  +0.00%  +0.54%
2020-03-12 15:49:59  5240.60 XXBT-ZEUR  -0.91%      52    -- 44.08    -0.0746  0.0584          0.00000000 XXBT  1000.00 ZEUR  +0.00%  +1.45%
2020-03-12 15:51:59  5283.20 XXBT-ZEUR  +0.81%      52    - 48.61    -0.0095  0.0588          0.00000000 XXBT  1000.00 ZEUR  +0.00%  +0.64%
2020-03-12 15:53:58  5252.10 XXBT-ZEUR  -0.59%      27    - 45.70    -0.0523  0.0623          0.00000000 XXBT  1000.00 ZEUR  +0.00%  +1.23%
2020-03-12 15:55:59  5254.60 XXBT-ZEUR  +0.04%      44    - 45.98    -0.0450  0.0609          0.00000000 XXBT  1000.00 ZEUR  +0.00%  +1.18%
2020-03-12 15:57:59  5257.20 XXBT-ZEUR  +0.04%      19    - 46.29    -0.0380  0.0598          0.00000000 XXBT  1000.00 ZEUR  +0.00%  +1.13%
2020-03-12 15:59:56  5319.60 XXBT-ZEUR  +1.18%      25  53.23 +      0.0523  0.0617          0.00000000 XXBT  1000.00 ZEUR  +0.00%  -0.05%
2020-03-12 16:01:58  5327.00 XXBT-ZEUR  +0.13%      59  53.99 +      0.0588  0.0721          0.00000000 XXBT  1000.00 ZEUR  +0.00%  -0.19%
2020-03-12 16:03:58  5311.20 XXBT-ZEUR  -0.30%      37  52.05 +      0.0322  0.0790          0.00000000 XXBT  1000.00 ZEUR  +0.00%  +0.11%
2020-03-12 16:05:57  5291.50 XXBT-ZEUR  -0.38%      56    - 49.65    0.0022  0.0813          0.00000000 XXBT  1000.00 ZEUR  +0.00%  +0.48%
2020-03-12 16:07:59  5309.30 XXBT-ZEUR  +0.33%      55  51.81 +      0.0270  0.0809          0.00000000 XXBT  1000.00 ZEUR  +0.00%  +0.14%
2020-03-12 16:09:58  5321.50 XXBT-ZEUR  +0.22%      70  53.29 +      0.0421  0.0794          0.00000000 XXBT  1000.00 ZEUR  +0.00%  -0.09%
2020-03-12 16:11:58  5342.60 XXBT-ZEUR  +0.39%      24  55.82 ++      0.0685  0.0731          0.00000000 XXBT  1000.00 ZEUR  +0.00%  -0.48%
2020-03-12 16:13:59  5342.40 XXBT-ZEUR  -0.01%      26  55.79 ++      0.0631  0.0433      buy  0.00000000 XXBT  1000.00 ZEUR  +0.00%  -0.48%
2020-03-12 16:15:59  5355.30 XXBT-ZEUR  +0.24%      65  57.42 ++      0.0764  0.0457  bought  0.18432967 XXBT    12.71 ZEUR  +0.31%  -0.40%
2020-03-12 16:17:59  5371.70 XXBT-ZEUR  +0.30%      25  59.47 ++      0.0936  0.0422  bought  0.18432967 XXBT    12.71 ZEUR  +0.61%  -0.41%
2020-03-12 16:19:57  5377.70 XXBT-ZEUR  +0.11%      67  60.23 ++      0.0949  0.0449  bought  0.18432967 XXBT    12.71 ZEUR  +0.72%  -0.41%
2020-03-12 16:21:55  5403.10 XXBT-ZEUR  +0.47%      36  63.34 ++      0.1232  0.0418  bought  0.18432967 XXBT    12.71 ZEUR  +1.19%  -0.42%
2020-03-12 16:23:59  5413.70 XXBT-ZEUR  +0.19%      61  64.58 ++      0.1287  0.0393  bought  0.18432967 XXBT    12.71 ZEUR  +1.39%  -0.42%
2020-03-12 16:25:58  5390.50 XXBT-ZEUR  -0.43%      91  59.80 ++      0.0867  0.0343  bought  0.18432967 XXBT    12.71 ZEUR  +0.96%  -0.41%
2020-03-12 16:27:58  5390.20 XXBT-ZEUR  -0.01%      52  59.73 ++      0.0798  0.0344  bought  0.18432967 XXBT    12.71 ZEUR  +0.96%  -0.41%
2020-03-12 16:29:57  5389.70 XXBT-ZEUR  -0.01%      39  59.62 ++      0.0732  0.0343  bought  0.18432967 XXBT    12.71 ZEUR  +0.95%  -0.41%
2020-03-12 16:31:58  5444.20 XXBT-ZEUR  +1.01%      69  66.82 +++    0.1433  0.0330  bought  0.18432967 XXBT    12.71 ZEUR  +1.95%  -0.43%
2020-03-12 16:33:59  5461.30 XXBT-ZEUR  +0.31%      58  68.70 +++    0.1561  0.0310  bought  0.18432967 XXBT    12.71 ZEUR  +2.27%  -0.43%
…
…
…
2020-03-14 09:33:56  4983.40 XXBT-ZEUR  +0.06%      41  58.53 ++      0.0248  0.0177  bought  0.18156314 XXBT    11.54 ZEUR  +13.04%  +20.61%
2020-03-14 09:35:59  4958.90 XXBT-ZEUR  -0.50%      41    - 46.21    -0.0136  0.0132  bought  0.18156314 XXBT    11.54 ZEUR  +12.59%  +20.73%
2020-03-14 09:37:43  4973.20 XXBT-ZEUR  +0.28%        2  52.50 +      0.0087  0.0126    sold  0.00181564 XXBT  901.06 ZEUR  +12.83%  +20.63%
2020-03-14 09:39:56  4973.10 XXBT-ZEUR  -0.01%        4  52.45 +      0.0079  0.0132    sold  0.00181564 XXBT  901.06 ZEUR  +12.83%  +20.63%
2020-03-14 09:41:53  4980.60 XXBT-ZEUR  +0.15%        5  55.60 ++      0.0185  0.0135    sold  0.00181564 XXBT  901.06 ZEUR  +12.83%  +20.45%
buy cancel quarentine time: 2020-03-14 09:36:25

2020-03-14 09:43:56  4979.90 XXBT-ZEUR  -0.02%        2  55.24 ++      0.0161  0.0130    sold  0.00181564 XXBT  901.06 ZEUR  +12.83%  +20.47%
2020-03-14 09:45:40  4979.00 XXBT-ZEUR  -0.02%      10  54.73 +      0.0135  0.0129    sold  0.00181564 XXBT  901.06 ZEUR  +12.83%  +20.49%
2020-03-14 09:47:53  4977.90 XXBT-ZEUR  -0.03%        6  54.09 +      0.0109  0.0131    sold  0.00181564 XXBT  901.06 ZEUR  +12.83%  +20.52%
…
…
…
2020-03-14 14:39:54  4917.40 XXBT-ZEUR  +0.25%        4  50.50 +      0.0033  0.0297    sold  0.00181889 XXBT  896.37 ZEUR  +13.25%  +22.45%
2020-03-14 14:41:42  4917.80 XXBT-ZEUR  +0.00%        1  50.62 +      0.0036  0.0303    sold  0.00181889 XXBT  896.37 ZEUR  +13.25%  +22.44%
2020-03-14 14:43:50  4925.00 XXBT-ZEUR  +0.14%        7  52.86 +      0.0142  0.0314    sold  0.00181889 XXBT  896.37 ZEUR  +13.25%  +22.26%
2020-03-14 14:45:42  4921.70 XXBT-ZEUR  -0.07%        4  51.70 +      0.0082  0.0311    sold  0.00181889 XXBT  896.37 ZEUR  +13.25%  +22.35%
end balance: 1132.51658272 (13.25%)
buy hold: 924.65817833 (-7.54%)
vs. buy hold: 22.47%
57 trades over 3 days (avg 19.00 trades/day)
win/loss: 8/21
error rate: 72.41%
{
  "asset_capital": 0,
  "avg_slippage_pct": 0.045,
  "buy_pct": 99,
  "buy_stop_pct": 0,
  "currency_capital": 1000,
  "days": 2,
  "markdown_buy_pct": 0,
  "markup_sell_pct": 0,
  "max_buy_loss_pct": 99,
  "max_sell_loss_pct": 99,
  "max_slippage_pct": 5,
  "min_periods": 52,
  "mode": "sim",
  "neutral_rate": "auto",
  "order_adjust_time": 5000,
  "order_poll_time": 5000,
  "order_type": "maker",
  "oversold_rsi": 10,
  "oversold_rsi_periods": 14,
  "period": "2m",
  "period_length": "2m",
  "profit_stop_enable_pct": 0,
  "profit_stop_pct": 1,
  "quarentine_time": 10,
  "rsi_periods": 14,
  "selector": {
    "exchange_id": "kraken",
    "product_id": "XXBT-ZEUR",
    "asset": "XXBT",
    "currency": "ZEUR",
    "normalized": "kraken.XXBT-ZEUR"
  },
  "sell_pct": 99,
  "sell_stop_pct": 0,
  "show_options": true,
  "start": 1583971200000,
  "stats": false,
  "strategy": "trend_ema",
  "symmetrical": false,
  "trend_ema": 26,
  "verbose": false,
  "simresults": {
    "start_capital": 1000,
    "last_buy_price": "4848.00",
    "last_assest_value": 4916.5,
    "asset_capital": 8.926930231000197,
    "currency": 1132.51658272,
    "profit": 0.13251658272000008,
    "buy_hold": 924.6581783302928,
    "buy_hold_profit": -0.0753418216697072,
    "total_trades": 57,
    "length_days": 3,
    "total_sells": 29,
    "total_losses": 21,
    "vs_buy_hold": 22.47948585336139
  },
  "net_currency": 1123.5740100360015
}
wrote simulations/sim_result_kraken.XXBT-ZEUR_200314_124612_UTC.html

Насколько это годится для Ваших исходных целей — смотрите сами, поскольку мы ни на шаг не приблизились к CSV.

Dark_Delphin 14-03-2020 22:09 2913185
Iska, да, но я думал, если в файле sim.js есть речь о csv, то можно каждое значение в столбцы вывести в каждую ячейку отдельно.

Iska 14-03-2020 22:51 2913186
Dark_Delphin, если расскажете, что делать с этой разницей:
Цитата:
Код:
2020-03-12 14:29:58  5420.80 XXBT-ZEUR              117                           
2020-03-12 14:31:59  5403.30 XXBT-ZEUR  -0.33%      50                           
…
2020-03-12 14:53:59  5305.50 XXBT-ZEUR  -0.37%      58                           
2020-03-12 14:55:59  5409.50 XXBT-ZEUR  +1.96%      106                           
2020-03-12 14:57:57  5419.10 XXBT-ZEUR  +0.17%      65  51.15 +                     
2020-03-12 14:59:57  5358.00 XXBT-ZEUR  -1.13%      83    - 45.09                   
…
2020-03-12 15:19:59  5341.50 XXBT-ZEUR  -0.47%      44    -- 44.49                   
2020-03-12 15:21:59  5348.30 XXBT-ZEUR  +0.12%      63    - 45.43                   
2020-03-12 15:23:59  5310.00 XXBT-ZEUR  -0.72%      59    -- 41.18    -0.0761    sell
2020-03-12 15:25:59  5320.00 XXBT-ZEUR  +0.18%      77    -- 42.69    -0.0567  0.0068          0.00000000 XXBT  1000.00 ZEUR  +0.00%  -0.06%
2020-03-12 15:27:59  5336.10 XXBT-ZEUR  +0.30%      44    - 45.13    -0.0303  0.0126          0.00000000 XXBT  1000.00 ZEUR  +0.00%  -0.36%
…
а также с прочими данными, которые никак не вписываются в CSV — подумаем.

Dark_Delphin 01-04-2020 13:34 2915405
Вложений: 1
Iska, привет. Вот без разницы не подскажете, пожалуйста, как вставить примерно такого вида (https://prnt.sc/rqqye5)?


Время: 01:46.

Время: 01:46.
© OSzone.net 2001-