Транслитерация текста CHGSTR.EXE

[kdolzhanskiy@vk]

Уважаемые знатоки, помогите разобраться с использованием bat для транслитерации содержимого текстового файла (расширение txt) в латиницу (UPPER CASE), который получается при парсинге xml. Используется для последующей отправки в RDS-кодер радиостанции. Навык "научного тыка" не помог.
Содержимое меняется в зависимости от проигрываемого трека, но всегда состоит из "Название артиста - название песни".

К примеру:
содержимое OnAir.txt: Malika Yes - Ойнамаймын сенімен
Нужно чтобы попало в новый файл OnAir_convert.txt: MALIKA YES - OYNAMAYIN SENIMEN

А в случае если латиница присутствует ничего не менять кроме регистра:
OnAir.txt: Azamat - Araiym
>OnAir_convert.txt:AZAMAT - ARAIYM

Нашел в одной из старинных веток подсказку что это можно сделать через bat и CHGSTR.EXE, но не смог осилить. Операционка Win10 и Win7
@echo off

set file=text.txt

copy %file% %file%.bak

CHGSTR "*" "a" %file%
CHGSTR "Ў" "b" %file%
CHGSTR "ў" "v" %file%
CHGSTR "Ј" "g" %file%
CHGSTR "¤" "d" %file%
CHGSTR "Ґ" "e" %file%
CHGSTR "с" "e" %file%
CHGSTR "¦" "zh" %file%
CHGSTR "§" "z" %file%
CHGSTR "Ё" "i" %file%
CHGSTR "©" "io" %file%
CHGSTR "Є" "k" %file%
CHGSTR "«" "l" %file%
CHGSTR "¬" "m" %file%
CHGSTR "*" "n" %file%
CHGSTR "®" "o" %file%
CHGSTR "Ї" "p" %file%
CHGSTR "а" "r" %file%
CHGSTR "б" "s" %file%
CHGSTR "в" "t" %file%
CHGSTR "г" "u" %file%
CHGSTR "д" "f" %file%
CHGSTR "е" "h" %file%
CHGSTR "ж" "c" %file%
CHGSTR "з" "ch" %file%
CHGSTR "и" "sh" %file%
CHGSTR "й" "sh" %file%
CHGSTR "к" "!" %file%
CHGSTR "л" "i" %file%
CHGSTR "м" "!" %file%
CHGSTR "н" "e" %file%
CHGSTR "о" "yu" %file%
CHGSTR "п" "ya" %file%


CHGSTR "Ђ" "A" %file%
CHGSTR "Ѓ" "B" %file%
CHGSTR "‚" "V" %file%
CHGSTR "ѓ" "G" %file%
CHGSTR "„" "D" %file%
CHGSTR "…" "E" %file%
CHGSTR "р" "E" %file%
CHGSTR "†" "ZH" %file%
CHGSTR "‡" "Z" %file%
CHGSTR "€" "I" %file%
CHGSTR "‰" "IO" %file%
CHGSTR "Љ" "K" %file%
CHGSTR "‹" "L" %file%
CHGSTR "Њ" "M" %file%
CHGSTR "Ќ" "N" %file%
CHGSTR "Ћ" "O" %file%
CHGSTR "Џ" "P" %file%
CHGSTR "ђ" "R" %file%
CHGSTR "‘" "S" %file%
CHGSTR "’" "T" %file%
CHGSTR "“" "U" %file%
CHGSTR "”" "F" %file%
CHGSTR "•" "H" %file%
CHGSTR "–" "C" %file%
CHGSTR "—" "CH" %file%
CHGSTR "�" "SH" %file%
CHGSTR "™" "SH" %file%
CHGSTR "љ" "!" %file%
CHGSTR "›" "I" %file%
CHGSTR "њ" "!" %file%
CHGSTR "ќ" "E" %file%
CHGSTR "ћ" "YU" %file%
CHGSTR "џ" "YA" %file%

[Iska]

kdolzhanskiy@vk, xml — это, скорее всего, какой-нибудь UTF-8, не?

Лучше упакуйте несколько xml в архив, каковой приложите к сообщению, и опишите, что оттуда надо извлекать.

[YuS_2]

Операционка Win10 и Win7 »
лучше сразу на powershell:
function global:translit {
process {
$charr = @{
[char]'А' = "A"
[char]'а' = "a"
[char]'Б' = "B"
[char]'б' = "b"
[char]'В' = "V"
[char]'в' = "v"
[char]'Г' = "G"
[char]'г' = "g"
[char]'Д' = "D"
[char]'д' = "d"
[char]'Е' = "E"
[char]'е' = "e"
[char]'Ё' = "E"
[char]'ё' = "e"
[char]'Ж' = "ZH"
[char]'ж' = "zh"
[char]'З' = "Z"
[char]'з' = "z"
[char]'И' = "I"
[char]'и' = "i"
[char]'Й' = "I"
[char]'й' = "i"
[char]'К' = "K"
[char]'к' = "k"
[char]'Л' = "L"
[char]'л' = "l"
[char]'М' = "M"
[char]'м' = "m"
[char]'Н' = "N"
[char]'н' = "n"
[char]'О' = "O"
[char]'о' = "o"
[char]'П' = "P"
[char]'п' = "p"
[char]'Р' = "R"
[char]'р' = "r"
[char]'С' = "S"
[char]'с' = "s"
[char]'Т' = "T"
[char]'т' = "t"
[char]'У' = "U"
[char]'у' = "u"
[char]'Ф' = "F"
[char]'ф' = "f"
[char]'Х' = "KH"
[char]'х' = "kh"
[char]'Ц' = "TC"
[char]'ц' = "tc"
[char]'Ч' = "CH"
[char]'ч' = "ch"
[char]'Ш' = "SH"
[char]'ш' = "sh"
[char]'Щ' = "SHCH"
[char]'щ' = "shch"
[char]'Ъ' = ""
[char]'ъ' = ""
[char]'Ы' = "Y"
[char]'ы' = "y"
[char]'Ь' = ""
[char]'ь' = ""
[char]'Э' = "E"
[char]'э' = "e"
[char]'Ю' = "YU"
[char]'ю' = "yu"
[char]'Я' = "YA"
[char]'я' = "ya"
}
$_.tochararray()|%{
if ($charr[$_] -cne $null){
$arr += $charr[$_]
} else {
$arr += $_
}
}
write-output $arr
}
}
- это функция. Можно в профиль добавить, затем использовать в любом месте, либо в скрипт добавить и использовать в нем.

Применять так (при условии добавления в профиль):
(gc onair.txt -enc utf8 -raw|translit).toupper()|out-file onair_convert.txt -enc utf8
При желании, можно и из батника запускать...
@echo off
powershell -ex bypass -c "&{(gc onair.txt -enc utf8 -raw|translit).toupper()|out-file onair_convert.txt -enc utf8}"
pause&exit /b

ЗЫ В десятке будет работать сразу, а в семерке - powershell лучше сразу обновить до версии 5.1

[kdolzhanskiy@vk]

Лучше упакуйте несколько xml в архив, каковой приложите к сообщению, и опишите, что оттуда надо извлекать. »

По счастью извлечение из xml - пройденный этап. Вопрос именно в транслите того. что получается, а именно содержимого текстового фала из одной строки

[kdolzhanskiy@vk]

лучше сразу на powershell: »
Сохранил как скрипт. Выдает ошибку.

PS C:\WINDOWS\system32> F:\auto\translit.ps1
F:\auto\translit.ps1:7 знак:11
+ [char]'Р=±' = "b"
+ ~
Отсутствует оператор ''='' после ключа в хэш-литерале.
F:\auto\translit.ps1:71 знак:19
+ $_.tochararray()|%{
+ ~
Отсутствует оператор ''='' после ключа в хэш-литерале.
F:\auto\translit.ps1:2 знак:10
+ process {
+ ~
Отсутствует закрывающий знак "}" в блоке операторов или определении типа.
F:\auto\translit.ps1:1 знак:26
+ function global:translit {
+ ~
Отсутствует закрывающий знак "}" в блоке операторов или определении типа.
+ CategoryInfo : ParserError: (:) [], ParentContainsErrorRecordException
+ FullyQualifiedErrorId : MissingEqualsInHashLiteral

[Iska]

kdolzhanskiy@vk, кодировка. Уж если сохраняете скрипт в UTF-8 — добавляйте BOM (а правильнее — сохраняйте в UTF-16LE/1200 с BOM или в ANSI/1251).

P.S. «-enc utf8» в коде коллеги YuS_2 в Вашем случае (ANSI/1251) нужно заменить на «-Encoding default».

[YuS_2]

P.S. «-enc utf8» в коде коллеги YuS_2 в Вашем случае (ANSI/1251) нужно заменить на «-Encoding default». »
Это да, но скорее, выбор кодировки уже будет зависеть от кодировки самого исходного файла...

[Iska]

YuS_2, автор выложил пример txt-файла в первом сообщении темы, там ANSI/1251. Это я хотел от него получить xml, предполагая, что там может быть какой-нибудь UTF-8.

[YuS_2]

автор выложил пример txt-файла в первом сообщении темы »
А, точно... упустил из виду и упоминание xml сбило с толку. Тогда да, однозначно default и никаких гвоздей! :)

[Busla]

kdolzhanskiy@vk, вам нужна не транслитерация. По крайней мере только её недостаточно - разные тире, кавычки, диактрические знаки и прочая расширенную типографику тоже стоит учитывать.

YuS_2, словарь надо в секции begin определять
зачем разные кавычки?

[Iska]

kdolzhanskiy@vk, вам нужна не транслитерация. По крайней мере только её недостаточно - разные тире, кавычки, диактрические знаки и прочая расширенную типографику тоже стоит учитывать. »
Автор ещё до этого не дозрел :).

зачем разные кавычки? »
Хотите — догадаюсь с одной попытки? У коллеги YuS_2 C-шная привычка, надо полагать, сказывается ;).

[YuS_2]

словарь надо в секции begin определять »
согласен, это будет правильнее...

зачем разные кавычки? »
C-шная привычка, надо полагать, сказывается »
нет, не привычка, это обычная лень... набивать было лень, поэтому нагло стырил из чужого кода готовую хэштаблицу. :)

[Iska]

Ну, стало быть, у того человека рефлекс сработал :).

[kdolzhanskiy@vk]

Господа, мой максимум - собрать костыль из batников. Вот такими костылями я сумел пройти от: NowPlayingTemplate.htm - > index.htm -> OnAir.txt Все три файла в auto.7z Сейчас по совету YuS_2 и
Iska приступил к освоению Powershell. Предложенная функция translit (с исправлениями), судя по всему, отлично работает, но у меня пока не хватает опыта чтобы ее грамотно запускать.

[YuS_2]

пока не хватает опыта чтобы ее грамотно запускать. »
А какие сложности с запуском?
Есть же варианты...
Проще всего, с исправлениями, добавить функцию в профиль (это файл, расположенный по пути Users\NAME_USER\Documents\WindowsPowerShell\profile.ps1 либо имя файла может быть и таким: Microsoft.PowerShell_profile.ps1), после чего, её можно использовать в любых скриптах powershell... а способ запуска через сценарий .bat, выше описан.
Вот подправленная функция:
function global:translit {
begin {
$charr = @{
[char]'А' = 'A'
[char]'а' = 'a'
[char]'Б' = 'B'
[char]'б' = 'b'
[char]'В' = 'V'
[char]'в' = 'v'
[char]'Г' = 'G'
[char]'г' = 'g'
[char]'Д' = 'D'
[char]'д' = 'd'
[char]'Е' = 'E'
[char]'е' = 'e'
[char]'Ё' = 'E'
[char]'ё' = 'e'
[char]'Ж' = 'ZH'
[char]'ж' = 'zh'
[char]'З' = 'Z'
[char]'з' = 'z'
[char]'И' = 'I'
[char]'и' = 'i'
[char]'Й' = 'I'
[char]'й' = 'i'
[char]'К' = 'K'
[char]'к' = 'k'
[char]'Л' = 'L'
[char]'л' = 'l'
[char]'М' = 'M'
[char]'м' = 'm'
[char]'Н' = 'N'
[char]'н' = 'n'
[char]'О' = 'O'
[char]'о' = 'o'
[char]'П' = 'P'
[char]'п' = 'p'
[char]'Р' = 'R'
[char]'р' = 'r'
[char]'С' = 'S'
[char]'с' = 's'
[char]'Т' = 'T'
[char]'т' = 't'
[char]'У' = 'U'
[char]'у' = 'u'
[char]'Ф' = 'F'
[char]'ф' = 'f'
[char]'Х' = 'KH'
[char]'х' = 'kh'
[char]'Ц' = 'TC'
[char]'ц' = 'tc'
[char]'Ч' = 'CH'
[char]'ч' = 'ch'
[char]'Ш' = 'SH'
[char]'ш' = 'sh'
[char]'Щ' = 'SHCH'
[char]'щ' = 'shch'
[char]'Ъ' = ''
[char]'ъ' = ''
[char]'Ы' = 'Y'
[char]'ы' = 'y'
[char]'Ь' = ''
[char]'ь' = ''
[char]'Э' = 'E'
[char]'э' = 'e'
[char]'Ю' = 'YU'
[char]'ю' = 'yu'
[char]'Я' = 'YA'
[char]'я' = 'ya'
}

}
process {
$_.tochararray()|%{
if ($charr[$_] -cne $null){
$arr += $charr[$_]
} else {
$arr += $_
}
}
write-output $arr
}
}
Запускать через батник, как описано выше, предварительно заменив utf8 на default во всех местах батника, если исходные файлы в кодировке 1251

[Busla]

kdolzhanskiy@vk, в целом смешивание батников и PoSh нельзя назвать грамотным подходом. Поэтому пока не заморачивайтесь перфекционизмом и просто скопируйте код.

Если вас смутила инструкция:
это функция. Можно в профиль добавить, затем использовать в любом мест »
то профиль в данном случае - это скрипт на powershell который автоматически исполняется при каждом запуске powershell
набери в консоли powershell
$PROFILE
в ответ высветится полное имя файла
впрочем, проще сразу дать команду на редактирование:
notepad.exe $PROFILE
вставляете код из третьего сообщения и жмёте Сохранить как, там указываете кодировку UTF-8

теперь функцию translit можно использовать без каких-либо дополнительных телодвижений

Сейчас по совету YuS_2 и Iska приступил к освоению Powershell »
сочувствую
для начала освоения у вас не самая подходящая задача, потому что сложившийся подход для извлечения данных из текста - регулярные выражения (regexp); для извлечения данных из html/xml - DOM, xPath, XSLT. Каждой из технологий посвящены довольно объёмные книги

подозреваю, что NowPlayingTemplate.htm тоже результат какой-то обработки - не похож он на html

Да и по powershell я не видел толковых учебников. Значительная часть примеров (если не сказать: подавляющее большинство) что у MS, что у сторонних разработчиков модулей демонстрирует явно функциональный подход. Однако нигде сколько-нибудь последовательно сама функциональная парадигма не подаётся.
Складывается ощущение, что чтобы писать грамотно на powershell нужно изучать какой-нибудь Haskell или хотя бы Python.

[Iska]

подозреваю, что NowPlayingTemplate.htm тоже результат какой-то обработки - не похож он на html »
Да это какой-нибудь include скорее всего.

Да и по powershell я не видел толковых учебников. »
Да, это прямо беда… :(

[kdolzhanskiy@vk]

подозреваю, что NowPlayingTemplate.htm тоже результат какой-то обработки - не похож он на html »
На самом деле это был html c элементами xml. Просто я купировал его под свои нужды до трех строчек