Компьютерный форум OSzone.net  

Компьютерный форум OSzone.net (http://forum.oszone.net/index.php)
-   Скриптовые языки администрирования Windows (http://forum.oszone.net/forumdisplay.php?f=102)
-   -   [решено] Удаление нежелательных символов из строки. (http://forum.oszone.net/showthread.php?t=337374)

Amunrah 25-10-2018 16:36 2837573
Удаление нежелательных символов из строки.
 
Доброго времени суток уважаемые форумчане, в процессе написания батника возникла задача - очистить строки от нежелательных символов. Нежелательные символы, в идеале, это - !"№@#$^&*\|/?:%<~>` Частично проблема решается, но не со всеми символами прокатывает. Например &,%,<,>,| и " (двойная кавычка) ведут себя странновато. Подскажите способ их аккуратно извлечь и удалить не потеряв исходный текст, учитывая что строки читаются из файла, нельзя предугадать появление символов и нет возможности экранировать их в файле. Пример того что уже есть:

IN:
Код:
@echo off
SETLOCAL ENABLEDELAYEDEXPANSION
chcp 866>nul
rem ...обрабатываемый текст построчно читается из файла и имеет примерно следующий вид
set str=some *long:: ##\text %@and ~more /more !more "этот текст просто обрежется из-за кавычки

call :clean_out_str %str%

echo исходная строка - "%str%"
echo результат - "%clean_str%"

pause >nul
exit

:clean_out_str <str_for_clean>
set this_str=%*
set clean_str=
set /a char_counter=0

rem поиск и удаление нежелательных символов
:del_unwanted_chars
for /f "delims=" %%l in ("!this_str:~%char_counter%,1!") do (
    set current_char=%%~l
    if "!current_char!" NEQ "" (
        for /f %%f in ('echo "!current_char!"^|findstr /i /r "[\\|/?:*#@!%&~$<>]"') do (
            echo.%%f
            if %%f NEQ "" (
                set current_char=
                goto :next
            )
        )
        :next
        set clean_str=!clean_str!!current_char!
        set /a char_counter+=1
        goto :del_unwanted_chars
    )
)
exit /b
ENDLOCAL
OUT:
Код:
"*"
":"
":"
"#"
"#"
"\"
"@"
"~"
"/"
исходная строка - "some *long:: ##\text @and ~more /more more "этот текст просто обрежется из-за кавычки"
результат - "some long text and more more more "
Возможно есть альтернативные решения...

megaloman 25-10-2018 17:32 2837581
Amunrah, в CMD это сделать невозможно (имхо). Вот VBS
Код:
FileIn = "Z:\Box_In\Большой txt файл.txt"

harm = "!""№@#$^&*\|/?:%<~>`"
useful = " "

Set FSO = CreateObject("Scripting.FileSystemObject")

Set fIn = FSO.OpenTextFile(FileIn, 1, False)  ', -2)
Alls = fIn.ReadAll
fIn.Close

For i = 1 To Len(harm)
    Alls = Replace(Alls, Mid(harm, i, 1), useful)
Next

Set fIn = FSO.CreateTextFile(FileIn, True)
fIn.Write Alls
fIn.Close
Здесь нежелательные символы заменяются пробелами

megaloman 25-10-2018 20:10 2837615
Цитата:
Цитата Amunrah
в процессе написания батника »
Зачем нужен батник, пока не ясно, какая суперзадача? В CMD имхо замену всех символов из этого набора сделать нельзя. Если принципиально использовать cmd, то можно совместить bat-файл с функцией в виде скрипта js, который эту замену сделает. И можно всё остальное ваять в CMD (между /* и */).
bat c вызовом js
Код:
@set @E=1; /*

@Echo Off
        cls
        chcp 866 >nul

        Set "FileIn=Z:\Box_In\Большой txt файл.txt"
        Echo "%FileIn%"

        Cscript //NoLogo /E:jscript "%~dpnx0" "%FileIn%"
        Pause
GoTo :Eof

*/

var FileIn = WScript.Arguments(0);
//WScript.Echo(FileIn);

//var harm = '!"╣@#$^&*\\|/?:%<~>`';
  var harm = '!"№@#$^&*\\|/?:%<~>`';

var useful = " ";

var lharm=harm.length;

var FSO = WScript.CreateObject("Scripting.FileSystemObject");

var fIn = FSO.OpenTextFile(FileIn, 1, false);
var Alls = fIn.ReadAll();
fIn.Close();

for(var i=0; i<lharm; i++) {
        Alls = Alls.replace(new RegExp('\\'+harm.substr(i,1),'g'),useful);
}

fIn = FSO.CreateTextFile(FileIn, true);
fIn.Write(Alls);
fIn.Close();

Amunrah 25-10-2018 20:19 2837618
Цитата:
Цитата megaloman
Amunrah, в CMD это сделать невозможно (имхо). Вот VBS »
Жаль что в CMD не получится. C VBS как-то не сталкивался, но судя по примеру, вроде не очень сложно, и, как бы ни хотелось реализовать все функционалом батника, видимо буду двигаться в сторону VBS. Спасибо за оперативный ответ и рабочий пример.

Цитата:
Цитата megaloman
Зачем нужен батник, пока не ясно, какая суперзадача? В CMD имхо замену всех символов из этого набора сделать нельзя. Если принципиально использовать cmd, то можно совместить bat-файл с функцией в виде скрипта js, который эту замену сделает. И можно всё остальное ваять в CMD (между /* и */). »
Батник нужен для запуска на машинах юзверей (с разной виндой - от XP до 10-ки), доустановить на которые что-либо не получится. Кстати вариант с js мне кажется очень подходящим. Надо обкатать в работе на разных машинках )

Amunrah 25-10-2018 20:56 2837627
Цитата:
Цитата megaloman
bat c вызовом js »
Все работает, но не очень дружит с русским текстом, удаляет букву т и букву Д - если файл в OEM866 кодировке, при кодировке UTF-8 такого не наблюдается, но буква ф превращается в знак вопроса (пока только это заметил, возможно, что так только у меня...)

Iska 25-10-2018 21:22 2837632
Amunrah, для каждой кодировки — свой подход нужен. А про пакетные файлы здесь вообще забудьте: только WSH или PowerShell.

alpap 25-10-2018 21:33 2837637
как правильно заметил megaloman в cmd сложно сделать подобные вещи, но можно сделать просто предупреждающий bat.
Например есть файл, в строках которого мы не уверены, но хотим их использовать для имен файлов или папок, поможет такой bat:
(использованы, соответственно символы, запрещенные системой для имен)
Код:
@echo off
set "f=file.txt"
set "ss=* < > \ / | ? :"

<"%f%" (for /f "delims=" %%a in ('more') do @call :# "%%a")
pause& exit

:#
 for /f "delims=" %%a in ('cmd /v/c echo !ss!') do echo "%~1"|>nul findstr "%%a" && (
  <nul set /p="Есть запрещенный символ из состава: [%ss%] в строке: %~1"& echo:
  ) || (
  md "%~1"
  )
exit /b

megaloman 26-10-2018 00:36 2837662
Вложений: 2
Amunrah,
Цитата:
Цитата Amunrah
удаляет букву т и букву Д - если файл в OEM866 кодировке »
У меня не удаляет. Батник с js и текст в 866 кодировке. Прикрепил к сообщению. (переименовал в txt).
vbs в 1251 кодировке и текст в 866 кодировке тоже работают, но строку для замены пришлось подшаманить, чтобы № заменялся. Прикрепил к сообщению. (переименовал в txt).
Если в Вашем тексте нет гос секретов и вмешательства в американские выборы, хотелось бы протестировать решения на Вашем реальном файле.
И, однозначно, при разных кодировках файлов надо подбирать, как сохранить строку заменяемых символов - её кодировка должна совпадать с кодировкой файла.
По видимому, корректнее задавать эту строку в виде массива кодов символов.

Iska 26-10-2018 06:31 2837678
Цитата:
Цитата megaloman
По видимому, корректнее задавать эту строку в виде массива кодов символов. »
Дык, всё равно нужно будет знать кодировку исходного файла.

megaloman 26-10-2018 08:14 2837684
Iska, каждая задача должна иметь конечный смысл. Замена символов в файле - не конечная цель. Не может быть, чтобы на разных машинах файл для суперзадачи приходит в разных кодировках. Как не изгаляйся, останется вопрос: а зачем всё это нужно?Я еще могу пытаться телепатить, но заставить телепатить скрипт я не готов

Amunrah 26-10-2018 09:36 2837691
Вложений: 1
Цитата:
Цитата megaloman
Если в Вашем тексте нет гос секретов и вмешательства в американские выборы, хотелось бы протестировать решения на Вашем реальном файле.
И, однозначно, при разных кодировках файлов надо подбирать, как сохранить строку заменяемых символов - её кодировка должна совпадать с кодировкой файла.
По видимому, корректнее задавать эту строку в виде массива кодов символов. »
Никаких гос-секретов )) Все гораздо прозаичнее. Хотя подобные штуки уже есть, но, по разным причинам, решил написать свой инструмент для архивирования файловых инфобаз 1с. BAT-ник мал да удал и работает везде. Вобщем - если вам интересно в двух словах - тулза, являясь частью системы автоматизации, формирует меню выбора в виде списка баз на основе файлика ibases.v8i, в котором, среди прочего, хранятся имена и пути. Сам файл, насколько я понял, всегда имеет кодировку utf-8 c bom, поэтому приходится сначала конвертить его в cp866 во временный файл и только потом уже парсить. Это для совместимости батника с WinXP (конвертирую с помощью win_iconv). В результате все просто - нужно лишь выбрать информационную базу из списка меню, а все пути подставятся сами и она благополучно улетит в датированный архив (через 7zip_extra) в подкаталог с именем базы. (это быстро и удобно + сама 1С, во избежание, рекомендует делать архивы копированием, а не выгрузкой - https://its.1c.ru/db/metod8dev#content:2922:hdoc)
Проблемы появляются, когда пользователь с фантазией не скучно и не стандартно обзывает свои базы, поэтому и возникает необходимость прогонять некоторые строки файла через фильтр. Если подходить строго, то удалять нужно символы, которые нельзя использовать в путях, но задача показалась мне интересной и для универсальности хотелось бы менять набор символов в широком диапазоне.
п.с. Понимаю, что практически на любом другом интерпретируемом языке реализовать подобное не составило бы большого труда, однако нужно чтобы и работало на любом компе.

п.п.с Файлик во вложении

Amunrah 26-10-2018 18:11 2837782
Задача оказалась решаемой. Просто нужно быть аккуратнее с синтаксисом. Оставлю тут, может кому-то тоже пригодится:

IN:
Код:
@echo off
SETLOCAL ENABLEDELAYEDEXPANSION
chcp 866>nul
rem ...обрабатываемый текст построчно читается из файла и имеет примерно следующий вид
set "str=some *long:?: $long #&#\te=^^xt <%@and |~№more /more> !more"

call :clean_out_str "%str%"

echo исходная строка - "%str%"
echo результат - %clean_str:"=%

pause >nul
exit

:clean_out_str <str_for_clean>
set this_str=%*
set clean_str=
set /a char_counter=0

rem поиск и удаление нежелательных символов
:del_unwanted_chars
for /f "delims=" %%l in ("!this_str:~%char_counter%,1!") do (
    set current_char=%%~l
    if !current_char! NEQ "" (
        for /f %%f in ('echo "!current_char!"^|findstr /r "[\\|/?:*#^^=@!%&~$<>№]"') do (
            echo.%%f
            if %%f NEQ "" (
                set current_char=
            )
        )
        set clean_str=!clean_str!!current_char!
        set /a char_counter+=1
        goto :del_unwanted_chars
    )
)
exit /b
ENDLOCAL
OUT:
Код:
"*"
":"
"?"
":"
"$"
"#"
"&"
"#"
"\"
"="
"^"
"^"
"<"
"@"
"|"
"~"
"№"
"/"
">"
исходная строка - "some *long:?: $long #&#\te=^xt <@and |~№more /more> more"
результат - some long long text and more more more
Только кавычки приходится удалять стандартно %result:"=% Тут пример с заданной строкой, поэтому не получается использовать кавычки не экранируя их, но при чтении строк циклом из файла проблем не возникло. Единственное не удалось победить восклицательный и знак процента - по одиночке они пропадают сами, а в паре вырезают часть заключенного в них текста, не понятно как запретить интерпретатору считать их частью переменной. Но, думаю, это мелочи... радует сам факт, и cmd, как оказалось, не так уж плох )

alpap 26-10-2018 18:43 2837788
Amunrah,
кроме парных кавычек проблемы с удалением может доставить знак "="
еще почему-то нет "^", хотя тоже проблемный символ.
вообще как по мне достаточно варианта что я приводил из п7, проблемные строки просто игнорируются с выводом на экран и если учесть что проблемные строки из вашего файла претерпевают изменение, то небольшая разница с игнорированием или можно сделать замену на "name(N+1)"

Amunrah 26-10-2018 19:24 2837806
alpap:
Цитата:
Цитата alpap
Amunrah,
кроме парных кавычек проблемы с удалением может доставить знак "="
еще почему-то нет "^", хотя тоже проблемный символ.
вообще как по мне достаточно варианта что я приводил из п7, проблемные строки просто игнорируются с выводом на экран и если учесть что проблемные строки из вашего файла претерпевают изменение, то небольшая разница с игнорированием или можно сделать замену на "name(N+1)" »
Да, вы правы, во многих случаях вполне достаточно вашего варианта, но это скорее обходной маневр,а мне просто хотелось разобраться в проблеме... )
Дополнил регулярку - [\\|/?:*#^^=@!%&~$<>] - при чтении из файла срабатывает нормально, однако если задавать строку в батнике, то символ ^ нужно экранировать ^^

Iska 26-10-2018 20:04 2837816
Цитата:
Цитата megaloman
Не может быть, чтобы на разных машинах файл для суперзадачи приходит в разных кодировках. »
Именно так.

Цитата:
Цитата megaloman
Как не изгаляйся, останется вопрос: а зачем всё это нужно? »
Я пишу проще: «нахрена?» :lol:.

Amunrah, многое из того, что Вы выбрасываете, вполне допустимо в путях и именах файлов: Naming Files, Paths, and Namespaces | Microsoft Docs. И да — разворачиваете на Windows XP PowerShell 2.0 и перестаёте заниматься извращениями на пакетных файлах ([System.IO.Path]::GetInvalidPathChars()/[System.IO.Path]::GetInvalidFileNameChars()).

Amunrah 26-10-2018 21:03 2837841
Iska
Цитата:
Цитата Iska
Amunrah, многое из того, что Вы выбрасываете, вполне допустимо в путях и именах файлов: Naming Files, Paths, and Namespaces | Microsoft Docs. И да — разворачиваете на Windows XP PowerShell 2.0 и перестаёте заниматься извращениями на пакетных файлах ([System.IO.Path]::GetInvalidPathChars()/[System.IO.Path]::GetInvalidFileNameChars()). »
Кто же спорит, но я ведь уже писал, что такой набор символов был выбран интереса ради и общей пользы для. В итоге с удалением недопустимых знаков батник справляется на ура плюс имеет некоторую гибкость и универсальность. Естественно на своем железе можно развернуть вообще все что угодно, вопрос выбора CMD возникает когда нужно автоматизировать рутину на куче чужих машин, где что-то устанавливать, как минимум, лишняя потеря времени...


Время: 21:23.

Время: 21:23.
© OSzone.net 2001-