Имя пользователя:
Пароль:
 | Правила  

Компьютерный форум OSzone.net » Компьютеры + Интернет » Хочу все знать » Подскажите программу, анализирующую текст

Ответить
Настройки темы
Подскажите программу, анализирующую текст

Новый участник


Сообщения: 13
Благодарности: 0

Профиль | Отправить PM | Цитировать


Кто-нибудь знает программу, которой можно скормить несколько больших текстов, и чтоб она показала список наиболее часто встречающихся в этих текстах (суммарно) слов в порядке уменьшения частоты повторения. Типа такого:
http://ru.wiktionary.org/wiki/Прилож...тности_по_НКРЯ

Отправлено: 18:02, 07-01-2014

 
MKN MKN вне форума

Ветеран


Сообщения: 2398
Благодарности: 573

Профиль | Отправить PM | Цитировать


Цитата 4ton:
программу, которой можно скормить несколько больших текстов, и чтоб она показала список наиболее часто встречающихся в этих текстах (суммарно) слов в порядке уменьшения частоты повторения. »
Наверное любой программер сможет написать такую - скрипт с задачей условий, фильтрацией и с использованием регулярных выражений...
Осталось только найти такого альтруиста...

Отправлено: 15:26, 08-01-2014 | #2



Для отключения данного рекламного блока вам необходимо зарегистрироваться или войти с учетной записью социальной сети.

Если же вы забыли свой пароль на форуме, то воспользуйтесь данной ссылкой для восстановления пароля.


Ветеран


Сообщения: 27449
Благодарности: 8088

Профиль | Отправить PM | Цитировать


MKN, чёрта с два любой. Это ж не англицкий, тут надо учитывать все варианты склонений, спряжения, омонимы и т.п. Я не завидую такому альтруисту.

Отправлено: 15:33, 08-01-2014 | #3

MKN MKN вне форума

Ветеран


Сообщения: 2398
Благодарности: 573

Профиль | Отправить PM | Цитировать


Iska,
Можно ведь упростить задачу. Вывести список, например первой сотни, наиболее часто употоребляемых в тексте ВСЕХ слов, ( включая слова с разноокончаниями и пр).
А потом уже, если надо (в поставленной задаче вроде как нет жесткого условия для выбираемых слов) , отсортировать однокоренные и пр. слова...

Отправлено: 15:43, 08-01-2014 | #4


Ветеран


Сообщения: 27449
Благодарности: 8088

Профиль | Отправить PM | Цитировать


Цитата MKN:
Можно ведь упростить задачу. Вывести список, например первой сотни, наиболее часто употоребляемых в тексте ВСЕХ слов, ( включая слова с разноокончаниями и пр). »
С эти-то никаких проблем нет:
читать дальше »
Код: Выделить весь код
$sFile = "D:\Мои архивы\Литература\Русь и Орда\Karamih2.txt"

$hDictionary = @{}

if(Test-Path -Path $sFile) {
    (Get-Content -Path $sFile) -split '\.|,|!|;|"|-|:|\(|\)|\d| ' | ForEach-Object -Process {
        $hDictionary[$_] += 1
    }
    
    $hDictionary.Remove('')
    $hDictionary.GetEnumerator() | Sort-Object -Property Value -Descending
}


Цитата MKN:
отсортировать однокоренные и пр. слова... »
Омонимы. Чтобы их разбирать — нужно определять смысл текста.

Отправлено: 20:37, 08-01-2014 | #5



Компьютерный форум OSzone.net » Компьютеры + Интернет » Хочу все знать » Подскажите программу, анализирующую текст

Участник сейчас на форуме Участник сейчас на форуме Участник вне форума Участник вне форума Автор темы Автор темы Шапка темы Сообщение прикреплено

Похожие темы
Название темы Автор Информация о форуме Ответов Последнее сообщение
PowerShell - [решено] Подскажите как получить текст расположенный между тегами dark-------13 Скриптовые языки администрирования Windows 24 30-03-2013 19:15
Подскажите программу VbInt Флейм 4 11-08-2011 22:26
Подскажите программу vof44ik Хочу все знать 5 30-05-2009 08:17
Подскажите программу Smasher Хочу все знать 7 03-12-2007 00:59
Подскажите программу Andrew S Программное обеспечение Linux и FreeBSD 7 15-05-2005 17:57




 
Переход