Вид документа : Статья из журнала Шифр издания : Ш1/Г 67 Автор(ы) : Горбич Л. Г. Заглавие : Поиск оптимального набора букв для стилевой классификации художественных текстов методом статистических индексов Место публикации : Программные продукты и системы. - 2023. - Т. 36, № 4. - С. 654-660 ББК : Ш1 Предметные рубрики: ЯЗЫКОЗНАНИЕ Ключевые слова (''Своб.индексиров.''): стилевая классификация--набор букв--автоматическая классификация текстов--статистический индекс--машинное обучение--метод оптимизации--roc-кривая Аннотация: В статье рассматривается проблема улучшения методов стилевой классификации русскоязычных текстов. В качестве возможного направления исследований предложен метод оптимизации набора (множества) букв, применяемого для вычисления статистических индексов текстов. Для оптимизации и контроля результатов использованы поэтические и прозаические художественные тексты на русском языке. Объем текстов составлял порядка 300 тысяч знаков при оптимизации и 100 тысяч знаков при контрольной оценке. Для вычисления статистических индексов рассчитывались частотности биграмм и триграмм букв. При оптимизации опробован также и вариант совместного использования индексов биграмм и триграмм. В статье дано краткое описание метода статистических индексов, приведены применявшиеся в исследовании алгоритм пошаговой оптимизации, вид возможной оптимизационной функции и формула для нахождения границы классификации. Показано, что оптимизация набора букв улучшает классификацию по сравнению с вариантом использования как полного набора букв, так и набора из гласных букв в применении к задаче автоматического различения поэтических и прозаических художественных текстов на русском языке. Проведено сравнение результатов классификации по предложенной формуле границы классификации с результатами расчетов по классификации методом ROC-кривых. В итоге для разных сочетаний статистических индексов и способов определения границы классификации интервал верной классификации составил 72–74 % для набора, включающего все буквы, 82–86 % для набора, включающего только гласные буквы, и 80.5–92.5 % для разных наборов букв, полученных при оптимизации