Березин Б., Ландэ Д., Павленко О. Разработка, оценка и использование алгоритма сегментации слов для систем мониторинга национальных интернет-ресурсов / Development, Evaluation and Usage of Word Segmentation Algorithm for National Internet Resources Monitoring Systems

// Информационные технологии и безопасность. Материалы XVII Международной научно-практической конференции ИТБ-2017. - К.: ООО "Инжиниринг", 2017. C. 22-31.

// CEUR Workshop Proceedings (ceur-ws.org). Vol-2067 urn:nbn:de:0074-2067-8. Selected Papers of the XVII International Scientific and Practical Conference on Information Technologies and Security (ITS 2017) [http://ceur-ws.org/Vol-2067/paper3.pdf]

[an error occurred while processing this directive][an error occurred while processing this directive] File not found. [an error occurred while processing this directive]


Показана актуальность задачи сегментации слов при формировании индекса поисковых систем в связи с ростом ресурсов китайского и др. сегментов Интернет. Приведены варианты АСС, которые могут быть использованы для формирования индекса поисковой системы, показана применимость моделей на основе словаря.
Рассмотрены модели реализации FMM АСС на основе словаря. Предложен алгоритм сегментации с поиском кратчайшего пути в графе и разработано программное обеспечение.
Получены оценки качества сегментации и результаты использования модели АСС при формировании индекса поисковой системы для мониторинга веб-ресурсов китайского сегмента Интернет, которые показывают возможность использования алгоритма при достаточном объеме словаря.

PDF

HOME