Анализ существующих систем и инструментов для обработки естественного языка

В данной главе приводится анализ бизнес-процесса сбора статистики и создания отчета и анализ существующих на данный момент инструментов для обработки естественного языка. На основе информации полученной в результате анализа будут выбраны инструменты для интеграции программного модуля.

Анализ бизнес-процесса сбора статистики и создания отчета

Для разработки программного обеспечения необходимо тщательно рассмотреть процесс, который автоматизируется с помощью программы. В рассматриваемом случае это бизнес процесс обработки текстового корпуса и генерации отчета о собранной статистике. С помощью анализа бизнес-процесса можно определить его «слабые места» и вывести функциональные требования к программному модулю.

Язык моделирования UML помогает графически описать бизнес-процесс, модель системы или организационную структуру [1]. В данном стандарте существует такой тип диаграмм как Activity Diagrams, предназначенные для описания последовательности действий необходимых для достижения конкретной цели. В данном случае этой целью является сгенерированный отчет.

Для рассматриваемого бизнес-процесса были разработаны две диаграммы активностей — AS-IS и TO-BE. Первая показывает, как процесс функционирует в данный момент, вторая, соответственно, как он должен работать, используя плагин. Сравнительный анализ данных диаграмм должен помочь сформулировать требования к разрабатываемому программному модулю.

Диаграмма AS-IS, представленная на рисунке 1.1, содержит двух актеров: пользователя и систему Gate Developer. Первое что делает пользователь, это загружает текстовый корпус в систему Gate Developer, используя пользовательский интерфейс программы. Далее проходит обработка текста, согласно задачам пользователя, после чего система генерирует *.txt документ с данными о частоте употребления элементов аннотированного текста. После чего, пользователь вручную вычленяет необходимые данные из полученного документа и создает отчет с помощью каких-либо текстовых или табличных редакторов. В результате, выходом процесса является отчет, составленный и оформленный по требованиям пользователя. Стоит отметить, что процесс мог занять большое количество времени и потребовать определенных усилий пользователя, не говоря о том, что многие показатели могли быть не подсчитаны. Таким образом, можно сделать вывод, что процесс на данном этапе функционирует не эффективно, так как является затратным по времени, а также требует частого вмешательства пользователя.

Рисунок 1.1. Диаграмма активностей для бизнес-процесса «AS-IS» .

Рассмотрим диаграмму TO-BE, которая отражает вариант преобразования процесса, используя программный модуль (см. рис. 1.2). Как можно увидеть на диаграмме, теперь пользователь принимает меньшее участие в функционировании процесса. Точкой входа также является загрузка пользователем корпуса текстов. Далее происходит обработка текстов, но теперь с использованием плагина, для сбора статистических данных. Далее программный модуль должен представить интерфейс, с помощью которого пользователь программы может установить определенные параметры отчета, такие как список отображаемых пунктов и настройки отображения и оформления. Плагин производит обработку результатов и генерирует отчет, в соответствии с установленными требованиями. Выходным параметром данного процесса также является отчет, соответствующий запросам пользователя, но по сравнению с процессом AS-IS он требует меньшего вмешательства пользователя и, как следствие, меньших трудозатрат.

В результате моделирования процессов AS-IS и TO-BE, а также их сравнительного анализа, было выявлено несколько требований предъявляемых разрабатываемому модулю:

• 1. Сбор статистических данных и подсчет стандартных показателей.
• 2. Возможность предоставления пользовательского интерфейса для управления генерацией отчета.
• 3. Генерация отчета согласно пользовательским параметрам.

Прежде чем приступать к моделированию программного модуля и его реализации необходимо рассмотреть рынок инструментов для обработки текстовых корпусов и проанализировать реализованные решения. Данный шаг может помочь, точнее определить проблему, а также ознакомиться с различными подходами к решению данной задачи.