Алгоритм параллельного выполнения FCM-кластеризации

На рис. 1 изображен алгоритм параллельного выполнения FCM — кластеризации.

Рис. 1. Алгоритм параллельного выполнения FCM алгоритма.

Как известно, на создание и запуска потока системе требуется довольно много ресурсов, что также будет «тормозить» выполнение основной задачи. Во избежание этого в начале выполнения алгоритма создается пул потоков фиксированного размера. Размер этого пула (количество потоков) задает сам пользователь приложения. Самым оптимальным будет размер равный количеству доступных ядер или процессоров на компьютере или в вычислительном кластере.

Каждый этап алгоритма делится на потоки. Пул потоков позволяет не заботиться о количестве одновременно запускаемых задач. Если в настоящий момент нет свободных для выполнения задачи потоков, то они ожидают в очереди. Для подтверждения целесообразности распараллеливания данного алгоритма был проведен небольшой эксперимент.

Эксперимент

Исходные данные:

Документов: 265.

Уникальных термов: 4713.

Кластеров: 10.

Итераций: 50.

Компьютер: Intel 2.4 ГГц 2х ядерный.

Таблица 1. Результаты экспериментов

Как видно из результатов эксперимента последовательное выполнение занимает около 72 мин в ОС Linux и около 74 в Windows XP. При этом параллельное выполнение в Linux сокращает время более чем в 2 раза.