В качестве входных данных были предоставлены два набора изображений: тренировочные (train) и тестовые (test). В тренировочном наборе 25 различных областей поверхности земли, снятых со спутника, в тестовом 429 поверхностей. Для каждой поверхности было предоставлено 20 различных изображений снятых в разных спектрах спутником World View 3 [9] (см. таблицу 1).
Таблица № 1
Характеристики изображений спутника World View 3
|
Название на английском. | Длина волны, нм. | Разрешение, м. | Динамический диапазон, бит/пиксел. | Разрешение файлов, пиксел. | |
Panchromatic. | 450−800. | 0.31. | | ~ 3396×3348. | |
RGB (Red). | 630−690. | | | | |
RGB (Blue). | 450−510. | | | | |
RGB (Green). | 510−580. | | | | |
Coastal. | 400−450. | 1.24. | | ~ 849×837. | |
Blue. | 450−510. | | | | |
Green. | 510−580. | | | | |
Yellow. | 585−625. | | | | |
Red. | 630−690. | | | | |
RedEdge. | 705−745. | | | | |
Near-IR1. | 770−895. | | | | |
Near-IR2. | 860−1040. | | | | |
SWIR-1. | 1195−1225. | 7.5. | | ~136×134. | |
SWIR-2. | 1550−1590. | | | | |
SWIR-3. | 1640−1680. | | | | |
SWIR-4. | 1710−1750. | | | | |
SWIR-5. | 2145−2185. | | | | |
SWIR-6. | 2185−2225. | | | | |
SWIR-7. | 2235−2285. | | | | |
SWIR-8. | 2295−2365. | | | | |
|
Для тренировочных данных была также предоставлена готовая разметка по 10 классам. От участников соревнования требовалось автоматически получить разметку на тестовых данных. Список классов и их относительная площадь приведены в таблице 2.
Таблица № 2
Список классов для разметки и максимальный размер полигона
|
Номер класса. | Описание. | Максимальный размер полигона для отдельной картинки, %. | |
| Строения. | 20.7. | |
| Заборы и другие структуры. | 2.9. | |
| Большие дороги. | 4.3. | |
| Тропинки. | 12.3. | |
| Деревья. | 24.9. | |
| Возделываемые поля, зерновые культуры, и. т.д. | 93.6. | |
| Быстрая вода (реки, моря). | 10.6. | |
| Медленная вода (лужи, высохшие русла). | 1.4. | |
| Большие транспортные средства (грузовики, автобусы). | 0.018. | |
| Автомобили и мотоциклы. | 0.156. | |
|
Пример одной из тестовых картинок в RGB приведен на рис. 1. Полигоны для этой картинки изображены на рис. 2.
Рис. 1. — Один из тренировочных снимков
Рис. 2. — Полигональная разметка для тренировочного снимка
Для оценки решения использовалась метрика Jaccard Index, который задаётся формулой (1):
(1).
где TP — True positive, FP — False Positive, FN — False negative. Схематично формулу можно пояснить с помощью кругов Эйлера (см. рисунок 3).
Рис. 3. — Пересечение реального полигона A, с предсказанным полигоном B
Из формулы (1) видно, что Jaccard Index изменяется на промежутке от 0 до 1. При этом в задаче метрика считалась одновременно для всех картинок. Плохое предсказание на одной картинке значительно влияло на финальную метрику. Поэтому требовалось избегать ложноположительных срабатываний.