Модель предсказания аффективных характеристик цветовой палитры изображений

Аннотация

В исследовании используются технологии компьютерного зрения и машинного обучения для оценки связи эмоциональной разметки изображений с характеристиками их цветовой палитры. Цветовая палитра изображений в пространстве HSV оценивалась с помощью модифицированного алгоритма кластеризации изображений, в которой состав центроидов кластеров определялся произвольно. В качестве центроидов кластеров были взяты цвета теста Люшера. Стимульный материал для обучения модели случайного леса нами был взят из базы Open affective standardized image set (OASIS). Параметры итоговой модели случайного леса для тестовой выборки: AUC = 0,77, Accuracy = 0,744, Kappa = 0,489; для обучающей выборки: AUC = 0,969, Accuracy = 0,904, Kappa = 0,808. Достигнутая точность классификации может интерпретироваться как достаточная при условии, что исходная разметка корпуса, на котором происходило обучение, имеет эмоциональную разметку, учитывающую не только низкоуровневые характеристики изображений, но и семантику сцен. Для проверки валидности модели мы: 1) использовали предварительно обученную модель случайного леса для оценки эмоциональной валентности базы художественных фотографий и базы абстрактных изображений; 2) статистически оценили качество оценки валентности конкретных эмоций у художественных фотографий и абстрактных изображений; 3) сопоставили результаты, полученные для обеих баз. Полученные результаты позволяют заключить, что предложенная модель случайного леса применима для решения задач на классификацию изображений по характеристикам цветовой палитры. Если уверенность отнесения к классу позитивных или негативных изображений более 60 %, мы можем предсказать, что цветовая палитра стимульного материала будет вызывать изумление, благоговение, возбуждение, страх или огорчение у испытуемых. Качество распознавания таких негативных эмоций, как гнев и отвращение, недостаточно хорошо. Предложенную модель рекомендуется использовать для гибридной разметки стимульного материала, особенно в случаях первичной оценки эмоциональной валентности изображений.

Ключевые слова:

аффективная разметка, цветовой тест Люшера, кластеризация изображений, модель случайного леса