Взаимодействие восприятия разных модальностей проявляется прежде всего в предметности, в том, что реальное восприятие любого предмета полимодально — любой образ предмета содержит и его внешний облик, и звук, который он может издавать, и его вес, и каков он на ощупь. Так, например, низкий звук приписывается большому объемному источнику, а высокий — маленькому. Воспринимаемый звучащий предмет обладает всеми модальными качествами: весом, объемом, мягкостью, температурой и т. д. Звук может вызвать в памяти все эти качества. Несоответствие привычных разномодальных свойств одного и того же объекта вызывает у людей сильную эмоциональную реакцию, например, изменение голосов животных в сказке о «Бременских музыкантах» вызвало панику и обратило разбойников в бегство.
Восприятие пространства также всегда полимодально, поскольку кроме зрительных признаков учитывает кинестетические признаки и может включать звуковые и обонятельные.
Пол и модальность восприятия имеет и физиологическую основу, которая проявляется в том, что чувствительность органа чувств изменяется под влиянием сигнала, обращенного к другому органу чувств. Например, громкий звук снижает чувствительность не только слуховой, но и зрительной системы, тихий же звук обостряет и слух, и зрение. Другой пример — кислый вкус улучшает зрение при плохом освещении, поэтому во время Второй мировой войны летчикам при ночных вылетах советовали сосать лимон.
Существует особая экспериментальная методика кросмодального сравнения, при проведении которой человека просят сравнивать сигналы разных модальностей, например, «приравнять» громкость звука и яркость света, высоту звука и цвет, температуру и цвет и т. п. У разных людей получаются сходные результаты (хотя и не абсолютно одинаковые). Например, известно, что красный цвет оценивается большинством людей как громкий, твердый, теплый и сочный; а синий — как похожий на звук скрипки, гладкий, холодный, легкий и лишенный запаха.
Синестезия — совместное чувство, при котором сигнал вызывает ощущения не только своей модальности, но одновременно и другой (цветной слух, температура цвета, запах звука и т. п.). Синестезии свойственны прежде всего детям и некоторым взрослым, обладающим сильным художественным воображением и мышлением. Например, музыкант, специалист по колокольной музыке Гараджев писал: «Каждая нота — это не один звук, а множество, они имеют свой цвет, излучают особый луч. Каждый человек по-особому звучит».
