Дом купца фон Филимонова – одно из самых красивых строений в Рыльске. Здание в стиле петербургских особняков возвели во второй половине XIX века по проекту знаменитого архитектора Карла Шольца. Он стал автором нескольких зданий в Харьковской, Курской и Черниговской губерниях, а также занимался перестройкой усадьбы марьино в 1869–1873 годах.
Фасады двухэтажного особняка украшают резные пояски с гипсовыми фигурами и профилированные карнизы над окнами – сандрики , а также розетки и скульптуры двух ангелов над угловым окном второго этажа. Над карнизом расположена смотровая площадка с балюстрадой и фронтоном с полукруглым сандриком. Со стороны улицы выступают два балкона с архитектурной отделкой.
Иван фон Филимонов – рыльский купец-миллионер. Род Филимоновых вошел в ряды купечества еще при Петре I. Наряду с Шелеховыми они были самыми богатыми и знатными купцами не только Рыльска, но и Курской губернии. Иван фон Филимонов заработал свое состояние на импорте кос из Австрии. Австрийское правительство за успешное сотрудничество пожаловало ему титул дворянина – отсюда и появилась в имени приставка «фон».
Сейчас в бывшем доме купца располагается детская школа искусств.