Дом № 12 на улице Розы Люксембург предположительно был построен в конце XVII века и является старейшим в Рыльске. Горожане называют его домом Петра I. Считается, что в июле 1709 года Петр I останавливался в нем по пути в Петербург после победы над шведами Полтавской битве. Тогда он посетил панихиду по убиенным воинам и молебен во славу и здравие Государя и победоносного воинства в стоящей поблизости Вознесенской церкви. Потом был пир с рыльским купцами, на котором царь поблагодарил их за помощь Отечеству и пожаловал серебряный с позолотой ковш Тимофею Шелехову, предку будущего великого мореплавателя Григория Шелехова. Этот подарок затем передавался в семье как реликвия.
В начале XVIII века здание принадлежало рыльскому воеводе. За время существования его не раз перестраивали, а наружную лестницу снесли. Дом хоть и сохранился до наших дней, но выглядит не так, как при Петре I. Сегодня это жилой дом на семь квартир.