Успенский кафедральный собор возвели на рубеже XVIII–XIX веков. Ранее на этом месте стояла деревянная церковь Успения Пресвятой Богородицы. Ее построили в 1518 году по указу царя Василия III в честь победы князя Василия Шемякина над татарами.
В 1797 году на месте обветшавшей деревянной церкви заложили пятиглавый каменный храм с колокольней. Средства на строительство выделил рыльский купец первой гильдии Иван фон Филимонов. В 1811 году храм освятили в честь Успения Пресвятой Богородицы. Через пять лет на последнем ярусе колокольни установили четырёхсторонние башенные куранты с боем и колокольным перезвоном. Само здание выполнено в классическом стиле и имеет четыре портика с четырьмя колоннами и фронтонами над ними. Внутри установили позолоченный иконостас и клирос с ограждением из резного дуба, стены расписали живописью и украсили орнаментом из алебастра. Полы выложили цветной кафельной плиткой, а под центральным куполом разместили многоярусную люстру. Позднее в правом приходе под балдахином захоронили прах дворянина Ивана фон Филимонова.
В 1840 году Успенская церковь получила статус кафедрального собора. В 1847 году вокруг церковной усадьбы возвели решетчатую каменную ограду с круглой часовней в юго-восточном углу, а рядом с ней – церковную сторожку и свечную лавку. Через год на территории появилась иконная лавка со складом, а в 1902 году – церковно-приходская школа.
В 1933 году храм закрыли и устроили в нем зернохранилище. Через три года его передали воинской части и организовали там склад, а в сторожке – каптерку и продуктовый склад. В здании церковно-приходской школы поселили три семьи. В 1939 году вместо церковной лавки и сторожки построили здание столовой. Во время Великой Отечественной войны собор не пострадал. В послевоенное время в нем хранили дрова, а колокольню использовали как водонапорную башню.
Верующим храм вернули в 1991 году, а в 2002 году в нем вновь стали проводить службы. Реставрация Успенского собора продолжается по сей день, но на колокольне уже стоят восстановленные старинные часы.