Начало строительства замка в Ружанах относится к XVI веку, в последующие столетия резиденция Сапег неоднажды перестраивалась. Гражданская война 1696—1702 гг в ВКЛ и Северная война со шведами не прошли бесследно для Ружан - замок был разрушен. Во второй половине XVIII века его восстановили в виде дворца.