Jednou významnou svetskou pamiatkou v Krušovciach je klasicistický kaštieľ z 19. storočia. Je to bloková dvojpodlažná stavba, ktorú dal postaviť na staršom základe roku 1830 gróf František Beréni. V roku 1906 bol kaštieľ prestavaný do dnešnej podoby. V interiéri sú na obvodových stenách vrátane okien, dverí a schodišťa bohato geometricky a rastlinne vyrezávané drevené obloženia. Suterén je zaklenutý techlovými a valenými pruskými klenbami. Pôvodne bol ku kaštieľu prístup po impozantnom otvorenom schodišti, ktoré už nejestvuje. Dôležitou kompozičnou súčasťou neorenesančnej úpravy kaštieľa je okolitý park. Predstavuje typ krajinského parku zo začiatku 20. storočia, jeho založenie však možno datovať už do konca 19. storočia. Pri výsadbe parku boli uplatnené historizujúce prvky dobovej architektúry - romanticky ladená jaskyňa (dnes pivnica, tzv. ľadovňa) a lesovňa.