Het zestiende-eeuwse kasteel staat er nog steeds. Het gebouw wordt opgesierd met waardevolle beelden van Matthias B. Braun. De meest tot de verbeeIding sprekende vroegere bewoner is wel de Italiaanse avonturier Giacomo Casanova. Hij vervulde hier tussen 1785 en 1798 de functie van bibliothecaris voor graaf Karl Josef Valdštejn, die tot dezelfde familie als de roemruchte Albrecht behoorde, maar tot een andere tak (zie Cheb). Casanova schreef in zijn laatste levensjaar te Duchcov zijn beroemde memoires. Hij is op 4 juni 1798 op het kasteel gestorven. Een gedenkplaat op het kerkhof herinnert aan de Venetiaanse hartenjager. In het kasteel zijn mooie meubels vanaf de romantiek tot aan het kubisme te zien. Ook de schilderijencollectie is interessant. Onder de portretten bevindt zich de veldheer Albrecht von Waldstein, vereeuwigd door Anthonie van Dyck.

In de jaren zestig van de 20e eeuw werd de slottuin aangelegd naar Frans voorbeeld. De tuin ontstond aan de hand van oude schetsen in de barokstijl. De symmetrische bloemperken en heggen lopen over in een natuurlijk Engels park.