První zmínka o pánech z Klenového pochází z roku 1287. Počátky zdejšího hradu se proto kladou do druhé poloviny 13. století. Z té doby se zachovala spodní část severní zdi paláce a hranolová věž v nejzápadnější části areálu. Hrabě Stadion započal obnovu Klenové v duchu dobového romantismu. V prostoru jižního opevnění vybudoval zámek, do kterého zahrnul starší stavby, což určilo jeho podobu, sestávající ze tří zřetelně oddělených částí. Z nich nejpozoruhodnější je část západní, kde se nacházelo reprezentativní sídlo majitele, která byla vyzdobena v novogotickém slohu jako jeden z velmi časných příkladů jeho užití v Čechách. V soukromých rukou zámek zůstal do r. 1951, kdy byl hrad a zámek odevzdán do správy Národní kulturní komise. Jako poslední majitel je uvedena malířka Vilma Vrbová - Kotrbová. V roce 1963 byla na Klenové zřízena galerie výtvarného umění.
Ve čtyřech místnostech reprezentačních prostor zámku je vystaveno české moderní umění ze sbírek galerie, dále se zde nachází sochařský park a gelrie.
