Původně stával na pískovcových skalách gotický hrad Skála, založený kolem roku 1350 Hynkem z Valdštejna. Počátkem 15. století přešel v držení pánů z Jenštejna. O osudu hradu v době husitského hnutí nejsou zprávy. Za Jana Zajíce z Hazmburku, předního člena Strakonické jednoty, Hrubou Skálu oblehlo a dobylo vojsko krále Jiřího. 

Za vlády Smiřických v 2. polovině 16. století byl hrad přestavěn na renesanční zámek. Z majetku Smiřických jej jako konfiskát po bitvě na Bílé hoře získal Albrecht z Valdštejna. V letech 1629 a 1775, kdy tu vládli Valdštejnové, propukly na panství velké selské nepokoje a povstání. Po požáru v roce 1710 prováděny na zámku barokní úpravy. Koupí získali Hrubou Skálu Aehrenthalové (1821) a pro ně přestavěl zámek v polovině 19. století romanticky arch. B. Gruber.

Na jaře 2006, po jarním sesuvu zeminy na skalním pilíři v jižní části zámku se tu objevila asi třicetimetrová chodba, která ve středověku sloužila jako tajný únikový východ. Objevili ji zaměstnanci zámeckého hotelu. Jde o první tajnou chodbu, která byla v novodobé historii hradů a zámků Českého ráje objevena. Chodba ústí na úpatí skal, nad nímž hrad stojí, tedy v místech, kudy nevedla žádná cesta. Východ je zamaskovaný ve skalách za případnou linií středověkých obléhatelů. 

Chodba je na dvou místech vyztužena klenbami z poloviny 19. století. Kvůli sesuvům skal ji zřejmě nechal vybudovat hrabě Aehrenthal, který zámek koupil v roce 1821 a až do roku 1945 v něm bydlel. Archeologové chtějí chodbu zabezpečit, jako turistická atrakce ale prý sloužit nebude. V jednom místě je tak strmá, že je k sestupu nutné použít horolezecké lano.