Oblast Českosaského Švýcarska byla po dlouhá staletí na okraji zájmu osadníků. Větší kolonizace začala až kolem poloviny 13. století, kdy sem pronikaly snahy významných šlechtických rodů: Markvarticů, pánů z Dubé a z Lipé (souhrnně Ronovci), i saských Wettinů. Vliv a moc těchto rodů vyvrcholily za husitských bouří, kdy proti sobě vedly dlouhá vojenská tažení. Války se odehrávaly i s městy Lužického Šestiměstí a pokračovaly téměř do konce 15. století.
Hrady v oblasti vznikaly většinou ve 13.–14. století, v době tzv. hradské správy, kdy měly dvojí funkci – správní a strážní. Byly centry správy okolního kraje a chránily obchodní stezky vedoucí do Saska a Lužice. Jejich stavba vycházela z přírodních podmínek: hradní budovy byly většinou dřevěné, vybudované na přírodních skalních ostrozích, a pouze několik místností, zejména sklepy nebo kaple, bylo vytesáno do skály.
Hradní posádku tvořilo zhruba 15–20 zbrojnošů pod vedením kastelána, který spravoval panství jménem šlechtického rodu. Pouze u dvou hradů známe původní jména – Falkenštejn a Šaunštejn. Ostatní jsou dnes označovány podle blízkých míst: Kyjovský, Chřibský, Brtnický a Vlčí hrádek.
Falkenštejn
Falkenštejn byl vybudován pravděpodobně na přelomu 13. a 14. století u významné obchodní cesty spojující Čechy s Míšní a Lužicí. Nachází se na skalním ostrohu severovýchodně nad Jetřichovicemi. Roku 1406 jej koupil Hynek Berka z Dubé, později jej držel Zikmund Děčínský z Vartenberka. S tímto obdobím souvisejí pověsti o loupežných rytířích Mikšovi Blektovi z Outěchovic a Mikšovi Pancířovi ze Smojna, jejichž výpravy do Lužice se staly součástí místních legend.
Kdy byl hrad opuštěn, není známo, ale roku 1593 byl zmiňován již jako neobývaný. V roce 1852 nechala Vilemína Kinská vybudovat přístupové schodiště a celý prostor upravit pro turistiku. Dnes je Falkenštejn typickým příkladem skalního hradu – zachovaly se hlavně prostory vytesané do skály: ústřední síň s okenním výklenkem orientovaným na sever, kaple s kamenným oltářem a stopy po dřevěných stavbách na vrcholu. Přístup je možný průrvou od západu, kde je patrný i vyhlazený erb sokola s křížkem.
Šaunštejn
Hrad Šaunštejn vznikl koncem 14. století jako správní centrum malého panství a strážní místo u cesty od Hřenska a tzv. České silnice. Původně patřil Berkům z Dubé, později se dostal zástavou k Vartenberkům. Opuštěn byl asi na přelomu 15. a 16. století, kdy region ztratil strategický význam.
Dnes je Šaunštejn vyhledávaný pro své výhledy. Z vrcholu lze spatřit Koliště severně od Jetřichovic, Vysokou Lípu se Zámeckým kopcem, údolí Labe a na obzoru saské vrcholy Zirkelstein a Tschirnstein. Okolí Vysoké Lípy je známé krásnou krajinou a nedaleko se nachází zbytky Dolského mlýna v hluboké soutěsce, která měnila název několikrát během staletí.
Kyjovský hrádek
O Kyjovském hrádku se nezachovaly žádné přímé písemné prameny. Podle historických souvislostí jej lze přičíst Michalovicům. V roce 1406 jej získal Hynek Berka z Dubé, avšak pravděpodobně zanikl nebo byl opuštěn už v polovině 15. století.
Hrádek byl chráněn dvěma příkopy, z nichž vnější byl mělký. Za ním se rozkládalo prostorné předhradí, pravděpodobně chráněné palisádovou hradbou. Úzká kamenná šíje umožňovala vjezd vozů až k hradu. Dnes na místo vede žlutě značená stezka z Kyjova, která prochází kolem romantických skalních útvarů jako Bratrské kameny nebo Obří hlava nad údolím Křinice.
Chřibský hrádek
Chřibský hrádek stával na skalním ostrohu nad Doubickým potokem poblíž osady Chřibská. Jeho založení se připisuje Michalovicům, kteří jej vybudovali k ochraně České cesty. Po nich zdejší oblast drželi Berkové z Dubé (od 1406) a Vartenberkové (od 1428). V letech 1440–1445 byla oblast těžce zpustošena výpravami lužického Šestiměstí proti Vartenberkům a hrad tehdy zanikl.
Podle pověstí byla Chřibská založena již v 11. století jako útočiště Srbů prchajících před císařskou odvetou. Okolí hradu je dodnes romantické – lesy, palouky a výhledy na Studenec, Chřibský vrch a Spravedlnost.
Brtnický hrádek
Nejmenší ze šesti skalních hradů, zapadlý hluboko v lesích, vyvolával kdysi dohady o tom, zda jej neobývali loupežníci. Historické souvislosti ale ukazují na Berky z Dubé a 14. století. Jeho účel byl čistě strážní, posádku tvořilo jen několik mužů. Přístup vede po zelené značce od bývalého loveckého zámečku Šternberk. Schody vytesané do skály vznikly až koncem 19. století, aby byl výstup bezpečnější.
Vlčí hrádek
Vlčí hrádek je příkladem pečlivě budované, i když malé pevnosti. Vznikl na území Berků z Dubé patrně ve 14. století, možná jako náhrada ochrany obchodních cest po zániku hradu v Krásném Buku. Největší význam měl za Karla IV. a Václava IV., kdy kraj zažíval rozkvět pod Hynkem Berkou.
Na místo vede několik tras z Brtníků i Kunzova a Knoblochova dolu. Hrádek stával vysoko nad soutokem Rákosového a Knoblochova dolu a shlížel i do Kunzova dolu, což mu dávalo strategický přehled o krajině.