Nejznámější památkou ve Skalné je hrad Vildštejn, kterého se ujal soukromý majitel, dal mu novou tvář a vybudoval zde restauraci, soukromé muzeum a minizoo. Stará německá pověst o založení města říká, že v dávných dobách zde byl v okolních, na zvěř bohatých lesích, na lovu rytíř.
Při lovu zabloudil, stále narážel jen na obrovské žulové balvany. Teprve v noci objevil v dálce světélko za kterým se vydal. Došel k několika malým stavením, kde přenocoval.
Jako dík za to, že vyvázl živ, pojmenoval místo Wilsstein a nechal postavit malou kapličku, na jejímž místě byl později vybudován hrad.
První zmínka o hradu Wildstein pochází z roku 1166, první písemná zpráva je z roku 1224.
Ke Skalné náleží několik místních částí.

Starý Rybník

Patřil k panství hradu Wildstein. Kolem poloviny 14. století zde byl postaven hrad Janem Rabem z Mechelsgrünu. Roku 1792 koupil panství Georg Wilhelm Endler von Helmfeld a tento rod vlastnil panství i s hradem až do roku 1945. Po roce 1945 přešel hrad do rukou státu, ovšem nyní z něj zbyly jen trosky nad rybníkem. V současné době se skalenská radnice snaží tuto místní část propojit se Skalnou. Ke snadnějšímu spojení slouží i nově zbudovaná cyklostezka mezi oběma obcemi.

Zelená

Bývala osada se třinácti čísly popisnými, v současné době zde stojí jen tři statky. „Počítáme spíše se zakonzervováním současného stavu než s dalším rozvojem,“ uvedl starosta Skalné Radomil Gold.

Kateřina

„Tam se v poslední době přistěhovalo mnoho lidí,“ poznamenal starosta. „Infrastruktura ovšem neodpovídá a nelze s tím nic dělat, protože místní cesta prochází chráněným územím a nemůžeme ji opravit. Brání tomu i pohyblivé podloží,“ vysvětlil.
Nový územní plán i tady počítá se zakonzervováním stavu.

Vonšov

Na první pohled malá, ne zcela lákavá vesnička, na pohled druhý klidné místo pro rekreaci. Dokazuje to i nově postavený hotel. Obce Kateřina a Vonšov historicky ke Skalné nepatřily, připojeny byly až v roce 1960.

Větrná

Osada v současné době již neexistuje, zachoval se jen název, na původním místě se nachází pouze jeden rekreační objekt.

Ovčárna

Na tomto místě bývala v provozu letní restaurace a sloužila jako místo nedělních rodinných procházek, poblíž se nacházela střelnice.