Skály vznikly před 350 miliony let. Název ovšem s holuby nemá nic společného. Původní německý název skal byl Taubstein a odtud nejspíše vznikl přenesený český význam Holubí skály. Skály jsou hodně strmé, vysoké 10 až 15 metrů.