V roce 1787 byla tato kaple přestavěna a stala se základem kostela svatého Šimona a Judy. V dubnu roku 1820 vypukl v místní palírně lihu požár, který zničil 41 domů, zámek a kostel. Kostel se podařilo znovu obnovit, zatímco zámecké budovy dále postupně chátraly. V Milíkově až do roku 1885 stávala také židovská synagoga, která podlehla spolu s několika ostatními domy požáru. V roce 1824 zde byla postavena nová škola. Předtím se učilo na několika místech, mimo jiné také v jedné místnosti na zámku. Do školy docházely děti z Milíkova, Velké a Malé Šitboře a z Leimbrucku. V roce 1876 se stala školou trojtřídní. Muzeum Cheb