Pierwotnie zameczek mieścił się na polanie Przysłop pod Baranią Górą i pełnił funkcję pałacyku myśliwskiego arcyksięcia Fryderyka Habsburga. Wzniesiono go w 1897 roku. Po zakończeniu I wojny światowej majątek Habsburgów został znacjonalizowany i wcielony do państwa polskiego. W latach od 1925 – 1986 zameczek pełnił funkcję schroniska turystycznego PTTK. W 1986 r. został przeniesiony do centrum Wisły. Obecnie znajdują się w nim wiślański oddział PTTK, Informacja Turystyczna, wystawa Głuszec w lasach Beskidu Śląskiego oraz escape room – Zamek Zagadek.