Efsaneye göre adı Margaret Pomeroy olan ‘Beyaz Leydi’ lakaplı hayalet, kıskanç kız kardeşi tarafından kalenin zindanlarına kapatılıp, açlıktan ölüme terkedilmiştir. Mavi Leydi'nin kim olduğu bilinmese de, ziyaretçileri akıl almaz bir biçimde kalenin harabe kısımlarına çekmekte olduğu söylenmektedir.