According to The Book of the Maiden’s Tower, the first time something resembling a tower was built on the rocks was during the reign of Manuel I Comnenus (1143 - 80), when a small fortresslike structure armed with cannons was built.
يذكر كتاب برج العذراء ‏ (‏ بالانكليزية )‏ انه اثناء حكم عمانوئيل الاول كومنينوس (‏ ١١٤٣ -‏ ١١٨٠ )‏ ،‏ أُنشئت على الصخور للمرة الاولى بنية شكلها كالبرج ،‏ وذلك عندما شيِّد بناء مجهَّز بمدافع يشبه حصنا صغيرا .‏