711 г. Малък отряд берберски мюсюлмани от днешно Мароко прави десант на слабонаселения и не особено добре управляван иберийския полуостров. Само за 7 години те ще го превземат почти целия, но за момента вниманието им е съсредоточено върху удобния плацдарм – дълбокият залив на съвременния град Алгесирас, пазен от изток от грамаден чукар с отвесни стени. Предводителят на маврите, Тарик ибн Зияд, нескромно ще му даде своето име – Джебел Тарик; и до днес на арабски използват същото име, а ние – романизираната форма, Гибралтар.
В подстъпите на грамадната скала новите обитатели изграждат военно укрепление – замък, който през вековете ще бъде дострояван и надграждан, ще смени няколко собственика и ще изиграе ключова роля при отбраната на полуостровчето в най-дългата и мрачна от десетките му обсади.
Най-забележителната част на замъка е неговата голяма квадратна кула – най-голямата, построена от берберските нашественици за всичките 777 години до края на Реконкистата. Самата кула е многократно ремонтирана и надстроявана, като днешната датира в по-голямата си част (освен основите) от 14 в.
Локацията на замъка точно над единия край на залива му осигурява отлична видимост както към морето, така и към тесния провлак, свързващ Гибралтар със сушата. Възможността за артилерийски обстрел и на двете в крайна сметка дава нужното предимство на малкия и измъчен британски гарнизон, пазещ територията по време на Великата обсада през 18 в.
В по-нови време и неочаквано дълго, чак докъм 2010 г., замъкът е част от затвора на Гибралтар. За щастие, днес вече е напълно отворен за всички желаещи туристи – и, за разлика от пещерите и маймуните, е доста по-достъпен, току-над последните къщи на града.