Slottets tilstedeværelse vækker den spændende blanding af legende, poesi og heltemod, der omgiver begyndelsen på Portugals historie. På denne Monte Largo (Bred Bakke) blev kernen til den fremtidige nation Portugal først udviklet.
Omkring år 968 beordrede Mumadona, grevinde af Galicien, bygningen af et slot på dette sted, hvor befolkningen kunne søge tilflugt fra de konstante angreb, der blev udført mod dem af vikingehorder, der ankom til søs fra Nordeuropa, og muslimer, der foretog plyndringstogter fra de territorier, de besatte i syd.
Da grev Henrik overtog styret af provinsen kendt som Portucalense fra sin svigerfar, Alfonso VI af León, beordrede han bygningen af en anden større og mere solid konstruktion. Dette markerede begyndelsen på den vigtige defensive struktur, vi kan se i dag, domineret af det firkantede fritstående tårn, der står mellem de fire tårne, der vogter hvert af murens fire hjørner.
Selvom dette ikke er strengt dokumenteret, er det meget sandsynligt, at bygningen, der står op ad den indre del af den nordlige mur, var grev Henriks residens og fødestedet for hans søn Afonso Henriques, Portugals første konge.