O morro da Pena Ventosa (literalmente monte dos vendavais) é uma saliência granítica coroada por uma plataforma de cotas máximas na ordem dos 78 m, rodeada de vertentes de acentuado declive que descem para o rio Douro e para o pequeno rio da Vila. Estas características da topografia e da hidrografia constituíam boas condições defensivas e foram decisivas para que o alto da Pena Ventosa tivesse sido o sítio original da urbe portuense, primeiramente chamada Cale e, depois, Portus Cale e Portucale.

Durante as décadas de 1980 e de 1990, as investigações arqueológicas realizadas nas traseiras da Sé, nomeadamente na Casa da Rua de D. Hugo n.° 5, permitiram identificar um perfil estratigráfico que ilustra a evolução do núcleo primitivo da cidade. Destes estudos concluiu-se ter havido uma ocupação quase contínua do local desde os finais da Idade do Bronze.

Estes vestígios arqueológicos documentam:

• Do século VIII a.C. até 500 a.C. – a existência de contactos principalmente com os outros povos Atlânticos principalmente da Bretanha e Ilhas Britânicas mas também com o distante Mediterrâneo de populações que viviam no alto do morro da Pena Ventosa;

• Entre 500 e 200 a.C. – a presença de um povoado castrejo de casas de planta redonda e a continuação dos contactos com povos Celtas do Atlântico, contactos bastante acentuados evidentes na cultura castreja presente no Noroeste penisular e as suas semelhanças com os outros povos celtas do Atlântico principalmente da Irlanda e Bretanha francesa.

• Do século II a.C. a meados do século I d.C. – uma fase de romanização durante a qual o povoado adquire crescente importância, que se revela na função organizativa em relação aos territórios circundantes. Foram provavelmente os romanos que aqui criaram uma primeira estrutura urbana, reorganizando o traçado das ruas, implantando casas de planta rectangular e criando instalações portuárias nas imediações do local onde mais tarde se ergueu a chamada Casa do Infante.

A arqueologia permitiu também encontrar indícios da ocupação da Pena Ventosa nos séculos I e II d.C. e vestígios de uma muralha construída no século III. Pensa-se que o seu traçado fosse idêntico ao da Cerca Velha ou Românica reconstruída no século XII.

Segundo o Itinerário de Antonino, a estrada romana de Olissipo a Bracara Augusta (Via XVI) oferecia nesse passo do Douro uma estação. Não há unanimidade quanto à sua localização, na margem esquerda ou na direita. O mais provável seria a estação estar repartida nas duas margens. Os cavalos das mudas ficariam nos dois altos e os próprios mensageiros teriam de um lado e outro o seu albergue. No século IV assiste-se a uma fase de expansão da cidade em direcção ao vizinho Morro da Cividade e à zona ribeirinha, tendo sido encontrados mosaicos romanos do século IV na Casa do Infante.