Els veïns del Serrallo van decidir a finals de 1989 que era hora de crear una parella de gegants que donés vida a les festes majors del barri pesquer de Tarragona. Un any després de l'estrena de la Colla castellera Xiquets del Serrallo es van posar a treballar amb el projecte. La parella de gegants havia de representar el barri, ell seria un pescador i ella una peixatera, els principals oficis més antics del barri del Serrallo. Així doncs, l'Associació de veïns del Serrallo es posa mans a l'obra per encetar el projecte, el qual li encarreguen a Josep Agustí, de Montblanc. Construïts de cartó-pedra, la roba de la parella de gegants va ser encarregada a la veïna del barri, Anna Caragol.
Els gegants van ser estrenats el 24 de juny de 1990 i batejats pel mossèn Xavier Fort amb els noms de Pere i Carme, patrons del barri, fent de padrins els Gegants Moros de Tarragona i dos veïns del barri: Ricardo Pasto Domènec i Josepa Annayo Domènec. La festa de presentació i estrena dels gegants va tindre convidats de diferents parts del país: els Gegants d'Alcover, Gegants del Pla de Santa Maria, Gegants de Calafell, Gegant Carrasclet de Reus, Gegantons Negritos, Gegants Moros de Tarragona i la Colla Diables Voramar del Serrallo, que van ser presentats en públic el dia abans durant la Nit de Sant Joan.
Durant molts anys els gegants participen en diferents Trobades de gegants de tota Catalunya, Ciutats geganteres, festes majors del barri i les de Santa Tecla a la ciutat de Tarragona, la Colla gegantera manté l'activitat fins al 1997, any en què per falta de membres es desfà la Colla quedant els gegants arraconats al Local de l'Associació de veïns durant uns anys.
Amb l'entrada del nou mil·lenni, sobre l'any 2000 un grup de joves recuperen els Gegants del Serrallo i tornen a fer-los ballar pels carrers i places de Catalunya.
L'activitat de la Colla creix a partir de l'any 2008, arribant a comptar amb una cinquantena de membres, es va decidir fer una important restauració de les figures. Es van restaurar parts internes bastant malmeses pel pas del temps, van ser tornats a pintar, es van crear uns cavallets de fusta nous, les figures se'ls hi va donar la possibilitat de poder treure els braços del cos per facilitar el transport en furgoneta i per últim es va confeccionar la mateixa roba amb teles noves.