O Convento do Rosario encóntrase situado no centro urbano. Na súa orixe foi un antigo hospital e igrexa dos cabaleiros da Orde Templaria, que se disolvería a comezos do século XIV. A historia considera que a presenza templaria en San Sadurniño se remonta ao século XII, pero o primeiro testemuño escrito é do 1248. Trala disolución da orde en 1312, o  edificio quedou en ruínas e sobre elas ergueríase dous séculos máis tarde o convento, auspiciado polos primeiros señores de San Sadurniño, Fernando de Andrade e a súa dona Inés de Castro e Lanzós -filla do líder irmandiño Alonso de Lanzós- quen morrería antes de ver os seus dominios convertidos oficialmente en señorío.

O convento na honra de Santa María estivo xestionado nun principio por agustinianos, logo por franciscanos e, desde 1570 por dominicos, que o levarán durante os seguintes 250 anos, até a desamortización de Mendizábal en 1835. Foi empregado entón como casa reitoral ata que en 1863 se ampliaron os usos a escola, casa dos mestres e Casa do Concello. De feito, a ala oeste do antigo convento sería casa consistorial ata o 2014. A fachada exterior e o adro foron rehabilitados en 2008 e en 2014 tamén se rehabilitou a cuberta do edificio. Antes daquela o conxunto xa pasara por múltiples modificacións e obras. 

Escritos medievais indican que a igrexa de San Sadurniño xa existía no ano 830, é sabido que foi hospital -posiblemente de peregrinos que ían a Santo André de Teixido- e tamén se sabe que a igrexa primitiva era na advocación de Santa Olaia.

As edificacións que hoxe vemos -claustro e igrexa- rematáronse en 1755 e de aí que se mesturen algúns elementos góticos, barrocos e neoclásicos. No presbiterio consérvase un arco e crucería do século XVI, a fachada e o retablo maior son barrocos, mentres que nos brazos e en parte da nave os retablos xa son neoclásicos. O claustro está composto de 28 arcos, 7 por cada lado e ata hai pouco rodeaban un xardín interior con buxos e árbores froiteiras. Nunha das esquinas aínda conserva un reloxo de sol. 

Desde 2014 o contorno está presidido pola figura de bronce do Sagrado Corazón de Xesús, réplica a escala da do Cerro dos Anxos, encargada por Natividad Quindós a principios do século XX. A imaxe colocouse inicialmente ao pé do río Xubia e nos anos 70 trasladouse aos xardíns do pazo ata que en 2014 o Concello lla cedeu á Igrexa para emprazala definitivamente no convento. 

Outros elementos destacados son a escaleira de toelo que comunica a sancristía co primeiro andar do claustro, o cruceiro do adro e o hórreo -tamén de toelo- que orixinariamente estaba situado no lugar que hoxe ocupa o cemiterio parroquial. Cómpre sinalar tamén a fonte á que se chega desde un dos laterais do hórreo baixando unha escaleira con 50 chanzos dispostos en cinco tramos, cadrando co rosario que os dominicos empregaban na súa oración.

Á parroquia de San Sadurniño tamén están vinculadas as capelas de Santo Cristovo da Portela e a de Santiago de Silvalonga, erguida a finais dos 60 para substituír outra máis antiga derrubada poucos anos antes. No antigo campo da feira aínda se conserva, ademais, a Capela de Belén, mandada construír polos señores de San Sadurniño vencellando o seu mantemento futuro ao patrimonio do marquesado.