O edifício atualmente designado de Centro de Memória de Vila do Conde foi alvo de obras profundas de recuperação e ampliação, entre 2002 e 2008, tendo aberto ao público a 14 de dezembro desse ano, com o objetivo de aqui se instalarem os serviços de Arquivo e Museu Municipais. As obras de recuperação foram apoiadas pelos fundos estatais e comunitários PARAM e POC.

A qualidade do projeto arquitetónico, a cargo do Arq. Manuel Maia Gomes, diretor de Departamento da Câmara Municipal de Vila do Conde, valeu-lhe a distinção da recuperação do imóvel com o prémio IRHU de reabilitação e Prémio Nacional de Arquitetura Alexandre Herculano, tendo sido, ainda, nomeado para o prémio SECIL.

A mais antiga referência conhecida a este imóvel é uma escritura de venda, datada de 11 de abril de 1672, à guarda do Arquivo Municipal de Vila do Conde, respeitante à aquisição desta casa por Frei João Carneiro Rangel (procurador às Cortes por Vila do Conde), cavaleiro do hábito de Cristo, morador em Barcelos, a Dom Frei Manuel de Azevedo e Ataíde, também morador em Barcelos, embora no edifício existente se identifiquem apenas elementos construtivos característicos do século XVIII, integrando, de resto um conjunto de casas fidalgas existentes em Vila do Conde. 

A herdeira do Solar de S. Sebastião, Maria Joana Carneiro Rangel Sotto Mayor, casou com Luís Inácio Pereira Coutinho Vilhena, cavaleiro da Ordem de Malta e Governador do Forte de S. João Baptista de Vila do Conde. Durante este período a casa sofreu algumas intervenções, sobretudo o apêndice sul do edifício onde são identificáveis elementos arquitetónicos datados desta época. Estas obras do século XIX integram ainda um mirante construído ao gosto da “arquitetura brasileira”, que segundo a tradição servia para ver o mar e avistar as embarcações afetas à casa, com a peculiaridade de ser utilizado, no espaço inferior, como pombal.

Por escritura pública de 14 de junho de 1856 a casa de S. Sebastião voltaria a mudar de proprietários, passando para a posse da Família Figueiredo de Faria (estiveram ligados à Administração do Concelho e foram fundadores da primeira fábrica de lápis existente em Portugal, a Portugália, em 1907) que a manteria na sua família até à sua venda ao Município de Vila do Conde a 25 de novembro de 1998, depois de ter estado alugada à mesma entidade durante cerca de 20 anos, onde funcionou a Biblioteca Municipal de Vila do Conde. 

O projeto de reestruturação e ampliação do edifício duplicou a área existente. Ao corpo principal, com uma de área de aproximadamente 2.700 m2, adaptado para receber a componente destinada à exposição permanente cujo tema principal é a história e a formação urbana, social e cultural do concelho, foram acrescentados novos corpos, totalizando cerca de 5.400m2, destinados a depósitos, áreas técnicas, receção, salas de exposição temporárias e gabinetes técnicos.

A antiga casa compreendia um enorme quintal que permitiu desenhar um jardim com cerca de 7.000m2, com a eliminação de parte dos muros existentes e a introdução de uma grade que confere transparência, introduzindo assim visibilidade para o interior do jardim e aproximado a zona baixa da cidade com a zona nascente.