O Edifício São Vito foi projetado pelo engenheiro Aron Kogan e erguido pela Construtora Zarzur & Kogan. As obras começaram em 1954 e foram concluídas cinco anos depois. O terreno original tinha 784,17 metros quadrados. A arquitetura do prédio teve influência do modernismo e foi concebido como "solução" para o problema da moradia popular, embora também tivesse doze conjuntos comerciais. A estrutura é de concreto armado, com brises horizontais. Naquela época, era uns dos prédios mais imponentes da cidade de São Paulo. Três elevadores serviam originalmente o prédio. O último andar é uma área livre de 800 metros quadrados, que chegou a ser usada para eventos nos anos 1960. Os corredores dos andares têm cerca de oitenta centímetros de largura, e as escadas internas, 1,20 metro.

Na planta original, o edifício tinha 624 apartamentos (24 por andar) com área de 28 a 30 metros quadrados cada, projeto concebido para atrair pessoas profissionais liberais, imigrantes, caixeiros-viajantes e casais que chegassem à cidade durante um período de grande crescimento econômico. Em 1985 a revista Veja em São Paulo escreveu que o edifício era, "talvez, a maior concentração populacional da cidade, [com] 3 mil pessoas, a maioria biscateiros, assalariados modestos e prostitutas". Artigo publicado pela revista Época São Paulo em setembro de 2009 defende que a deterioração que começaria nos anos 1980 deveu-se, "em parte, à homogeneidade do público", ao contrário de prédios erguidos com o mesmo conceito, como o Copan, que eram também atrativos para a classe média. Essa degradação foi acentuada pela divisão de diversas quitinetes em duas, pela instalação de diversas "gambiarras" na rede elétrica (80% dos pontos de ligação do prédio eram clandestinos em 2002) e até pela suspensão da coleta de lixo, o que levou muita gente a atirar sacos de lixo das janelas, além de água suja e restos de comida. O abastecimento de água do edifício era feito por dois poços artesianos até 1982, quando uma cheia do Rio Tamanduateí os poluiu, e a Sabesp passou a ser a responsável, a um custo mais alto. Dos três elevadores originais, apenas um estava em funcionamento em 2002, ainda assim servindo apenas até o 15.º andar, o que gerava filas de até meia hora para os moradores em horários de pico.
Nessa época o edifício, então o maior cortiço verticalizado da cidade, já tinha sido apelidado de "Balança, mas não Cai" e "Treme-Treme". "É um lugar perigoso, difícil de entrar", contou uma delegada ao jornal Folha de S. Paulo em 2002. "Só tendo aval de algum morador, ter credibilidade na área, ser gente conhecida. Ou então com a polícia." Já fazia anos que se registrava com frequência furtos entre apartamentos, especialmente de roupas deixadas para secar nas janelas. A primeira proposta de implosão foi em 1987, quando Jânio Quadros, então prefeito da cidade, soube que a polícia tinha dificuldades para entrar no prédio e teria ordenado a um assistente: "Imploda-o." A violência dentro do próprio edifício fez com que aos poucos os moradores deixassem o prédio: havia 150 apartamentos abandonados em 2002. Nessa época havia planos de mudar o nome do edifício para Bulevar Palace. A inadimplência de muitos moradores também contribuía para a degradação do local — 65% das unidades estavam inadimplentes em 2002. Ela teria aumentado quando a então prefeita Marta Suplicy anunciou a implosão do prédio em 2003.

A prefeitura desapropriou o edifício em 2004, e ele foi totalmente desocupado em 25 de junho daquele ano, quando as últimas 140 famílias deixaram o prédio. A cada família despejada a prefeitura ofereceu um auxílio mensal de 300 reais, pago durante 36 meses. A intenção era reformá-lo ampliando a área de cada apartamento e diminuindo o número de unidades, projeto orçado em 16 milhões de reais em 2003, para que os partamentos fossem revendidos, com prioridade para os antigos moradores. "Resolver o drama do São Vito, símbolo do abandono, é um desafio para a administração", disse Marta Suplicy em 2002. Já nessa época foi feito um estudo para medir o impacto da demolição do São Vito e do Mercúrio.
Mas um estudo de viabilidade, pedido por José Serra quando assumiu a prefeitura no ano seguinte, determinou que o custo por apartamento excedia o teto do programa de habitação popular da Caixa Econômica Federal. O programa da Caixa ainda determinava que o financiamento só seria concedido caso o entorno estivesse "recuperado e atraente". Houve ainda a proposta de transformar o edifício em hotel, biblioteca ou sede de secretarias, mas todos os projetos nesse sentido foram rejeitados. Com isso, a demolição voltou a ser a alternativa, mas deverá ser feita manualmente, para não afetar a estrutura do Mercado Municipal, especialmente seus vitrais, importados da Alemanha. O Edifício Mercúrio, prédio contíguo, foi desocupado totalmente apenas em fevereiro de 2009 e também deverá ser demolido.