La casata poteva vantare una fiorente attività di prestito monetario in diverse zone d’Europa (Germania, Francia, Belgio) e la costruzione di un palazzo e di un’alta torre rientrava nella politica volta a mostrare la ricchezza accumulata dai membri di questa famiglia. Un prestigio testimoniato anche dalle cronache cittadine che ricordano il divieto, infranto dai Troya, di innalzare torri più alte di quella di proprietà delle famiglie Bertramenghi Scarampi (44 metri contro circa 36 metri). 

Ma nei primi anni del XIV secolo i Troya vengono coinvolti nella feroce lotta che vede scontrarsi due fazioni avversarie, quella dei De Castello e quella dei Solaro, alleati dei Troya. Questi ultimi vengono cacciati dalla città e deprivati di tutte le proprietà all’intero della cinta muraria, ma dopo un esilio durato poco più di un anno la famiglia rientrerà in possesso del palazzo e darà inizio ad alcune opere di rinnovamento dell’edificio, che lo consegnerà alla storia nella sua versione odierna. Interventi che hanno coinvolto una drastica modifica planimetrica del palazzo, ma anche le dodici bifore con archi a tutto sesto distribuite su tre piani e la fascia terminale costituita da tre ordini di archetti realizzati in cotto e arenaria alternati, tipici dell’astigiano. 

La torre e il palazzo, di proprietà dei Troya fino all’estinzione della famiglia avvenuta nel corso del Quattrocento, passano nel 1560 a Emanuele Filiberto, Duca di Savoia, che destina la torre alla funzione pubblica di battere le ore. La campana presente sulla cima, completamente restaurata e ricollocata nella sua originaria posizione, risale al 1531 ed è una delle più antiche di tutto il Piemonte.