Il complesso rimase in vita fino al IV secolo, quando, per effetto dell’affermazione del cristianesimo e probabilmente per un incendio cadde in abbandono. Dopo circa un secolo Teodorico iniziò la sistematica spoliazione dell’edificio per recuperare materiali costruttivi. Il criptoportico continuò a essere usato, ma tra la fine del VII e l’VIII sec. il suo braccio ovest crollò: infiltrazioni d’acqua e probabili eventi sismici ne provocarono il collassamento, facendo crollare di conseguenza anche buona parte del soprastante triportico. Nell’area archeologica di Corte Sgarzerie è possibile vedere un suggestivo particolare del crollo delle volte.

Fino al IX-X secolo l’edificio sotterraneo fu usato come discarica per immondizie e macerie. Per vedere una ripresa dell’attività edilizia bisogna attendere il XII secolo, quando, nel contesto della fortissima crescita demografica, politica e commerciale che caratterizzò l’età comunale, si insediarono nell’area le casate aristocratiche con le loro torri e le loro attività commerciali. 

Nell’area archeologica sono visibili i resti di un edificio interrato (cantina?), di una ghiacciaia e di una casa-torre. Gli episodi costruttivi maggiori saranno poi nel Trecento l’edificazione della Loggia delle Sgarzarie e nel Quattrocento del Monte di Pietà.