Situato sul colle che sovrasta l’intero paese, è chiamato Eufemio o castello di Phimes. Questo castello dovette essere nella sua remota origine uno dei siti fortificati posti a difesa e a controllo delle vie di accesso a Segesta. Di esso si hanno documenti scritti solo a partire dalla metà del XII secolo, quando il viaggiatore e geografo arabo Edrisi lo descrive come un “castello antico primitivo” con un borgo popolato. Nella prima metà del XIII secolo è uno dei castelli imperiali utilizzati dalle truppe di Federico II nella lotta contro i musulmani, che sembra avessero il loro caposaldo nel vicino villaggio di Calatabarbaro in cima all’acropoli nord di Segesta. Fu poi il castello dei feudatari di Calatafimi e dei governatori che in alcuni periodi l’amministrarono per conto della Corona. Nel 1282, durante la rivolta del Vespro, in esso dimorava il suo feudatario, il provenzale Guglielmo Porcelet, che, amato dai suoi sudditi, fu risparmiato dai rivoltosi e rimandato incolume assieme ai familiari in Provenza. Fu poi presidio militare e prigione fino al 1868, anno nel quale venne abbandonato ed in cui iniziò il suo lento degrado. Delle tre torri di questo castello, raffigurato nello stemma del Comune, sopravvivono oggi solo i ruderi delle due torri collocate alle estremità nord e sud della facciata principale, che guarda verso il centro urbano. Nella cortina muraria che li univa, vicino alla torre sud, a sinistra di chi guarda volgendo le spalle all’abitato, si apriva la porta del castello. Della terza torre, che si ergeva sull’angolo sud-ovest, laddove si incontrano due grandi muraglioni a scarpata, non c’è più traccia. La porta immetteva in un vestibolo caratterizzato da due archi; da esso si accedeva alla corte. Sul lato sinistro del vestibolo e della corte si aprono le porte di alcune piccole celle sulle cui pareti si possono scorgere ancora i graffiti incisi dai detenuti. Sullo stesso lato delle celle si ergeva un altro piano che costituiva la residenza signorile. Su questo colle che ha una posizione strategica venne piazzata la maggior parte delle truppe borboniche dopo il loro arrivo a Calatafimi nella notte tra il 12 e il 13 maggio 1860. Queste truppe, comandate dal generale Francesco Landi, erano state inviate dal governo borbonico per fermare Garibaldi e i suoi Mille, sbarcati a Marsala l’11 Maggio 1860, nella loro avanzata su Palermo. A metà di questo colle, sul lato occidentale, a controllo della via di accesso al paese venne posizionato uno dei quattro cannoni di cui erano forniti i soldati borbonici.