Sembra che il luogo fosse abitato fin da epoca preromana dai popoli italici che vivevano sul territorio, i Sanniti a Nord e gli Aurunci a Sud. In località Guardia è ancora visibile una grossa pietra scolpita probabilmente in età preromana e dedicata alla moglie di un guerriero dell'epoca. Altri ritrovamenti in località "La Torre" fanno addirittura supporre la presenza di una delle città della Pentapoli Aurunca (forse proprio Vescia). Nella zona, vicino agli impianti sportivi ci sono poi resti di mura ciclopiche.

Con la presenza dell'Abbazia di Montecassino, nel territorio tutto intorno furono collocate "le celle" ed una fu dedicata proprio a Sant'Andrea.
Il paese nacque, come molti altri costruiti all'epoca, prima come "Castrum"  per difendersi dalle orde saracene e poi come "castello fortificato" ad opera dell'abate Richerio all'inizio dell'anno mille (1038-1055). Nel Regestum Confinium del 1268 i confini del territorio di Sant'Andrea vengono inclusi nella cosiddetta "Terra di San Benedetto".

Tra il Seicento e il Settecento San'Andrea fu un luogo importante per la produzione di ceramiche artistiche. Le mattonelle esagonali decorate su smalto bianco con ornamenti fitomorfi e zoomorfi, araldici sono visibili in diverse chiese del territorio, a Sant'Andrea, a Vallemaio, ad Ausonia.

La Seconda Guerra Mondiale ha distrutto buona parte del paese, che però è stato prontamente ricostruito. Il campanile della chiesa di San Benedetto fu infatti distrutto dai bombardamenti e ricostruito negli anni 50, così come adesso si può ammirare con la torre civica con campane e orologi.