La costruzione del corpo centrale dell'edificio, che presenta una disposizione dei corpi ad U, è fatta risalire alla seconda metà del XVII secolo per opera del conte Antonio Cavazzi della Somaglia.

Il Palazzo, commissionato al noto architetto Giovanni Ruggeri, doveva essere la manifestazione della ricchezza e dell'importanza acquisite dalla famiglia Cavazzi in quel periodo.

Alla sua morte, nel 1688, il conte lasciò la Villa in eredità al pronipote Paolo Dati, che assunse il titolo di conte Antonio della Somaglia. Paolo Dati attuò l'ampliamento del palazzo di Orio, trasformandolo in una reggia maestosa destinata a luogo di villeggiatura e incontro di grandi personaggi della letteratura e cultura italiana settecentesca.

I lavori di ampliamento terminarono nel 1749 dopo la morte del conte, avvenuta nel 1739, durante la proprietà del figlio Già Batta Antonio Somaglia, avuto dalla seconda moglie, la contessa Camilla Visconti.

La data 1749 è impressa sulla statua di ferro definita "Dio del tempo" o "Angelo della morte" posta sulla sommità della parte centrale del palazzo.

La statua raffigura un personaggio alato impugnante una falce e una campana che permettevano il battere delle ore, essendo collegate al meccanismo dell'orologio sottostante.

Nel XVIII secolo la Villa era costituita dal corpo centrale ampliato che racchiudeva la corte d'onore, da una corte rustica, da un cortile triangolare e dal cortile degli scudieri, tuttora esistenti. Il complesso era autosufficiente grazie all'apporto di decine di servitori e di famiglie a servizio.

​

Dai racconti degli abitanti del paese, che aggiunse al nome Orio anche quello dei Litta, si apprende che la villa fu frequentata da re Umberto I, Giacomo Puccini e altri illustri personaggi del tempo.

​

Nel 1970 Villa Litta fu acquistata dalla famiglia Carini, gli attuali proprietari, che hanno iniziato un lento, graduale recupero del palazzo oggi vincolato dalle Belle Arti come bene storico e artistico nazionale. Negli ambienti visitabili della Villa si possono ancora vedere gli splendidi affreschi attribuiti al Maggi e alla sua scuola, gli arredi d'epoca, l'imponente scalone d'onore.

Suggestiva è la visuale che offrono i giardini terrazzati sulla campagna circostante.