Edificio costruito agli inizi del '500 dal condottiero Cesare Fregoso, esule genovese al servizio della Repubblica di Venezia. Il condottiero era uno dei protettori dello scrittore Matteo Maria Bandello, il quale testimoniò in una delle sue novelle che Garda era la sua residenza preferita.
Il palazzo non è visitabile.