L’idea di improvvisazione risale ad epoche remote. È praticamente certo che la pratica improvvisativa, nella musica occidentale, fosse massicciamente presente (e forse costituisse la parte dominante dell’esecuzione musicale) nell’epoca che va dalle origini alla codifica gregoriana della musica sacra.
Anche nei secoli seguenti la pratica improvvisativa fu sempre presente: ad esempio, certe forme musicali classiche sono basate sull’improvvisazione, come i preludi, le toccate, le fantasie (la Fantasia e fuga in sol minore – BWV 542) o la fuga a 3 che apre l’Offerta musicale (BWV 1079) di Johann Sebastian Bach sono probabilmente improvvisazioni trascritte successivamente su spartito).
Molti grandi clavicembalisti e organisti dal XVI secolo fino al XVIII secolo furono maestri dell’arte improvvisativa, ad esempio Domenico e Giovanni Gabrieli, Girolamo Frescobaldi, Dietrich Buxtehude e Johann Sebastian Bach. Non era raro assistere anche a gare di improvvisazione (ad esempio fra Wolfgang Amadeus Mozart e Muzio Clementi oppure tra Domenico Scarlatti e Georg Friedrich Haendel). Il giovane Ludwig van Beethoven pianista a Vienna, partecipava a serate in cui si tenevano gare di improvvisazione. Fino all’inizio del XIX secolo, i compositori lasciavano talvolta spazio all’improvvisazione nei loro spartiti, indicando una cadenza cioè una parte melodica che doveva essere sviluppata dal solista: diversamente da altre forme d’improvvisazione, questa veniva spesso scritta dal solista stesso prima del concerto.
Dal 1800 in poi nella musica classica moderna (escludendo l’avanguardia) ed in generale nella musica colta occidentale l’improvvisazione è venuta ad essere considerata secondaria rispetto alla fedeltà dell’interpretazione di quanto scritto nelle partiture.
In seguito, nella tradizione jazzistica questa visione viene stravolta: gli spartiti vengono messi in secondo piano (spesso sono solo canovacci di accordi e melodie principali, oppure non esistono proprio) e quello che dona il senso ad una esecuzione è la sensibilità del musicista che improvvisa la sua “creazione estemporanea”. Molto spesso i brani eseguiti sono noti e diffusi nell’ambiente jazzistico (i cosiddetti standard) utilizzati come traccia comune per l’improvvisazione, singola o collettiva, e possono essere modificati al punto da risultare quasi irriconoscibili rispetto alle versioni precedenti. Questo richiede una condivisione delle convenzioni musicali da parte dei musicisti e, oltre all’inventiva, una notevole padronanza dello strumento musicale e dell’armonia (siano esse istintive o derivate dallo studio teorico) da parte dell’artista.