E' la miglior curva che approssima una serie di dati osservati, solitamente forniti come
punti (xi,yi ) con i=1, …n, dove y è una grandezza che varia in funzione di x.
Si tratta di stabilire in modo ragionevole, sulla base delle informazioni disponibili, un buon modello
(una retta, una curva esponenziale, una funzione potenza, eccetera) che si adatti ai punti. Una volta
stabilito il tipo di funzione che si vuole adottare, occorre determinare la miglior funzione di quel
tipo: un metodo per definire quale sia la miglior funzione, largamente utilizzato nella pratica
scientifica, e di forte valenza concettuale è il metodo dei minimi quadrati.
Vediamo questo metodo nel caso più semplice, è quello della funzione lineare
x → mx+q.
Supponiamo di avere n punti, per esempio i 5 punti
(1, 16), (2, 31), (3, 40), (4, 50), (5, 60).
e di voler determinare la funzione lineare che meglio si adatta. La definizione di retta dei minimi
quadrati, o retta di regressione è la seguente: dati n punti (xi ,yi ) i=1, …n, la retta di regressione è
la retta di equazione
y = mx+q
che minimizza la somma dei quadrati degli scarti, cioè per la quale è minima la quantità (che è
funzione di m e q) S(m, q) = Σ((mxi+q-yi)**2)
Perché proprio la somma dei quadrati degli scarti? Gli scarti possono essere infatti positivi o negativi e la loro somma può essere piccola in valore assoluto anche per rette palesemente inadatte a descrivere gli n punti. Per esempio, siano dati i tre punti
allineati (1,1), (2,2), (3,3). Ovviamente la miglior retta è y = x; la somma degli scarti è nulla. Ma è nulla anche per
qualunque retta passi per (2,2), quindi di equazione
y = m (x–2)+2.
Dunque ci servono scarti che siano misurati da valori positivi; perché allora non usare la somma del valori assoluti degli scarti? È una scelta plausibile. Tuttavia la somma dei quadrati anziché dei valori assoluti si sposa in modo naturale con la media aritmetica: la media aritmetica di una sequenza di numeri gode della proprietà di rendere minima la somma dei quadrati degli scarti, mentre la mediana minimizza la somma dei valori assoluti. Si dimostra che la retta dei minimi quadrati passa per il baricentro dei punti, cioè il punto che ha per coordinate le medie aritmetiche delle ascisse e delle ordinate.
S(m, q) è un polinomio di secondo grado in m e q; per minimizzare S(m, q) non occorrono le
derivate: se si pensa S come polinomio in m (e q come parametro), il grafico di S(m) è una parabola
con la concavità verso l’alto; il valore di m che rende minimo S è l’ascissa del vertice.
M = Som((yi-ym)*(xi-xm)) / som((xi-xm)**2)
Q =my - M*mx