Tenemos
los valores de una magnitud (presión por ejemplo) en vector fila X1=(10, 11, 13, 15)
los valores de una segunda magnitud (altitud) X2=(100, 110, 130, 150)
Los valores de una 'variable criterio' (temperatura) Y=(20, 25, 28, 30)
Buscamos estimar los valores de Y (variable criterio o dependiente) usando los de X1 y X2 (variables predictoras o independientes) con la relación:
Yr=b0+b1*X1+b2*X2
La diferencia Y-Yr (el valor real y el estimado) es el error. Los coeficientes b0,b1 y b2 (son números, no matrices) se obtienen aplicando mínimos cuadrados (minimizando el cuadrado de las diferencias entre Y y Yr), lo cual nos da la relación matricial
b=inv(X' X) X' Y
donde:
b=(b0,b1.b2)
Y=(20, 25, 28, 30) en forma de vector columna
inv(A) representa la matriz inversa de A
A' repesenta la matriz transpuesta de A
X es la matriz de 3 columnas formada asi:
columna 1 es X(:,1)=(1, 1, 1, 1)
columna 2 es X(:,2)=X1'
columna 3 es X(:,3)=X2'
Si tenemos nuevos elementos de X1, por ejemplo X1=(20, 21, 25, 29) y de X2, por ejemplo X2=(111, 110, 140, 180), los reemplazamos en Yr=b0+b1*X1+b2*X2, donde ya conocemos los coeficientes y tendremos los valores Yr , estimados según la Regresión Múltiple.
En R: Creamos el data frame donde la 1er columna es X1, la 2da X2 y la tercera Y. Usamos la función lm () para la Regresión Múltiple. Por ejemplo
modelo <- lm(Y~X1+X2, data=mis.datos[,c("X1","X2","Y")])
Donde modelo da los coeficientes : b0, b1 y b2 (b0 es llamado intercepto, b1 es el coeficiente de X1 y b2, el de X2).
Calculamos la matriz de Covarianza
C=(1/m)[X'X-(1/m)(X'I)(I'X)]
donde m es el número de datos, I es la matriz identidad, X es la matriz cuyas columnas son las variables que se buscan reducir, por ejemplo X1 y X2
Calculamos los autovectores y autovalores. Sean estos por ejemplo los autovectores t1 y t2 con sus correspondientes autovalores λ1 y λ2.
Sea por ejemplo el autovalor λ1 > λ2, esto indica que los datos se encuentran distribuidos principalmente en la dirección t1.
Consideramos dos nuevos ejes, sean Z1 y Z2 en dirección de los autovectores hallados. Podemos elegir la coordenada Z1 como eje principal. Si por ejemplo Z1 forma 30º con el eje X1, tenemos la siguiente combinación lineal de X1 y X2
Z1=cos30º X1 + sin30º X2