Ridge Regression Example

Data Display

Row    x1    x2      y

   1     1     1      2
   2     5     4      5
   3     5     5      6
   4     5     6      6
   5     9     9     10

Regression Analysis

The regression equation is  y = 0.800 + 0.500 x1 + 0.500 x2

Predictor        Coef       StDev          T        P       VIF
Constant       0.8000      0.3837       2.09    0.172
x1             0.5000      0.2823       1.77    0.219      17.0
x2             0.5000      0.2739       1.83    0.209      17.0

S = 0.3873      R-Sq = 99.1%     R-Sq(adj) = 98.2%

Analysis of Variance

Source            DF          SS          MS         F        P
Regression         2      32.500      16.250    108.33    0.009
Residual Error     2       0.300       0.150
Total              4      32.800

Source       DF      Seq SS
x1            1      32.000
x2            1       0.500
 

Correlations (Pearson)
Correlation of x1 and x2 = 0.970, P-Value = 0.006
 

Data Display

 Row    x1    x2      y   ones   x1c   x2c       x1cs       x2cs

   1     1     1      2      1    -4    -4  -0.707107  -0.685994
   2     5     4      5      1     0    -1   0.000000  -0.171499
   3     5     5      6      1     0     0   0.000000   0.000000
   4     5     6      6      1     0     1   0.000000   0.171499
   5     9     9     10      1     4     4   0.707107   0.685994

Regression Analysis

The regression equation is  y = 5.80 + 0.500 x1c + 0.500 x2c

Predictor        Coef       StDev          T        P       VIF
Constant       5.8000      0.1732      33.49    0.001
x1c            0.5000      0.2823       1.77    0.219      17.0
x2c            0.5000      0.2739       1.83    0.209      17.0

S = 0.3873      R-Sq = 99.1%     R-Sq(adj) = 98.2%

Analysis of Variance

Source            DF          SS          MS         F        P
Regression         2      32.500      16.250    108.33    0.009
Residual Error     2       0.300       0.150
Total              4      32.800

Source       DF      Seq SS
x1c           1      32.000
x2c           1       0.500
 

Regression Analysis

The regression equation is  y = 5.80 + 2.83 x1cs + 2.92 x2cs

Predictor        Coef       StDev          T        P       VIF
Constant       5.8000      0.1732      33.49    0.001
x1cs            2.828       1.597       1.77    0.219      17.0
x2cs            2.915       1.597       1.83    0.209      17.0

S = 0.3873      R-Sq = 99.1%     R-Sq(adj) = 98.2%

Analysis of Variance

Source            DF          SS          MS         F        P
Regression         2      32.500      16.250    108.33    0.009
Residual Error     2       0.300       0.150
Total              4      32.800

Source       DF      Seq SS
x1cs          1      32.000
x2cs          1       0.500
 

Data Display

 Matrix M1 = X (with X1 and X2 centered and scaled)

  1.00000  -0.70711  -0.68599
  1.00000   0.00000  -0.17150
  1.00000   0.00000   0.00000
  1.00000   0.00000   0.17150
  1.00000   0.70711   0.68599
 

 Matrix M2 = X'

  1.00000   1.00000   1.00000   1.00000   1.00000
 -0.70711   0.00000   0.00000   0.00000   0.70711
 -0.68599  -0.17150   0.00000   0.17150   0.68599
 

 Matrix M3 = X'X

 5.0000000  0.0000000  0.0000000
 0.0000000  1.0000000  0.9701425
 0.0000000  0.9701425  1.0000000
 

 Matrix M4 = kI

  0.0   0.0   0.0
  0.0   0.1   0.0
  0.0   0.0   0.1
 

 Matrix M5 = X'X + kI

 5.0000000  0.0000000  0.0000000
 0.0000000  1.1000000  0.9701425
 0.0000000  0.9701425  1.1000000
 

 Matrix M6 Inv(X'X + kI)

  0.20000   0.00000   0.00000
  0.00000   4.09190  -3.60885
  0.00000  -3.60885   4.09190

 Matrix M7 = X'Y

  29.0000
   5.6569
   5.6595

bhatr
   5.80000   2.72321   2.74323

Note: These are the parameter estimates for centered and scaled units.
To obtain the estimates of Beta1 and Beta2 in the original units, divide by the scaling factor.
In this case, divide 2.72321 by Sqrt(32) and 2.74323 by Sqrt(34) to get 0.4814 and 0.4705, respectively.
 

SAS program to do Ridge Regression

Data one; input x1 x2 y; cards;
1 1 2
5 4 5
5 5 6
5 6 6
9 9 10
;
proc reg ridge=.00 to .1 by .02 outest=b;
model y = x1 x2 /vif;
proc plot; plot (x1 x2) * _RIDGE_ / vref=0 vpos=25 hpos=45;
proc print;

proc reg data=one ridge= .00 to .1 by .02 outest=c outvif;
model y = x1 x2;
proc print;

run;

                                      Analysis of Variance

                                         Sum of         Mean
                Source          DF      Squares       Square      F Value       Prob>F

                Model            2     32.50000     16.25000      108.333       0.0091
                Error            2      0.30000      0.15000
                C Total          4     32.80000

                    Root MSE       0.38730     R-square       0.9909
                    Dep Mean       5.80000     Adj R-sq       0.9817
                    C.V.           6.67756

                                      Parameter Estimates

                        Parameter      Standard    T for H0:                     Variance
       Variable  DF      Estimate         Error   Parameter=0    Prob > |T|     Inflation

       INTERCEP   1      0.800000    0.38365023         2.085        0.1724    0.00000000
       X1         1      0.500000    0.28228974         1.771        0.2185   17.00000000
       X2         1      0.500000    0.27386128         1.826        0.2094   17.00000000
 

                                   Ridge regression control value

OBS  _MODEL_  _TYPE_  _DEPVAR_  _RIDGE_  _PCOMIT_   _RMSE_  INTERCEP     X1       X2     Y

 1   MODEL1   PARMS      Y         .         .     0.38730   0.80000  0.50000  0.50000  -1
 2   MODEL1   RIDGE      Y        0.02       .     0.38942   0.84980  0.49798  0.49206  -1
 3   MODEL1   RIDGE      Y        0.04       .     0.39554   0.89886  0.49430  0.48592  -1
 4   MODEL1   RIDGE      Y        0.06       .     0.40524   0.94704  0.49013  0.48046  -1
 5   MODEL1   RIDGE      Y        0.08       .     0.41806   0.99432  0.48579  0.47534  -1
 6   MODEL1   RIDGE      Y        0.10       .     0.43353   1.04070  0.48140  0.47046  -1
 
 

OBS  _MODEL_  _TYPE_    _DEPVAR_  _RIDGE_  _PCOMIT_   _RMSE_  INTERCEP     X1      X2    Y

1  MODEL1   PARMS        Y         .         .     0.38730   0.80000  0.50000  0.50000  -1
2  MODEL1   RIDGEVIF     Y        0.02       .      .         .       6.25440  6.25440  -1
3  MODEL1   RIDGE        Y        0.02       .     0.38942   0.84980  0.49798  0.49206  -1
4  MODEL1   RIDGEVIF     Y        0.04       .      .         .       3.30291  3.30291  -1
5  MODEL1   RIDGE        Y        0.04       .     0.39554   0.89886  0.49430  0.48592  -1
6  MODEL1   RIDGEVIF     Y        0.06       .      .         .       2.08791  2.08791  -1
7  MODEL1   RIDGE        Y        0.06       .     0.40524   0.94704  0.49013  0.48046  -1
8  MODEL1   RIDGEVIF     Y        0.08       .      .         .       1.47135  1.47135  -1
9  MODEL1   RIDGE        Y        0.08       .     0.41806   0.99432  0.48579  0.47534  -1
10 MODEL1   RIDGEVIF     Y        0.10       .      .         .       1.11516  1.11516  -1 11 MODEL1   RIDGE        Y        0.10       .     0.43353   1.04070  0.48140  0.47046  -1

   Plot of X1*_RIDGE_.  Legend: A = 1 obs, B = 2 obs, etc.

                        X1
                          
                       0.6
                          
                          
                           A          A          A          A
                                                                       A
                          
                       0.4
                          
                          
                          
                          
                          
                       0.2
                          
                          
                          0.02       0.04       0.06       0.08       0.10

                                   Ridge regression control value
 

                    Plot of X2*_RIDGE_.  Legend: A = 1 obs, B = 2 obs, etc.

                        X2
                       0.6
                          
                          
                           A          A
                                                 A          A          A
                          
                       0.4
                          
                          
                          
                          
                          
                       0.2
                          
                          
                          0.02       0.04       0.06       0.08       0.10