Multicollineariteit in een regressieanalyse

Een suppressor variabele is een variabele die geen correlatie heeft met je afhankelijke variabelen, maar wel met je onafhankelijke variabele(n) (Pedhazur & Kerlinger, 1982).

Waarom is het belangrijk om suppressor variabelen te identificeren?

Een suppressor variabele verwijdert de niet unieke (irrelevante) variatie uit je onafhankelijke variabelen en heeft daarmee een “zuiverend” effect. Ondanks dat deze variabele waarschijnlijk geen significant effect heeft op je afhankelijke variabele, is de suppressor wel belangrijk voor je andere onafhankelijke variabelen (Thompson, 2006, p. 237). Een suppressor variabele verhoogt de verklarende waarde van je model (R-squared). Daarnaast verhoogt een suppressor variabele de effect size van de variabele(n) welke hij beïnvloedt (Thompson, 2006, p. 237; Walker, 2003). Daarentegen zijn er ook negatieve effecten van een suppressor variabele. Een supressor variabele kan een bron zijn van multicollineariteit en daarmee een oorzaak zijn van grote standaardfouten. Daarnaast kan een suppressor zorgen voor onnauwkeurige regressiecoëfficiënten en een bron zijn van onstabiliteit in je regressiemodel (Kidwell & Brown, 1982). Kortom, een suppressor variabele heeft voordelen en nadelen. Daarom wil je wel de “zuiverende” effecten van een suppressor variabele maar niet de multicollineariteitseffecten.

Figuur 1

Hoe kan je een suppressor variabele detecteren?

Een suppressor variabele is eenvoudig op te sporen door je “zero-order correlation” coëfficiënt te vergelijken met je gestandaardiseerde regressiecoëfficiënt. De zero-order correlation coëfficiënt is hetzelfde als je Pearson bivariate correlatiecoëfficiënt. In je zero-order correlation coëfficiënt kijk je, in tegenstelling tot de regressiecoëfficiënt, naar de 1:1 correlatie tussen je onafhankelijke variabele en je afhankelijke variabele zonder dat je rekening houdt met de andere variabelen. Als je gestandaardiseerde regressiecoëfficiënt aanzienlijk groter is dan je zero-order correlation coëfficiënt, heb je waarschijnlijk te maken met een suppressor variabele (Thompson, 2006, p. 237). In bovenstaande ballentine (Figuur 1) is te zien dat variabele X3 geen correlatie heeft met Y maar wel met X1 en X2. Variabele X3 verwijdert dat deel uit variabele X1 en X2 wat niet uniek in en “zuivert” daarmee deze variabelen.

Referenties:

1. Kidwell, J. S., & Brown, L. H. (1982). Ridge Regression as a Technique for Analyzing Models with Multicollinearity. Journal of Marriage and Family, 44(2), 287-299. 
2. Pedhazur, E. J., & Kerlinger, F. N. (1982). Multiple Regression in Behavioral Research: Explanation and Prediction (2 ed.). New York: Holt, Rinehart, and Winston.
3. Thompson, B. (2006). Foundations of Behavioral Statistics: An Insight-Based Approach. New York: Guilford Publications.
4. Walker, D. A. (2003). Suppressor Variable(s) Importance within a Regression Model: An Example of Salary Compression from Career Services. Journal of College Student Development, 44(1).

Wil je nog meer tips? Klik dan hier !