Wat is een effect size?

Laten we beginnen met de vraag: waarom is de significantie (α-waarde) niet genoeg? Het antwoord is eenvoudig, als je steekproefomvang toeneemt worden kleine effecten significant. Dit betekent dan dat je een statistische relatie hebt gevonden die afwijkt van nul. Als je je steekproefomvang aanzienlijk vergroot, bijvoorbeeld naar 10.000 observaties, worden zelfs hele kleine effecten significant, er van uit gaande dat het effect waar je naar opzoek bent daadwerkelijk bestaat en in je data zit. De significantie (p-waarde) zegt niets over hoe groot het effect is dat je hebt gevonden. Op onze pagina “Waarom is de significantie (p-waarde) niet genoeg?” laten we met behulp van het programma G*Power zien waarom de α-waarde maar een deel laat zien van je statistische relatie. Kortom, het is belangrijk om naast je significantie ook naar de grootte van het effect (effect size) te kijken.

Hoe groot moeten de relevante verschillen (effect size) in de afhankelijke variabele zijn?

Stel, we doen onderzoek naar de salarisverschillen tussen mannen en vrouwen op de Nederlandse arbeidsmarkt. Is dan € 100,= verschil tussen het gemiddelde jaarsalaris van mannen en vrouwen al relevant? Of zijn dat te kleine verschillen die niet noemenswaardig zijn? Is dan een verschil van € 1.000,= iets waar we in geïnteresseerd zijn? Of wordt het pas onderzoekstechnisch interessant bij een verschil van € 10.000,= in de jaarsalarissen van mannen en vrouwen? Hieruit komt naar voren dat we eerst moeten bepalen hoe nauwkeurig we willen meten.

Hoe creëren we een objectieve dimensieloze meting van het verschil?

Nadat we het minimale verschil (absolute effect size) hebben bepaald dat we willen kunnen meten, moeten we dat verschil in context plaatsen. Stel dat we voor een verschil van € 10.000,= kiezen, maar is € 10.000,= nu veel of weinig? Dat ligt er aan welk referentieniveau je kiest. Een verschil van € 10.000,= op een jaarsalaris van € 15.000 is ongeveer 67%. Een verschil van € 10.000,= op een jaarsalaris van € 30.000 is ongeveer 33%. Om nu tot een objectieve en dimensieloze index (effect size) te komen normaliseren we het verschil door te delen door de standaarddeviatie.

Waarom delen we door de standaarddeviatie?

We kiezen hier voor de standaarddeviatie omdat het verschil in jaarsalarissen als een afwijking t.o.v. het gemiddelde kan worden beschouwd. Als we er voor de discussie even van uit gaan dan de distributie van de jaarsalarissen van mannen en vrouwen gelijk is, maakt het niet uit welke standaarddeviatie we nemen. Wat we nu dus doen is het verschil in jaarsalarissen vergelijken met het “normale” verschil. Hierdoor krijgen we een meting met een vaste eenheid (standaarddeviaties) waarbij rekening wordt gehouden met de variatie in de variabele.

Hoe bereken je de standaarddeviatie?

Bij het berekenen van de standaarddeviatie kijken we eerst wat het verschil is van elke waarde t.o.v. het gemiddelde. Daarna tellen we al deze verschillen op en delen het door het aantal observaties. Hiermee krijgen we een gemiddelde afwijking ten opzichte van het gemiddelde. Nu moeten we wel met een complicatie rekening houden. Als we een hoger getal hebt dan het gemiddelde krijg we een positief verschil. Als we een lager getal hebt dan het gemiddelde krijg we een negatief verschil. Bij een perfecte symmetrische distributie zouden de negatieve verschillen de positieve verschillen kunnen opheffen. Om dat te voorkomen kwadrateren we alle verschillen t.o.v. het gemiddelde voordat we ze optellen. Om van dit gemiddelde van gekwadrateerde verschillen t.o.v. het gemiddelde weer een normaal interpreteerbaar getal te maken trekken we de wortel uit dit getal.

Wat is de definitie van een effect size?

Een van de meest bekende auteurs op dit gebied Cohen (1988) heeft effect size als volgt gedefinieerd. “Without intending any necessary implication of causality, it is convenient to use the phrase “effect size” to mean “the degree to which the phenomenon is present in the population,” or “the degree to which the null hypothesis is false.” Cohen (1988, pp. 9-10). De effect size is een dimensie loze maat die de grootte van een bepaald effect aangeeft.

Wat is een voorbeeld van een effect size?

Een effect size in zijn eenvoudigste vorm is het verschil tussen twee populatie gemiddelden. Stel dat vrouwen gemiddeld genomen € 30.000 per jaar verdienen en mannen € 40.000 per jaar. Dan is de effect size € 40.000 – € 30.000 = € 10.000. Deze € 10.000 is informatief, maar is afhankelijk van de schaal waarop is gemeten. Daarnaast geeft deze € 10.000 niet aan of dit een klein of groot verschil is t.o.v. de twee populatie gemiddelden. Hier mist namelijk een referentieniveau. Als we er van uit gaan dat de spreiding rondom het gemiddelde salaris van vrouwen en mannen gelijk is. Dan kunnen deze € 10.000 delen door de standaarddeviatie van de groep vrouwen of mannen. In dit voorbeeld nemen we aan dat de standaarddeviatie €15.000 is. Dan is de Cohens effect size gelijk aan (€40.000 – €30.000)/ €15.000 = 0,67. Maar is deze effect size nu klein, gemiddeld of groot?

Gratis Intakegesprek? >>

Wat zijn de operationele beschrijvingen van de effect size?

Cohen (1988) heeft de effect size als volgt geoperationaliseerd.

Small effect size: “in new areas of research inquiry, effect sizes are likely to be small (when they are not zero). This is because the phenomena under study are typically not under good experimental or measurement control or both. When phenomena are studied which cannot be brought into the laboratory, the influence of uncontrollable extraneous variables (“noise”) makes the size of the effect small relative to these (makes the “signal” difficult to detect).” (Cohen, 1988, p. 25)

Medium effect size: “A medium effect size is conceived as one large enough to be visible to the naked eye. That is, in the course of normal experience, one would become aware of an average difference in IQ between clerical and semiskilled workers or between members if professional and managerial occupational groups (Super, 1949, p. 98).” (Cohen, 1988, p. 26)

Large effect size: “which is fairly obvious to the observer’s naked eye, yet not so large as to render statistical analysis wholly superfluous” (Cohen, 1988, p. 149) . “That is, the difference in size between apples and pineapples is of an order which hardly requires an approach via statistical analysis.” “Large effects are frequently at issue in such fields as sociology, economics, and experimental and physiological psychology, fields characterized by the study of potent variables or the presence of good experimental control or both.” (Cohen, 1988, p. 13).

Wat zijn de drempelwaarden voor diverse effect sizes?

Cohen (1988) heeft deze operationele beschrijvingen van de omvang van de effect size ook vertaald naar numerieke drempelwaarden. Aangezien er meerdere metingen van effect size zijn, zijn deze drempelwaardes afhankelijk van de statistische test die je doet. In onderstaande tabel is een overzicht gemaakt van de effect size meting, statistische test en bijbehorende drempelwaarden. Op basis van de tabel met de drempelwaarden van de effect size kunnen we bepalen dat dit een middelgroot effect is.

Wat zijn de drempelwaarden voor diverse effect sizes?

Geïnteresseerd in onze andere Tips? >>

Ben je geïnteresseerd en wil je weten wat wij voor je kunnen beteken? Stel dan vrijblijvend je vraag via ons contactformulier of WhatsApp.

Contact! >>     WhatsApp Ons! >>

Ben je benieuwd wat onze scriptiebegeleiding (scriptiehulp) je kost? Neem dan een kijkje op onze tarievenpagina via onderstaande button!

Wat kost scriptiebegeleiding? >>

Literatuurlijst:

1. Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2 ed.). New York: Lawrence Erlbaum Associates.

klik hier om terug te gaan naar de “Hoeveel regressie variabelen kan mijn dataset aan?“