Onderzoeksbegrippen: betrouwbaarheid en validiteit

Betrouwbaarheid:
Geeft de mate aan waarin metingen vrij zijn van de invloed van toevallige factoren. Geeft de consistentie van herhaalde metingen weer.
Types van betrouwbaarheidscoëfficiënten:

• Interitem: correlatie tussen items van één test (consistency), meten met Cronbach’s alpha
• Test-retest: correlatie tussen twee metingen van dezelfde test (stability)
• Parallel forms: correlatie tussen twee vormen van dezelfde test
• Interrater: correlatie tussen twee beoordelaars, meten met Cohen’s Kappa

Validiteit:
In hoeverre zijn de getrokken conclusies geldig (betekenisvol) op basis van de meetinstrumenten. Gaat dus niet om het meetinstrument, maar om de ‘fit’ tussen ‘measurement and it’s label’.

Interne validiteit:
Refereert naar de claim dat de onafhankelijke variabele de afhankelijke variabele veroorzaakt. Dus in hoeverre je er zeker van bent dat de gestelde hypothese klopt. In hoeverre zijn de validiteitsbedreigers gecontroleerd:

• Reverse causation: A veroorzaak niet B, maar B veroorzaakt A.
• Mortality: Het verlies van proefpersonen (letterlijk overlijden/verveling, etc)

Time threats: Te ontlopen door een control groep, maar dan kans op groep threats

• History: een andere gebeurtenis buiten de studie veroorzaakt het geobserveerde verschil.
• Maturation: de natuurlijke ontwikkeling van de proefpersoon(en) veroorzaakt verschil.
• Instrumentation: door het gebruik van een andere manier van meten wordt een verschil waargenomen.
• Test reactivity: Als reactie op de pre-test wordt een verschil veroorzaakt (vaak attitude)

Group threats:  Te ontlopen door random assignment (let op verschil met random sampling)

• Selection: pretest verschillen veroorzaakt posttest verschillen (kinderen vs volwassenen)
• Selection-by-time interactions: combinatie van tijd en groepsverschillen (groeien van jongens vs meisjes op bepaalde leeftijd)
• Regression to the mean: Indien mensen met extreme scores zijn geselecteerd zal er regressiont ot the mean optreden. X = T+E. VB: indien hoogste:, T = 9, E = willekeurig. Tijdens selectie zijn mensen met hoge E geselecteerd, terwijl de tweede keer deze ook de lagere scores zal bevatten.

Externe validiteit:
In hoeverre zijn de onderzoeksresultaten te generaliseren naar andere populaties, tijden en andere settings.

Setting-by-intervention: De setting van een onderzoek heeft invloed op resultaten.

• Experimental setting: Het bewustzijn van het deelnemen aan een onderzoek zorgt voor een ‘onnatuurlijke’ reactie.
• Context: Proefpersonen reageren op de sociale en fysieke omgeving van het onderzoek. Een onderzoek is artificieel, en dus niet ‘natuurlijk’.(ecologische validiteit).

History-by-intervention: Effecten zijn een combinatie van een recente gebeurtenis of tijdperk.

Selection-by-intervention: De effecten zijn een gevolg van deze specifieke steekproef.

Experimentele constructvaliditeit:
Hierbij gaat het altijd om de interactie tussen proefpersoon en proefleider/onderzoeker.

Experimental group contamination:

• Experimenter expectancy: De onderzoeker heeft bewust of onbewust effect op de proefpersonen. Vaak is dit een gevolg van self-fulfilling-prophecy, omdat de onderzoeker niet neutraal is. (Pygmalion effect of Rosenthal effect)
• Demand characteristics: Proefpersonen reageren op het feit dat zij proefpersoon zijn. Zij proberen te ‘helpen’. Ze interpreteren cues van het onderzoek en reageren hier op. (Hawthorne effect)

Control group contamination:

• Compensatory contamination: De control group krijgt ook een behandeling, al dan niet gelijk aan die van de experimental group.
• Exaggerating contamination: Het verschil wordt groter doordat de control group zich benadeeld voelt.

Measurement construct validiteit: Is de meting betrouwbaar, dus vrij van random error. En wordt het juiste construct gemeten. (Zie ook meten van validiteit.)

Statistical inference validity: Is de steekproef een goede reflectie van de populatie en vrij van sample error/bias?

Incrementele validiteit: in hoeverre een meetinstrument nog iets toevoegt aan het bestaande testinstrumentarium.

Meten van validiteit:

Criterium Validity (criterion): Een criterium is de op dat moment beste indicator om een construct/concept te meten. Deze vorm van validiteit bevat de correlatie tussen het criterium en het ‘nieuwe’ meten.

• Predictive validity: In hoeverre is een predictor)test een goede voorspeller voor het toekomstige criterium. VB: eindcijfer HBO voorspeller voor prestaties Universiteit.
• Concurrent validity: In hoeverre correleren resultaten met gelijktijdig beschikbare gegevens. VB: correlatie van een quick scan met een uitgebreide echte test.
• Postdictive validity: Het criterium ligt in het verleden. VB: halverwege een re-integratietraject aan werknemers vragen hoe hun zelfbeeld was toen ze startte met het traject. Dit om na te gaan of dit een goede voorspeller is voor het succes van het integratietraject. (let op ‘memory bias’)

Content validity: Is een subjectieve beoordeling of de test een goede afspiegeling is van het grote domein. Zijn alle relevante aspecten opgenomen (representatief). VB: In hoeverre is een toets een goede afspiegeling van de behandelde stof.

Construct validity: Hoe goed is de test een reflectie van het construct.

• Convergent – Discriminant: De meting moet samenhang vertonen met andere metingen van hetzelfde construct (convergent). Het moet geen samenhang vertonen met andere constructs (discriminant). Discriminant validity helpt tegen ‘method effects’, waarbij verschillende metingen door dezelfde methode convergeren, maar andere constructs weer zouden moeten geven. Zie ook de MTMM-matrix in Spector (pagina 51)
• Theoritical experimental: Als twee metingen niet convergeren, maar toch hetzelfde moeten weergeven moet de beste worden gekozen. Hierbij maak je twee aannames: 1. De theorie klopt en 2. De meting van de endogenous variabele is correct. Kortweg: Hoe goed past de meting binnen de theorie.
• Factor analysis: Dit geeft weer hoeveel verschillende constructs (factors) worden gemeten door een test en in hoeverre elk item samenhang vertoont met elke factor.