Måling, strukturer og manglende ontologisk fundament: En respons til Kleven og Price

Strukturer

Price (2023) kritiserer perspektivet jeg løfter fram ved å hevde at jeg er «realist about what attributes measure, but not realist about the object being measured» (s. XX). Dette er et viktig, men karikert poeng ved perspektivet jeg tar – som jeg tar kritikk på at blir utydelig. Basert på ontologisk realisme antar jeg at studieobjektene, enten de fysiske eller psykologiske, er reelle og eksisterende. Jeg bruker likevel Wolffs (2020) begrep om restriktiv realisme for å understreke, i tilfellet måling, at ikke alle attributter er kvantiteter i kraft av antatt eksistens. At alle attributter ikke er kvantiteter utelukker likevel ikke eksistens eller mulighet for vitenskapelig studie, men heller at vi har å gjøre med strukturer som ikke oppfyller kravene for kontinuerlige variabler. Ikke-kvantiteter, her kalt kvalitative strukturer, er strukturer med ulike former for orden (f.eks. total, partiell, svak), uten additivitet. Dersom noe som tallfestes ikke innehar en kvantitativ struktur mener jeg, på lik linje med Michell (1999), at vi har å gjøre med noe annet enn måling, men måling er ikke den eneste vitenskapelige metoden, slik Price (2023) antyder. Det jeg mener vi ikke er tjent med og som hindrer vitenskapelig oppdagelse, er at vi behandler kvalitative strukturer som kvantiteter, slik som Kleven (2023) ser ut til å argumentere for: «Hvis man antar at holdningen er kontinuerlig, er det ønskelig at også måleresultatet fremstår som en kontinuerlig variabel» (s. 8). Hvis vi tillater at det eksisterer andre strukturer enn kvantiteter, så er det ingen selvfølge eller rimelighet å anta at et gitt attributt er kontinuerlig a priori. Når Price (2023) skriver «Høgheim therefore advocates an approach to measurement in educational quantitative research that would not break the principles of classical measurement» (s. 15), så stemmer dette så lenge vi også tar hensyn til myriaden av kvalitative strukturer som eksisterer.

Det som kjennetegner den vitenskapelige metode, i tråd med Popper (1968), er en kritisk innstilling og selv-overvåking som av hensyn til den feilbarlige prosessen med å generere kunnskap tester antakelser som kan være feil. Ved å uforbeholdent basere metodologien på eksistensen av utelukkende kontinuerlige attributter, overser den kvantitative utdanningsforskningen alle alternative strukturer som kan studeres vitenskapelig. Dette mener jeg leder til en ukritisk prosess som hindrer oppdagelse siden det som oppdages er forutinntatt.

Ontologi

Price (2023) mener jeg antar «there is no ontology underlying the theories and codes in psychology and education» (s. 12), som unngår det som er mitt poeng om at det ikke er noen underliggende realisme i teoriene og kodene som inngår i målingsmetodologien – til tross for at det antas. Price (2023) har rett i at jeg er kritisk til kritisk realisme (se Price for en utførlig presentasjon av dette perspektivet), som i Høgheim (2023) baserer seg en kritikk av en antatt ontologisk realisme som ikke gjenspeiles i metodologien. Ett av kjernemomentene i kritisk realisme er antakelsen om en stratifisert virkelighet, hvor det empiriske (strata 3) ligger innenfor det faktiske (strata 2), som igjen ligger innenfor det reelle (strata 3). Dersom man antar en ontologisk eksistens av strukturer eller mekanismer (strata 1), bør disse danne utgangspunktet for måling (strata 3) – som en logisk forlengelse av at det empiriske ligger innenfor det reelle strata. Og veien til realisme, mener jeg, går gjennom en retroduktiv og kausal forklaring på sammenheng mellom struktur i strata 1 og instrument i strata 3. Spørsmålet som bør besvares er: Hvordan og hvorfor påvirker attributt x instrument y? Denne posisjonen baserer jeg på Borsboom et al.s (2004) perspektiv på konstruktvaliditet som et kausalt begrep og Bhaskars vektlegging av retroduksjon (se Price) for å ta høyde for antakelsen som Kleven (2023) løfter fram om «evner, egenskaper, holdning og så videre som eksisterer uavhengig av forskerens teorier og målinger, og som påvirker personens atferd og deres måleresultat» (s. 7, min utheving). Additative conjoint measurement er deretter en mulighet til å teste den «kvantitative hypotesen» (m.a.o. attributt x er en kvantitet), som danner utgangspunktet for den vitenskapelige oppgaven ved måling.

Den sentrale utfordringen med kritisk realisme som jeg løfter fram, er den kjente dualistiske ontologien som ligger til grunn for posisjonen (se Zhang, 2023). Ontologi forstås i kritisk realisme både som (a) den foranderlige (transitive) teoretiske tolkningen av virkeligheten (strata 3) og (b) den uforanderlige (intransitive) virkeligheten utenfor vår kunnskapshorisont (strata 1). Perspektiv (a) kommer fram hos Price (2023) ved at vi bør akseptere at «our theories are about something real» (s. 14), samtidig som vi må akseptere (b) en «deep reality of both real categories and real causes» (s. 10). Kritisk realisme åpner derfor opp for at teorier inneholder sannhet fra en annen, og mulig uobserverbar, virkelighet, slik antakelsene blir i litteratur om konstruktvaliditet. En grunntanke i realisme er at verken mentale eller ikke-mentale prosesser eksisterer i kraft å være tenkt på (Mackay & Petocz, 2011), noe kritisk realisme omgår ved at tenkt indikerer eksistens, men på et annet plan. Jeg posisjonerer meg ikke som en kritisk realist slik som Kleven (2023) og Price (2023), og hensikten med å bringe dette vitenskapelige perspektivet inn i målingsdebatten er å løfte fram den antatte realismen i det kvantitative utdanningsforskningen. Og her mener jeg kritisk realisme svikter.

Et siste moment jeg vil løfte fram i denne sammenheng, er Prices (2023) kritikk av min «ironiske» bruk av representasjonalisme for måling: «What is seen as proper measurement by the author, is a representation by standard things» (s. 13). Jeg antar at vi i utgangspunktet snakker om to ulike typer representasjonalisme, hvor jeg skriver om numerisk representasjonalisme (f.eks. Russell, 1903) og Price om psykologisk (m.a.o. at virkeligheten bare er tilgjengelig for oss gjennom representasjoner, slik som via språket). Jeg er enig med Price om at psykologisk representasjonalisme ikke er noe vi nødvendigvis er tjent med, eller i det minste bør være svært kritisk til. Eksempelet mitt med meter, som ikke er en ting slik Price mener, er en enhet som tilfredsstiller det ontologiske systemet av reelle tall som definert av Hölder på tidlig 1900-tall (Michell & Ernst, 1997). En kvantitet basert på X = rY baseres på en ontologisk og aksiomatisk antakelse for kontinuerlige variabler som ikke er sosialt definert representasjoner, selv om aksiomene danner utgangspunktet for ulike enheter med ulike betegnelser.

Målefeil

Jeg er enig i Klevens (2023) vektlegging av måling som feilbarlig, men studiet av kvantiteter eliminerer ikke feilkilder. Faktisk vil en ytterligere feilkilde kunne vurderes ved å undersøke ikke bare tilfeldige og systematiske feilkilder, men også strukturelle aspekter. Jeg stiller meg likevel kritisk til hvorvidt tilfeldige og systematiske feil tilfører noe til spørsmålet om måling dersom man antar ontologisk realisme, da disse er teoretiske kvaliteter. Tilfeldige feilkilder antas, basert på normalfordelingsprinsippet (se Borsboom, 2005), å være selvutslettende, mens systematiske feil handler om overgangen fra teoretisk begrep og operasjonalisert instrument baserer seg på en subjektiv forståelse av konstrukt som studeres. Når jeg omtaler psykologisk måling som en metode med hundre prosent suksessrate, handler det om den siden av prosessen som Kleven ikke ønsker å ta hensyn til: om kvantitet er tilfelle eller ikke. Systematiske feil vil likevel være aktuelle så lenge det er disposisjonelle og konseptuelle egenskaper som er gjenstand for studie, altså om observerbar atferd som antas å forklares ut fra et underliggende psykologisk konsept. Selv om et instrument skulle vise jeg å måle et konsept som «interesse», utelukker dette ikke at konseptet kan endre seg med videre forskning, eller at instrumentet ikke fanger konseptet i sin fulle bredde og dybde. Temperaturens historie (Chang, 2004), for eksempel, viser en kontinuerlig prosess om konseptuell forandring og forsøk på måling, hvor oppdagelsen av termometer som instrument for måling av et uobserverbart konsept beriket feltet ved å kunne bevege seg vekk fra det rent sansbare (varmt versus kaldt).

Avslutning

Som realist argumenterer jeg for at den metodologien som underbygger kvantitativ utdanningsforskning har to valgmuligheter:

(1) I tråd med ontologisk realisme prøve å måle psykologiske konsept og egenskaper, men samtidig være åpen for alternative, ikke-kvantitative strukturer, eller

(2) forlate den antatte ontologisk realismen til fordel for den faktiske relativismen som målingsmetodologien bygger på i dagens praksis (m.a.o. konstruktvaliditet). Konsekvensen er da at måling ikke er mulig siden metoden forutsetter at det er noe «der ute» å måle, men da bør terminologien tilpasses metodologien.

Jeg antar at noe av grunnen til målingsbegrepet ikke erstattes selv om det erkjennes at vi ikke bruker metoden (se Kleven, 2023) er fordi: «When claiming to have measured something, the clear implication is that the information one has obtained is of higher quality […] than the information acquired via others means» (Mari et al., 2021, s. 112). Dette har vi ikke noe å tjene på, verken i kritisk oppdagelse eller vitenskapelig redelighet.