Sådan gennemskuer du om en artikel er troværdig

her får du en guide til hvordan man gennemskuer om en artikel eller et studie er troværdigt?

Vi bliver bombarderet med nye studier og nye produkter hele tiden, og det kan være rigtig svært at skelne mellem de seriøse og fagligt stærke studier, de mindre gode studier, og de artikler, som bare prøver at sælge os et produkt eller en metode.

Her er en tjekliste du kan bruge, når du læser en artikel eller en nyhed, inden du går ud og bruger en masse penge eller laver om på rutinerne omkring din hest. Nedenunder kommer en beskrivelse af, hvorfor punkterne er vigtige.

Af dyrlæge og ph.d forsker Lise Charlotte Berg

 

• Prøver artiklen at gøre mig klogere, eller prøver de at få mig til at købe et produkt eller en ydelse?
• Er der en kontrolgruppe? For at kunne vurdere om et produkt eller en metode er bedre, så er der nødt til at være en kontrolgruppe, som har levet under samme betingelser som forsøgsgruppen men uden behandlingen eller produktet. Uden en kontrolgruppe er det meget svært at vurdere, om gode resultater skyldes det undersøgte produkt, eller om der er andre ting som har gjort, at lige præcis denne gruppe heste har vist en positiv effekt
• Hvor mange heste er produktet/metoden testet på? Hvis der ikke står et præcis tal, så er det garanteret ikke ret mange.
• Hvem har udført studiet? Og hvem har betalt for studiet?
• Er der brugt sund og korrekt statistik? Det kan være rigtig svært at vurdere selv for trænede forskere, men det er virkelig vigtigt. Selvom du ikke kan gennemskue om statistikken er korrekt, så læg mærke til, hvilke ord der bruges. Hvis noget er signifikant forskelligt, så betyder det, at der er lavet statistik. Hvis de bare skriver, at der ses en forskel, eller det tyder på, eller der er en tendens, osv. så er der som regel ikke lavet statistik, og så kan vi faktisk ikke tillade os at konkludere ret meget.
• Lyder det for godt til at være sandt?
• Har dem der fortæller om produktet en interesse i at sige pæne ting? Er de sponsoreret af firmaet bag? Mange af vores dygtigste ryttere og trænere har sponsoraftaler, så de vil selvfølgelig fremhæve sponsorernes produkter. Det betyder ikke at produkterne ikke er gode, men det skal bare med i vores overvejelser.
• Er jeg sikker på, at det er sikkert for min hest? Tror jeg på, at det er ordentlig gennemtestet?

 

Inden jeg går mere i detaljer, vil jeg gerne komme med et par generelle kommentarer.
Jeg kan sagtens forstå, at det er fristende at tro på de lovende resultater, der bliver præsenteret især på sociale medier. Jeg har selv heste, og der er masser af frustrerende problemer, når man har hest, hvor det ville være helt utrolig fedt, hvis problemerne kunne løses hurtigt og nemt med en ny dims eller et tilskud. Den gode nyhed er, at nogle gange dukker der nye ting eller behandlinger op på markedet, som virkelig fikser et problem. Den dårlige nyhed er, at det er ret sjældent, men der er mange, der gerne vil prøve at sælge os løsninger alligevel, og mange af dem er ikke ordentlig testede, virker ikke, eller kan måske ligefrem skade vores heste. Derfor er det virkelig vigtigt, at vi kan gennemskue historierne, og at vi opdager, hvornår der bliver lovet lidt for meget. I behøver ikke blive lige så kyniske som mig, for jeg har efterhånden læst så mange dårlige artikler og studier, at jeg altid er skeptisk.
Men for jeres hestes skyld (og jeres økonomi), så er det godt at være bare en lille smule skeptisk.

Jeg vil her give jer nogle tips til, hvordan I kan gennemskue, om det er et godt og reelt studie, eller om der er grund til at være skeptisk. Nogle gange vælger de fleste af os alligevel at prøve noget af, selvom vi ved, at det nok ikke virker, men vi skal gøre det med åbne øjne, og vi skal i hvert fald sikre os, at vi ikke kan komme til at skade vores heste.
Alle der kender mig ved, at jeg også ind imellem bruger ting, hvor der ikke er beviser for at det virker, men så har jeg heller ikke nogen forventninger, og jeg har altid prøvet at sikre mig, at det ikke vil skade min hest.

 

Hvad er et godt studie

Et godt studie er et studie, som kan gentages af en anden gruppe forskere på en anden gruppe heste og vise det samme. Det er svært og ofte dyrt at sætte et godt studie op. fordi det skal være så solidt, at andre skal kunne gentage det. Umiddelbart kan det virke utrolig simpelt: Vi vil gerne vide om produkt A virker, så vi tager en gruppe heste, som har et bestemt problem, giver dem produkt A, og ser om de bliver bedre. Hvor svært kan det være? Jeg er selv forsker, og jeg ville ønske, at det var så simpelt at sætte et studie op og teste en effekt. Men hvorfor er det mere kompliceret? Det er fordi studiet skal teste effekten af lige præcis det produkt eller den metode, og vi skal være sikre på, at der ikke kan have været andre ting, der har påvirket resultaterne.

Et eksempel:

Vi forestiller os et meget sandsynligt studie. Der er et firma, som har lavet et nyt produkt til sur stråle, og de vil gerne teste, om det virker. De finder en gruppe heste, som altid får sur stråle om efteråret, når foldene begynder at blive mudrede, og begynder at behandle dem alle sammen mod sur stråle med det nye produkt. Da det bliver 1. december har ingen af hestene sur stråle. Umiddelbart er det et fantastisk produkt! I reklamematerialet står der: Testet i 12 heste, og ingen af dem udviklede sur stråle! Hvad er problemerne med dette studie? (jeg ved godt, at I ikke har fået ret mange oplysninger, men tjek diverse reklamer – der står lige så lidt eller måske mindre). Svaret kommer lige om lidt.

 

Er der en kontrol-gruppe?

Alle gode studier har en kontrolgruppe med heste, som ikke har fået behandlingen, men som på alle andre punkter er magen til behandlingsgruppen. Mange tror, at det vigtigste for et studie er, at der er mange heste med, men kontrollerne er det allervigtigste! Det er også godt med mange heste, men kontrollerne er suverænt det vigtigste. I eksemplet med de sure stråler er der ikke beskrevet en kontrolgruppe. Hvorfor er det skidt? Det er det, fordi vi ikke ved, om det er produktet, der gjorde forskellen, eller noget andet. Hvis man havde valgt kun at behandle halvdelen af hestene, og lade den anden halvdel være kontroller, så kunne man have sammenlignet til sidst, og set om der var forskel. Så ville der godt nok kun være 6 heste i hver gruppe, men 6+6 heste i et studie med kontroller er bedre end 12 heste i et studie uden kontroller. Uden kontroller ved vi ikke, om det var produktet, der virkede, eller om der en anden forklaring. Det kan godt være at hestene fik mindre sur stråle, end ejerne synes de plejer at have, men måske var det et særlig tørt efterår, så der var mindre mudder end normalt? Eller måske var der blevet skiftet smed, og den nye smed var bedre til at holde strålerne sunde? Eller måske var der ansat en ny staldmedarbejder, som sørgede for at ordne alle hovene, så snart hestene kom ind fra fold? Eller måske husker ejerne ikke helt præcis, hvor meget sur stråle hestene plejede at få? Eller måske virkede produktet rent faktisk? Der er masser af mulige forklaringer, og det er derfor kontrollerne er så vigtige.

Det er ikke altid muligt at have en kontrolgruppe, men studier uden kontroller er væsentlig svagere, og vi skal være rigtig forsigtige, når vi konkluderer på resultater fra studier uden kontroller. I eksemplet med sur stråle står der ikke noget om kontroller, men I kan godt regne med, at hvis der har været en kontrolgruppe i et studie, så vil det altid blive nævnt. Kan vi så slet ikke bruge resultater fra studier uden kontroller til noget? Jo, det kan vi godt, for de kan bl.a. fortælle, om produktet eller metoden er skadelig for hesten, og i nogle tilfælde kender vi den normale kontrolsituation så godt, at vi kan tillade os at konkludere på resultaterne alligevel. Men studiet og resultaterne vil altid være stærkere med kontroller.

 

Hvor mange heste indgik i studiet?

Jo flere heste jo bedre, men det kan være svært og dyrt at lave store hestestudier. I eksemplet står der 12 heste, hvilket er et ret lille antal, men ofte står der slet ikke noget antal. Hvis der ikke står et antal, så kan I godt regne med, at der kun har været få heste med i studiet, for hvis der var mange heste, ville det præcise antal altid stå der. Hvor mange heste er nok heste? Det er der desværre ikke en fast regel for, da det kommer an på studiet. Det betyder også meget, om det er blandede heste med hensyn til race, alder, størrelse, stald, mm. I statistik laver man det, der kaldes en power beregning, som udregner hvor mange heste, der skal indgå i et bestemt studie, for at resultaterne har nok power = er stærke nok. Et studie af en ny metode eller behandling udført på kun 1-2 heste vil have en meget lav power.

Hvem har udført studiet, og hvem har betalt for studiet?

Tjek altid om studiet er udført af firmaet selv eller af en uafhængig gruppe? Og hvem der har betalt? Det kan være svært at gennemskue, men hvis det er et godt studie med gode resultater, så vil det ofte være blevet skrevet sammen i en videnskabelig artikel, og på videnskabelige artikler skal det fremgå, hvem der er forfatter, hvem de arbejder for, og hvem der har betalt? Der udføres rigtig mange gode studier, hvor firmaer er med ind over, så det at der er et firma med, betyder ikke automatisk at studiet ikke er godt, men det er en grund til at være lidt mere skeptisk og læse teksten lidt mere grundigt.

Hvor kommer resultaterne fra?

Når der præsenteres fantastiske resultater fra et studie i et indlæg i et hesteblad eller på en blog, vil der ofte stå, hvor resultaterne kommer fra. Prøv at få fat i den originale tekst, så du kan tjekke om du er enig i det, bloggeren har highlighted fra artiklen. Det er selvfølgelig nemmere bare at læse artiklen i hestebladet, men nogle gange er der vigtige informationer i originalteksten, som ikke er kommet med over. Forskerne er tit gode til selv at være kritiske overfor deres resultater, så det kan være vigtigt og lærerigt at læse hele originalteksten og ikke kun de gode resultater. Er det ikke virkelig svært at læse videnskabelige artikler, og hvordan finder I dem? Jo, det kan være lidt kringlet, men prøv alligevel. En del danske hestestudier udkommer både på dansk og engelsk, så de er lidt nemmere at læse. Mange internationale videnskabelige tidsskrifter koster penge, men I kan prøve at skrive til forfatteren (corresponding author er altid angivet), for de må ofte gerne sende artiklen til jer uden at det koster noget. I kan også skrive til os på uanvendelig.dk, hvis I er i tvivl og gerne vil have hjælp til at tjekke om resultaterne holder, for vi har adgang til de fleste af de internationale tidsskrifter, og vi er vant til at læse forskningsartikler. Vi kan ikke sende jer artiklerne, men hvis vi er enige i at det er værd at tjekke lidt grundigere, så kan vi skrive en artikel om emnet og evidensen. Hvis der ikke står, hvor resultaterne kommer fra, så skal I blive ekstra skeptiske, for det er almindelig god stil at journalister angiver deres kilder. Tjekliste: Står der hvor resultaterne kommer fra? Er resultaterne fra et videnskabeligt studie? Er de udgivet i et internationalt videnskabeligt tidsskrift? Eller er det fra et studie firmaet selv har lavet? Er studiet udført f.eks. på et universitet? Er resultaterne fra et spørgeskema sendt til nogle ryttere eller fra en mere grundig undersøgelse? Er det fra en opgave skrevet af studerende eller af en uddannet fagperson indenfor området? Er der beskrevet kontroller og metoder, så en anden gruppe forskere vil kunne kopiere studiet og se, om de får de samme resultater?

Ordvalg

Læs reklamerne eller indlæggene rigtig grundigt. Det er tit, at det vigtige er det, der ikke står, f.eks. kontrolgrupper, antal heste, antal tidligere studier. Vage formuleringer som f.eks. ’masser af tidligere studier har vist’ er smarte, for det er forskelligt, hvad vi forstår ved masser af studier. Hvis jeg læser under et hesteprodukt, at der er lavet masser af studier, vil jeg forvente, at det er studier i heste med det præcise produkt. Men det er ofte studier i andre dyrearter og kun på dele af produktet. Det kan sagtens være vigtig og god viden, som understøtter idéen bag produktet, men det bør stadig formuleres på en klar og præcis måde, så vi som forbrugere kan gennemskue evidensen.

 

Evidenspyramiden

Nu bliver det lidt mere nørdet, men jeg lover at gøre det nemt. Som I nok allerede har fundet ud af, er der mange studier, som kan kalde sig for videnskabelige studier, men der er stor forskel på kvaliteten og styrken af resultaterne. Hvordan ved vi, hvilke typer studier der er mest pålidelige? Studietyper har en indbyrdes rangorden (evidenspyramiden), og resultaterne bliver stærkere og stærkere, jo længere man kommer op i pyramiden. Det kan sagtens være et godt studie, selvom det ikke er øverst i pyramiden, men evidenspyramiden er en god rettesnor.

Vi har mange gode hestestudier, så bare fordi det er heste, skal vi ikke acceptere at studierne ikke bliver lavet ordentligt. De bedste studier er studier,
1 – hvor der er kontroller med, 2 – hvor dem der udfører studiet ikke ved, hvilke heste der får behandlingen og hvilke heste der er kontroller (studiet er blændet), og 3 – hvor fordelingen af hestene mellem behandlingsgruppen og kontrolgruppen er sket tilfældigt. Det kaldes for et Randomiseret Kontrolleret Blændet forsøg (RCT – blinded Randomized Controlled Trial), og det er næsten øverst i pyramiden. Studiet er blændet for at forskerne kan vurdere placeboeffekt.

Vi har ikke ret mange RCT studier i heste, for det kan være svært at overbevise ejere om, at deres hest kun måske får behandlingen, men det er vigtige studier. I nogle RCT studier løser man dette problem ved at tilbyde, at hesten får behandlingen efter studiet er færdigt, hvis de tilfældigvis endte i kontrolgruppen under studiet. Så skal ejerne bare være lidt mere tålmodige.

Kontrollerede studier er rigtig vigtige, så hvis du bliver spurgt om din hest må være med i et sådant studie, og det virker som et seriøst studie udført af kvalificerede personer, så overvej virkelig at sige ja, selvom der måske kan gå lidt længere tid. Længere nede ad ranglisten kommer studier, hvor fordelingen af hestene ikke er tilfældig, eller hvor forskerne ved, hvilke heste der får behandlingen.

Endnu længere nede på listen kommer studier uden kontroller, og case-rapporter som er historier om enkeltheste. Det er de studier, vi har flest af. Pilotstudier kommer ofte også ret langt nede på listen, da det som regel er små studier, som skal vise om det er værd at gå videre med et rigtigt stort studie.

 

God fornøjelse med kritisk læsning.