Utomjordiska megastrukturer – Konsten att (miss)tolka ett abstract

2015/10/19 § 3 kommentarer

I den strida strömmen av clickbait-journalistik och frekventa copy/paste-artiklar så händer det till och från att man snubblar över en tidningsartikel som påstår sig presentera nya och revolutionerade forskningsrön. Det gäller alla typer av forskning, men just hälsa och medicin verkar vara extra hårt drabbade. Kanske eftersom det är något som kvällstidningarna vet säljer väldigt bra. Under förra veckan så fick vi se ett praktexempel på vetenskapsjournalistik där rubrikerna inte hade någon som helst koppling till den ursprungliga forskningsartikelns innehåll. Jag syftar naturligtvis ”upptäckten” av utomjordiska megastrukturer kring stjärnan KIC 8462852. Då kunde det låta så här:

Sjuka upptäckten kan vara beviset för utomjordisk civilisation

Experten: Ser ut som en enorm civilisation

Astronomers may have found giant alien ‘megastructures’ orbiting star near the Milky Way

Det låter ju onekligen som en upptäckt som har potential att förändra hela vår världsbild. Det betyder alltså att sund skepticism är på sin plats, som med all forskning. Men var ska man börja?

Här bygger man sina tidningsartiklar kring nya rön från en forskningsartikel. Men ger man någon källhänvisning till forskningsartikeln ifråga? Svaret är i de allra flesta fallen ett rungande nej. Däremot så hänvisar man till en annan tidningsartikel i The Atlantic där man intervjuar en forskare, som inte varit delaktig i den ursprungliga artikeln, och som har en alternativ teori. Saknas det vettiga källhänvisningar så är det på sin plats att skriva ett argt email till den som skrivit tidningsartikeln eller till ansvarig utgivare. För det första så kan man inte ens få en högstadieuppsats godkänd utan källhänvisningar, lite mer än så ska man förvänta sig av professionella journalister. Att ange sina källor är själva grunden i god vetenskapsjournalistik, det gör att läsaren kan kontrollera påståendena, och om det verkar intressant fördjupa sig i ämnet. För det andra så är det för forskare att bli citerad och refererad till som är den verkliga belöningen för att publicera sina resultat. Arbetet och publikationskostnaderna står man för själv och rättigheterna till dina resultat och intäkterna från försäljningen av din artikel behåller journalen.

Via lite google-fu så kan man rätt snabbt hitta ursprungsartikeln Planet Hunters X. KIC 8462852 – Where’s the Flux. Redan namnet ger en fingervisning att man kanske inte riktigt har hittat bevis för utomjordiskt liv. För det vore klart oskickligt att inte få med den ”lilla detaljen” i sin rubrik. Artikeln är publicerad på Arxiv, en site som innehåller så kallade pre-prints, artiklar som inte blivit publicerade ännu. Det innebär att den inte genomgått peer-review och alltså inte är granskad av oberoende experter. Det betyder inte att artikeln är dålig eller felaktig, bara att den inte har granskats. Men det innebär lyckligtvis också att den är helt gratis att läsa i sin helhet. För publicerade forskningsartiklar så måste man ofta ha en prenumeration på journalen ifråga eller köpa artikeln, vilket kan bli väldigt dyrt. Lyckligtvis så är abstract, en sammanfattning av artikeln nästan alltid gratis att läsa, och är ofta tillräckligt för att kunna sålla bort de värsta överdrifterna.

För att förstå ett abstract så bör man känns till hur det är uppbyggt. Då det är en sammanfattning så följer det ofta samma format som forskningsartikeln. Ett klassiskt format är IMRAD, introduction, methods, results and discussion. Även om abstract är kort så kan det i många fall vara ganska kompakt och tungläst. Därför kan det vara klokt att börja läsa från slutet, där man finner slutsatser och diskussion. Det är trots allt oftast just detta som man vill undersöka.

By considering the observational constraints on dust clumps orbiting a normal main-sequence star, we conclude that the scenario most consistent with the data is the passage of a family of exocomet fragments, all of which are associated with a single previous breakup event. We discuss the necessity of future observations to help interpret the system.

Redan nu så är det uppenbart att forskarna inte alls kommit till samma slutsats som alla dags- och kvällstidningar. Man har kommit till slutsatsen att variationerna i stjärnans ljusstyrka troligtvis orsakats av exo-kometer. Man nämner inga utomjordiska megastrukturer eller ens antyder dem. Och man påpekar, som en god forskare bör, att man behöver studera frågan närmare innan man kan ge ett helt definitivt svar. Så nu har vi löst vår gåta, det var bara en skamlös rubriksättning, baserat på ett spekulativt uttalande, som sedan återupprepats så många gånger att det nästan blev sant.

I vissa fall så kanske abstract ger vissa stöd för rubrikerna. I så fall får man kanske gräva lite djupare för att se om resultaten stödjer slutsatserna. Det är nu det börjar bli lite svårt. I det här fallet så ger abstract väldigt lite information och man blir tvungen att läsa själva artikeln. Ska artikeln bli publicerad så kommer man troligtvis att så förbättra sitt abstract. Så därför tar jag ett exempel från en artikel som dök upp på forumet Kolozzeum, med rubriken: Probiotic Supplementation Attenuates Increases in Body Mass and Fat Mass During High-Fat Diet in Healthy Young Adults. En rubrik som gärna kunnat skrivas om med fraser som ”mirakeldiet” eller ”gå ner x kilo innan midsommar” om valfri kvällstidning hittat den.

Conclusions
VSL#3 supplementation appears to have provided some protection from body mass gain and fat accumulation in healthy young men consuming a High-fat and high-energy diet.

Man drar slutsatsen att VSL#3 skyddar mot viktuppgång och fettinlagring hos friska unga män som äter en hög-fett, hög-energi diet. Men stämmer slutsatserna överens med resultaten?

Results
Body mass (1.42 ± 0.42 kg vs. 2.30 ± 0.28 kg) and fat mass (0.63 ± 0.09 kg vs. 1.29 ± 0.27 kg) increased less following the High-fat diet in the VSL#3 group compared with placebo. However, there were no significant changes in insulin sensitivity or in vitro skeletal muscle pyruvate and fat oxidation with the High-fat diet or VSL#3.

Gruppen som fick VSL#3 ökade i genomsnitt 1.42 ± 0.42 kg samtidigt som kontrollgruppen ökade 2.30 ± 0.28 kg. Så även om vi tar övre gränsen av intervallet för första gruppen genomsnitt 1.42 + 0.42 =1.84 kg så är det mindre än undre gränsen för kontrollgruppen 2.30 - 0.28 = 2.02 kg. Även ökningen i fettvikt är mindre i gruppen som fick VSL#3 än kontrollgruppen, 0.63 ± 0.09 kg mot 1.29 ± 0.27 kg. Då de två intervallen inte överlappar så kan vi faktiskt påstå att det finns en skillnad mellan grupperna. Dock så nämner man inte hur stor statistisk signifikans man har, vilket är sannolikheten att skillnaden uppstått av ren slump, något som är viktigt att kunna tolka resultaten. Men det är något som man kan misstolka, manipulera och ett ämne som kräver ett eget inlägg. Det som däremot är intressant är att man i sista meningen påpekar att man dock inte hittat något som kan förklara hur skillnaden mellan grupperna uppstår.

Nästa steg är att se till vilka metoder som används. Nu börjar det bli rätt avancerat och kräva en del kunskaper om ämnesområdet. Men vissa saker kan man även som lekman urskilja, om man vet vad man ska leta efter.

Methods
Twenty non-obese males (18-30 years) participated in the study. Following a 2-week eucaloric control diet, participants underwent dual X-ray absorptiometry to determine body composition, an intravenous glucose tolerance test to determine insulin sensitivity, and a skeletal muscle biopsy for measurement of in vitro substrate oxidation. Subsequently, participants were randomized to receive either VSL#3 or placebo daily during 4 weeks of consuming a High-fat (55% fat), hypercaloric diet (+1,000 kcal day−1). Participants repeated all measurements following the intervention.

Försökspersonerna var 20 män, utan fetma, i åldrarna 18 och 30 år. För det första är det rätt få försökspersoner vilket gör att det är svårt att få tillförlitlig statistik, framför allt då de var uppdelade i två grupper om tio personer. Vi får veta att de inte led av fetma, men inte vad de vägde i genomsnitt. Är man 200 cm kan man enligt BMI-skalan väga upp emot 120 kg innan man räknas som fet (BMI <30). Är man å andra sidan 170 cm och på gränsen till underviktigt (BMI<18,5) så kanske man bara väger 53 kg. Det gör att ett visst antal kilos viktuppgång troligtvis inte ger samma hälsoeffekt på de två personerna. I den mån resultaten stämmer så kan vi dessutom bara förvänta oss att resultaten stämmer på personer som till hör samma urvalsgrupp. Personer som är yngre, äldre, kvinnor och/eller lider av fetma behöver inte alls få samma resultat av VSL#3.

Att dela upp testpersonerna i två slumpmässigt valda grupper, där en grupp får behandling och en grupp får placebo, är standard. Det krävs för att man ska ha något att jämför VSL#3 mot. Saknas en kontrollgrupp, eller om kontrollgruppen inte valts ut slumpmässigt måste man dra öronen åt sig. Försöket gjordes under fyra veckor med hög-fet och hög-kalori diet. Är fyra veckor en tillräckligt lång tid? Om effekten försvinner efter fem veckor så kanske det inte är till någon större hjälp i det långa loppet. På motsvarande sätt så kan vi som bäst vara säker på att det gäller för den som äter en hög-fett diet men kan vara helt verkningslös för den som äter en hög-kolhydrat diet. Hade det gjort någon skillnad om kaloriöverskottet var högre eller lägre? Det är mycket vi inte kan vi dra några slutsatser om utifrån just den här forskningsartikelns abstract.

Om man har tillgång till hela artikeln så kan man dessutom göra klokt i att se vem som finansierat studien, det är allt som oftast ett krav att det redovisas. Här står det att läsa att den finansierats av VSL Pharmaceuticals, som föga förvånande också producerar VSL#3. Det betyder inte per automatik att det föreligger någon form av oegentligheter i själva studien. Men där det finns stora pengar inblandade finns alltid den risken. I många fall så skulle finansiären inte tillåta att en studie med negativa eller tvetydiga resultat publiceras. Därför kan vi aldrig veta om denna studie bara utgör toppen på ett isberg av ”misslyckade” studier eller om den är den första i sitt slag.

Att tolka forskning är svårt och tar tid. Det är därför vi forskare måste ha både en bred kunskap om vetenskapsmetodologi, gärna vetenskapsfilosofi och spetskunskaper inom vårt ämne. Har man inte ork och/eller kunskaper för att åtminstone läsa och tolka abstract så ska man nog inte använda sig av forskningsartiklar för att ge tyngd åt sina argument. Inte nog med att man riskerar att fara med osanningar, man riskerar dessutom att urholka förtroendet för vetenskapen som helhet. Det är något som tydligt syns i debatten om klimatförändringar. Där väl underbyggda resultat buntas i hop med dåligt underbyggda resultat och som sedan ofta tolkas helt felaktigt, antingen på grund av okunskap eller på grund av en agenda. Vetenskap och forskning är i första hand en process, inte ett slutresultat. Kan man inte följa processen så kommer man inte förstå resultaten.

Annonser

Taggad: , , , , , , ,

§ 3 svar till Utomjordiska megastrukturer – Konsten att (miss)tolka ett abstract

  • Björn skriver:

    Det hela är en groda. Precis som med mikrovågsugnen vid Parkes radioteleskop tidigare i år (inga roterande neutronstjärnor som kollapsar till svarta hål när de saktar in, mest bara vid lokal lunchtid, nä). Anomalierna för ”Tabby’s star” äger bara rum varannan gång när Kepler-teleskopet var orienterat på samma sätt. Det roterades fyra gånger per omloppsbana för att hålla solskyddet mot Solen. Hysterin under den sista perioden kan ha berott på att det andra gyroskopiska stabiliseringshjulet gradvis havererade. Dåliga pixlar på CCD:n kan ha roterat in och ut ur stjärnans synfält. Kometer utgör cirka 0.01% av solsystemets massa. Att kometer skulle täcka 22% av en F3-stjärnas yta är ett helt otroligt påstående. Och utan att avge IR-strålning när de bryts sönder och förångas som sungrazers. Ett supergigantiskt moln av is som inte reflekterar något stjärnljus när det är på andra sidan. Nä. Bad astronomy.

  • Love Alm skriver:

    Man har helt klart gjort en höna av en fjäder. Det är intressanta resultat, men allt annat än otvetydiga och definitivt inget som borde tolkas som en utomjordisk megastruktur. Fast skulden för det ska nog läggas på tredje part, då pre-printen inte nämner utomjordiska megastrukturer.

    Min astrofysik är rätt rostig, men jag håller med dig om att deras hypoteser har en hel del hål. Som du säger måste det vara ett väldigt massivt kometbälte för att förklara den minskade ljusstyrkan, framför allt eftersom de inte kan förväntas röra sig samlat. Men det ska bli intressant att se vad man kommer fram till i slutändan.

    • Björn skriver:

      Och nu har SETI sökt radiovågor från aliens där. Nåväl, ingen skada skedd. Om namnet ”Tabby’s star” etableras, som redan anges på Wiki, som en av knappt ett par dussin stjärnor som namngetts efter astronomer, så kan vi på svenska kalla den en Tabbe till stjärna. Men tabbar är tillåtna och jag kanske själv begår en här, men jag är ju inte astronom. Om de bara inte dragit så hårda slutsatser, som att det INTE är ett teleskopfel (t.o.m. fetstilt), och att det är ett kometmoln, så hade Tabby’s paper varit en utmärkt utredning och uteslutning av många tänkbara möjligheter. Det kanske inte är publicerat ännu, men mer hårdhudade astronomer som gör peer review borde ge råd om att tona ned slutsatserna, tycker jag. Fast uppmärksamheten har nog bara gjort nytta för allmänhetens intresse för astronomi och rymdfart.

      Intressant att anomalin upptäcktes manuellt av sån där community science, zooniverse, för Algoritmerna som söker efter exoplanetliknande signaler filtrerar automatiskt bort så stora anomalier. Big Data kommer och kräver nya metoder.

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s

Vad är detta?

Du läser för närvarande Utomjordiska megastrukturer – Konsten att (miss)tolka ett abstractEndast för förryckta.

Meta