I början av mars presenterade SBU (Statens beredning för medicinsk och social utvärdering) en genomgång av studier om psyko-sociala öppenvårdsinsatser som socialtjänsten och barn- och ungdomspsykiatrin erbjuder barn/tonåringar i åldern 12–17 år för att motverka återfall i brott. Bland de bedömda 19 insatserna hittar vi bl.a. internationellt använda program för aggressionshantering, funktionell familjeterapi, kognitiv beteendeterapi, medling, mentorskap, multisystemisk terapi, diversionsprogram med olika profil och innehåll, ett yrkesprogram inom byggbranschen etc. Den övergripande slutsatsen är nedslående. De inkluderade studierna, 37 stycken (merparten från USA och enstaka från Storbritannien, Nederländerna, Sverige och Kanada) bedöms ha mycket låg vetenskaplig tillförlitlighet, trots att flertalet är randomiserade och samtliga efter peer-review-förfarande har publicerats i vetenskapliga tidskrifter (eller motsvarande). Ingen av studierna passerar emellertid granskarnas nålsöga, vilket leder till slutsatsen att det inte med godtagbar säkerhet går att säga att de bedömda insatserna är bättre än insatser som annars ges för att motverka återfall i brott. Och eftersom man inte kan säga något om effekterna kan man inte heller säga något om den samhällsekonomiska nyttan med dylika öppenvårdsprogram. Kunskapsläget beträffande de aktuella psyko-sociala öppenvårdsinsatserna är således högst oklart, menar SBU.
Går man enbart på vad de granskade studierna visar konstateras en del positiva utfall. Effekter redovisas i form av minskad andel med återfall i brott liksom gynnsamma skillnader jämfört med barn/tonåringar som fått ”vanliga” insatser (kontrollgrupper). Även om resultaten är till fördel för de granskade programmen är effekterna dock ofta små.
Men dessa resultat ställs offside när man nagelfar utvärderingarna utifrån ett internationellt utarbetat klassificeringssystem, GRADE. Enligt detta verktyg graderas studieresultatens tillförlitlighet i fyra nivåer: hög tillförlitlighet (resultaten stämmer), måttlig tillförlitlighet (troligt att resultaten stämmer), låg tillförlitlighet (möjligt att resultaten stämmer) och mycket låg tillförlitlighet (går inte att bedöma om resultaten stämmer). Med ett undantag hamnar studierna i den sistnämnda kategorin (undantaget bedöms ha låg tillförlitlighet). Kriterierna för klassificeringen tar sikte på risken för systematiska fel, bristande samstämmighet, grad av överförbarhet, den statistiska osäkerheten (bristande precision) och risken för snedvriden publicering av studier och resultat. Brister i dessa avseenden leder till sänkning av evidensstyrkan (tillförlitligheten) med max 2 steg per aspekt. Genomgången av granskade studier visar att avdrag mest frekvent gjorts för bristande precision och risk för systematiska fel.
Med detta upplägg och utfall kan man sammantaget säga att SBU:s granskning av de psyko-sociala öppenvårdsprogrammen i första hand är en kritisk bedömning av de publicerade studiernas vetenskapliga tillförlitlighet. Det är en bedömning av studiernas evidensstyrka snarare än de utvärderade insatsernas effektstyrka. Det går inte att konstatera om ett visst program är bättre, likvärdigt eller sämre än referensobjektet.
Mot denna bakgrund förefaller det aningen märkligt att granskarna anser sig ha fog att tillråda socialtjänsten och BUP att fortsättningsvis använda programmen. Man menar att inget tyder på att insatserna skulle vara skadliga, till exempel öka återfallen i brott. Men hur kan man veta det, givet studiernas mycket låga tillförlitlighet? Om de vetenskapliga kvalitetsbristerna är så stora att det inte går att bedöma resultatens giltighet, borde det gälla både ”goda” och ”dåliga” verkningar. Men här har man troligen öppnat för utomvetenskapliga överväganden – verksamhets- och professionsintressen – och gett råd efter en annan måttstock än den metodstrikthet som annars utgjort rättesnöret.
SBU-rapporten öppnar för en rad frågeställningar. Om det bästa inte är gott nog: vad betyder det för strävandena att utveckla verksamheter på evidensbaserad grund? För det som underkänns är ju inte dussinforskning precis. Om resultaten från det bästa underkänns som vetenskapligt undermåliga, då står forskningen inom detta område inför en lång uppförsbacke. Då behövs ett storskaligt kvalitetslyft inom hela det aktuella forskningsfältet. Under tiden får vi leva med besvärande oklarheter. Vad göra när olika nationella expertkommittéer levererar olika resultat? Den amerikanska regeringens enhet för programutveckling och stöd för brottspreventivt arbete (OJJDP) bedömer exempelvis funktionell familjeterapi (FFT) och multi-systemisk terapi (MST) som effektiva (enligt en tregradig betygsskala: effektivt, lovande, utan effekt). SBU-granskarna passar under hänvisning till otillräckligt vetenskapligt underlag. Och hur ska SBU-granskningen värderas i jämförelse med resultat från de internationella samarbeten inom utvärderingsforskning som sker; the Campbell Collaboration och Cochrane Collaboration? Dessa grupperingar har baserat på strikta protokoll presenterat utvärderingar som ger stöd, eller begränsat stöd, för insatser som mentorskap, medling och KBT (Campbell Collaboration) samt familje-/föräldraträning (Cochrane Collaboration). SBU-granskarna kan på grund av den mycket låga evidensstyrkan inte säga något om effekterna. Vem har rätt, eller minst fel? Och vem ska avgöra det?
