Nogen der er gode til statistik?

En kammerat og jeg har testet 20 deltagere i hvor hurtigt, de kunne trykke sig igennem en række links.

Jeg er i tvivl om følgende resultater.

linktype 1: M = 4,33 sek, SD = 0,55
linktype 2: M = 4,67 sek, SD = 0,46

p < ,005

Vi har desuden udregnet effektstørrelsen til d = -,67.

Kan det være rigtigt at resultaterne er statistisk signifikante og effekten over middel, på trods af at middelværdierne ligger så tæt (indenfor 1 standardafvigelse af hinanden).

Det skal sige, at vi begge er totalt idioter til statistik :)
Håber det giver mening for nogen derude og på forhånd tak ♥.

Resultatet er helt sikkert IKKE signifikant på noget som helst acceptabelt niveau.

(beklager manglende uddybning, men der er bold i fjerneren :D)

Kan du uddybe senere?

Jeg går ud fra, at du accepterer P-værdier under 0,05 og ikke 0,005 sådan som du angiver. Hvis det er tilfældet, så skal det kritiske niveau ligge mindst 1,96 standardafvigelser fra observationen. Nu har jeg hverken lavet en vægtet standardafvigelse eller poolet, men det er tydeligt, at forskellen mellem de to gennemsnit ikke er mere end 1,96 standardafvigelser.

Altså er der mere end 5% (formentlig en del mere) sandsynlighed for, at forskellen skyldes almindelig varians.

Obs: dette regnestykke forudsætter desuden, at stikprøven er repræsentativ og stor. 20 personer regnes ikke som decideret stor.

Som jeg husker min statistik undervisning hedder en stor stikprøve "N=30"

p-værdien er udregnet i spss ved en paired-samples t-test.

Den var altså under .005, hvilket gør det statistisk signifikant. Men kan ikke forstå at det kan være det, når middelværdierne ligger så tæt... Men som sagt: fatter det ikke rigtigt.

Tassadar skrev:
p-værdien er udregnet i spss ved en paired-samples t-test.

Den var altså under .005, hvilket gør det statistisk signifikant. Men kan ikke forstå at det kan være det, når middelværdierne ligger så tæt... Men som sagt: fatter det ikke rigtigt.

Jeres signifikansniveau er MED SIKKERHED 1, 5 eller 10 % => 0,01, 0,05 eller 0,10!

Vores signifikans-niveau er sat til 95%. Men vores p-værdi efter t-test er altså under 0,005. Derfor er det signifkant.

p-værdien skulle have været over 5% = 0,05 før det ikke var signifikant.

Alpha på 5% er det "normale" hvor jeg studerer.
Hvis p-værdien er 0,005 burde konklusionen vel være sikker?
Så kan man så skrive noget at der måske er nogle forudsætningbrud og lille sample hvilket kan være problematisk.

Tak for svarene drenge. Jeg har fået følgende svar på et statistik-forum, som jeg tager for gode varer.

www.talkstats.com/showthread.php/26255-Means-are-close-can-effect-be-large

Kan til gengæld være, nogen af jer kan svare på:

Hvad det her betyder (markeret med bold).

F(1,14) = 6,912, p = ,020

Er det de samme 20 mennesker, som har klikket på begge slags links?

Hvis ikke, så er resultatet i hvert fald ikke signifikant. Jeg tør dog ikke udtale mig om stikprøver, som ikke er statistisk uafhængige (hvis det er de samme 20 personer begge gange).

Ja, det er de samme 20.

lige hurtigt så får jeg 95% CI til:

linktype 1: M = 4,33 sek [4,21;4,45]
linktype 2: M = 4,67 sek,[4,57;4,77]

Da CI ikke overlapper er det helt sikker signifikant forskellige. skal nok passe at p<0,005

Hvordan har du regnet det ud?

95%CI: mean + - 1,96* SE

SE=standard error = sd/kvadratrod(n)