Omborda A/B sinov: o'zgarishni to'g'ri baholash

· Tahlil · 3 daq. o'qish

Omborda A/B sinov: o'zgarishni to'g'ri baholash

Yangi usulni bir hududda sinab, boshqasini eskicha qoldirsangiz, farq haqiqiy ekanini ko'rasiz.

Yangi usul joriy etildi: qabul qilingan yukni endi ikkinchi xodim shtrix-kod bo'yicha hujjatga solishtiradi. Bir oydan keyin hamma xursand: nomuvofiqliklar kamaygan. Lekin o'sha oyda yuk kamroq kelgan, eng tajribasiz ikki xodim esa ishdan ketgan bo'lishi mumkin. «Oldin va keyin» o'zgarishni emas, ikki xil oyni solishtiradi. Ishonchli javob uchun A/B sinov kerak: bir vaqtning o'zida bir guruhda yangi usul, ikkinchisida eskisi ishlaydi, farq esa raqam bilan baholanadi.

Sinovni qanday tuzish

  1. Bitta savol va bitta ko'rsatkich. Masalan: qabul qilingan partiyalarning necha foizida ikki hafta ichida kam-ko'p yoki nuqson topildi?
  2. Bitta o'zgarish. Ikki narsani birga o'zgartirsangiz, qaysi biri ishlaganini bilmaysiz.
  3. Ikki bir xil guruh. Masalan, qabulning 1- va 2-eshigi yoki juft va toq kunlar. Yangi usul qaysi guruhga tushishini tanga tashlab hal qiling, qulay eshikni o'zingiz tanlamang.
  4. Hajmni oldindan hisoblang. 4 foizni 7 foizdan ishonchli ajratish uchun har guruhda taxminan 900 ta qabul kerak (hisobi pastda). Natija yoqib qolgan paytda sinovni to'xtatmang.
  5. O'rtada guruhlarni almashtiring. Dastlabki ikki hafta yangi usul 1-eshikda, keyingi ikki hafta 2-eshikda bo'lsa, eshiklar orasidagi farq natijani buzmaydi.

Natijani qanday baholash

Aytaylik, har guruhda 900 tadan qabul bo'ldi. Yangi usulda 36 tasida keyinchalik nomuvofiqlik topildi (4,0 foiz), eskisida 63 tasida (7,0 foiz). Farq 3 punkt. U tasodif emasmi?

Umumiy ulush p = (36 + 63) ÷ 1 800 = 0,055. Standart xato = √(0,055 × 0,945 × (1 ÷ 900 + 1 ÷ 900)) ≈ 0,0107. z = 0,03 ÷ 0,0107 ≈ 2,79. z soni 1,96 dan katta bo'lsa, farq tasodifan chiqish ehtimoli 5 foizdan kam; bu yerda taxminan 0,5 foiz. Farq ishonchli.

Endi xuddi shu foizlar, lekin 300 tadan qabul: 12 ta (4 foiz) va 21 ta (7 foiz). p = 33 ÷ 600 = 0,055, standart xato ≈ 0,0186, z ≈ 1,61. Bu 1,96 dan kichik: shunday farq tasodifan ham taxminan har o'nta sinovning birida chiqadi. Xulosa: sinovni davom ettiring. Foiz bir xil, ishonch esa hajmga bog'liq.

Hajmni oldindan topish formulasi: n = 7,84 × (p₁ × (1 − p₁) + p₂ × (1 − p₂)) ÷ (p₁ − p₂)². 4 va 7 foiz uchun: 7,84 × 0,1035 ÷ 0,0009 ≈ 902, ya'ni har guruhda taxminan 900 ta. 7,84 soni 95 foiz ishonch va haqiqiy farqni 80 foiz ehtimol bilan ko'rish talabiga mos. Farq kichrayganda hajm tez o'sadi: 4 va 5,5 foiz uchun taxminan 3 150 ta kerak.

Excel'da tasodif ehtimoli: 2 × (1 − NORM.S.DIST(z; TRUE)). Ajratuvchi belgi (vergul yoki nuqtali vergul) Excel sozlamasiga bog'liq.

Ishonchli farq hali foyda degani emas

Yiliga 12 000 ta qabul bo'lsin. 3 punkt kamayish 12 000 × 0,03 = 360 ta kam nomuvofiqlik demak. Har birini hal qilish (qo'ng'iroqlar, qayta tekshirish, hujjatni tuzatish) 180 000 so'm tursin: 360 × 180 000 = 64,8 mln so'm. Ikkinchi xodim har qabulga 4 daqiqa sarflasa, 12 000 × 4 = 48 000 daqiqa, ya'ni 800 soat; soatiga 18 000 so'mdan bu 14,4 mln so'm. Sof natija taxminan 50,4 mln so'm. Faqat shundan keyin usulni barcha eshiklarga tarqatish mantiqli. Sarf-xarajat natijadan oshsa, ishonchli farq ham foydasiz.

Tipik xatolar

  • Yangi usulga eng qulay maydonchani berish: farq usuldan emas, maydonchadan chiqadi.
  • Har kuni natijaga qarab, yoqqan zahoti to'xtatish. Bunda tasodifiy sakrash «g'alaba» bo'lib ko'rinadi.
  • Dastlabki haftalarda xodimlar kuzatilayotganini bilib, ehtiyotkorroq ishlaydi. Birinchi hafta natijasini alohida ko'ring.
  • Faqat bitta ko'rsatkichga qarab, yon ta'sirni ko'rmaslik: qabul vaqti qanchaga uzaydi, yuk mashinalari navbatga turib qoldimi?

Xulosa

A/B sinov oddiy g'oyaga tayanadi: ikki bir xil guruh, bitta o'zgarish, oldindan belgilangan hajm va o'lchov. Shundagina «yordam berdi» deyish mumkin. Nomuvofiqliklarni ishonchli ko'rish uchun aniq sanoq kerak: CountLab inventarizatsiya natijalarini guruhlar bo'yicha ajratib, farqlar tahlili va boshqaruv hisoboti bilan taqdim etadi.