Nwaj entèlijans Optimizely: Kijan Pou Sèvi ak Motè Stat Pou A / B Tès pi entelijan, ak pi vit

Optimize Stat motè ak A / B Tès Estrateji

Si w ap chèche kouri yon pwogram eksperimantasyon pou ede tès biznis ou a ak aprann, chans ou ap itilize Nwaj entèlijans Optimizely - oswa ou te omwen gade li. Optimize se youn nan zouti ki pi pwisan nan jwèt la, men tankou nenpòt ki zouti sa yo, ou ta ka sèvi ak li mal si ou pa konprann ki jan li fonksyone. 

Ki sa ki fè Optimizely tèlman pwisan? Nan nwayo a nan seri karakteristik li yo manti ki pi enfòme ak entwisyon estatistik motè a nan yon zouti twazyèm-pati, ki pèmèt ou konsantre plis sou ap resevwa tès enpòtan ap viv - san yo pa bezwen enkyete ke w ap mal entèprete rezilta ou. 

Anpil tankou yon etid tradisyonèl avèg nan medikaman, Yon tès / B pral owaza montre diferan tretman nan sit ou a itilizatè diferan Lè sa a, konpare efikasite chak tretman an. 

Estatistik Lè sa a, ede nou fè enferans sou ki jan efikas ke tretman ka sou tèm long la. 

Pifò zouti tès A / B konte sou youn nan de kalite enferans estatistik: frekansis oswa Bayesian stats. Chak lekòl gen avantaj ak dezavantaj divès kalite - Statistik frekantist mande pou yon gwosè echantiyon yo dwe fiks nan avanse nan kouri yon eksperyans, ak estatistik Bayesian sitou swen sou pran bon desizyon direksyon olye ke presize nenpòt figi sèl pou enpak, nan non de egzanp. Pwisans Optimizely a se ke li nan zouti a sèlman sou mache a jodi a yo pran yon pi bon nan tou de mond apwòch.

Rezilta final la? Optimize pèmèt itilizatè yo kouri eksperyans pi vit, plis fiable, ak plis ankò entwitif.

Yo nan lòd yo pran anpil avantaj de sa, menm si, li enpòtan yo konprann sa k ap pase dèyè sèn nan. Isit la yo se 5 Sur ak estrateji ki pral fè ou sèvi ak kapasite Optimizely a tankou yon pro.

Estrateji # 1: Konprann ke se pa tout mesures yo kreye egal

Nan pifò zouti tès, yon pwoblèm souvan neglije se ke mezi yo plis ou ajoute ak swiv kòm yon pati nan tès ou a, gen plis chans a ou se yo wè kèk konklizyon kòrèk akòz chans o aza (nan estatistik, sa a yo rele "pwoblèm nan tès miltip ”). Yo nan lòd yo kenbe rezilta li yo serye, Optimizely itilize yon seri de kontwòl ak koreksyon kenbe chans yo nan sa k ap pase osi ba ke posib. 

Moun sa yo ki kontwòl ak koreksyon gen de enplikasyon lè ou ale nan mete kanpe tès nan Optimizely. Premyèman, metrik ou deziyen kòm ou Prensipal metrik pral rive siyifikasyon estatistik pi rapid, tout lòt bagay konstan. Dezyèmman, plis mezi ou ajoute nan yon eksperyans, pi long mezi pita ou pral pran pou rive nan siyifikasyon estatistik.

Lè wap planifye yon eksperyans, asire w ke ou konnen ki metrik yo pral Vrè Nò ou nan pwosesis pou pran desizyon ou, fè ke metrik prensipal ou. Lè sa a, kenbe rès la nan lis metrik ou mèg pa retire anyen ki twò inutiles oswa tanjansyèl.

Estrateji # 2: Bati pwòp atribi ou Custom

Optimizely se gwo nan ban nou plizyè fason enteresan ak itil nan segman rezilta eksperyans ou an. Pou egzanp, ou ka egzaminen si wi ou non sèten tretman fè pi byen sou Desktop vs mobil, oswa obsève diferans atravè sous trafik yo. Kòm pwogram eksperimantasyon ou échéance menm si, ou pral byen vit swete pou nouvo segments - sa yo ka espesifik nan ka itilize ou, tankou segments pou yon sèl-fwa kont acha abònman, oswa kòm jeneral tankou "nouvo vs retounen vizitè" (ki, franchman, nou toujou pa ka konnen poukisa sa pa bay soti nan bwat la).

Bon nouvèl la se ke atravè jaden Pwojè Javascript Optimizely a, enjenyè ki abitye avèk Optimizely ka bati nenpòt ki kantite atribi enteresan koutim ke vizitè yo ka asiyen nan ak sectorielle pa. Nan Cro Metrics, nou te bati yon kantite modil stock (tankou "nouvo vs vizitè retounen") ke nou enstale pou tout kliyan nou yo atravè Javascript Pwojè yo. Ogmante kapasite sa a se yon diferansye kle ant ekip ki gen matirite ki gen bon resous teknik pou ede yo egzekite, ak ekip ki ap lite pou reyalize tout potansyèl eksperimantasyon.

Estrateji # 3: Eksplore akseleratè Stat Optimizely a

Youn nan karakteristik zouti souvan-overhyped se kapasite yo sèvi ak "bandi milti-ame", yon kalite algorithm aprantisaj machin ki dynamique chanje kote trafik ou resevwa lajan sou kou a nan yon eksperyans, voye kòm anpil vizitè nan "genyen an" varyasyon ke posib. Pwoblèm nan ak bandi milti-ame se ke rezilta yo yo pa endikatè serye nan pèfòmans alontèm, se konsa ka a itilize pou sa yo kalite eksperyans yo limite a sa sèlman ka tan-sansib tankou pwomosyon lavant yo.

Optimize, menm si, gen yon kalite diferan nan algorithm bandi disponib nan itilizatè yo sou pi wo plan - Stat akseleratè (kounye a ke yo rekonèt kòm opsyon nan "Akselere Aprantisaj" andedan Bandi). Nan konfigirasyon sa a, olye pou yo eseye dinamik asiyen trafik nan varyasyon ki pi wo-pèfòmans, Optimize dinamik asiyen trafik nan varyasyon yo gen plis chans yo rive jwenn siyifikasyon estatistik pi rapid. Fason sa a, ou ka aprann pi vit, epi konsève kopi rezilta tradisyonèl tès A / B yo.

Estrateji # 4: Ajoute emojis nan non metrik ou yo

Nan premye gade, lide sa a pwobableman son soti nan plas, menm inane. Sepandan, yon aspè kle nan asire w ke ou ap li rezilta yo eksperyans dwa kòmanse nan asire w ke odyans ou ka konprann kesyon an. 

Pafwa malgre pi bon efò nou yo, non metrik ka vin konfizyon (rete tann - èske sa metrik dife lè yo aksepte lòd la, oswa lè itilizatè a frape paj mèsi a?), Oswa yon eksperyans gen anpil metrik ki defile leve, li desann rezilta yo paj mennen nan total surcharj mantal.

Ajoute emojis nan non metrics ou (sib, mak vèt, menm sak la gwo lajan ka travay) ka rezilta nan paj ki byen lwen plis eskane. 

Mete konfyans nou - li soti rezilta yo ap santi yo pi fasil.

Estrateji # 5: Re-konsidere nivo siyifikasyon estatistik ou

Rezilta yo jije definitif nan kontèks la nan yon eksperyans Optimizely lè yo te rive jwenn siyifikasyon estatistik. Siyifikasyon estatistik se yon tèm difisil matematik, men esansyèlman li nan pwobabilite ke obsèvasyon ou yo se rezilta yon diferans reyèl ant de popilasyon, epi li pa jis chans o aza. 

Rapò optimis nivo statistik siyifikasyon yo "toujou valab" gras a yon konsèp matematik yo rele tès sekans - sa a aktyèlman fè yo byen lwen plis serye pase sa yo ki nan lòt zouti tès yo, ki se tendans nan tout kalite "peeking" pwoblèm si ou li yo twò bonè.

Li nan vo konsidere ki nivo siyifikasyon estatistik ou jije enpòtan nan pwogram tès ou an. Pandan ke 95% se konvansyon an nan kominote a syantifik, nou ap fè tès sou sit wèb chanjman, pa vaksen. Yon lòt chwa komen nan mond eksperimantal la: 90%. Men, ou vle aksepte yon ti kras plis ensèten yo nan lòd yo kouri eksperyans pi vit ak tès plis lide? Èske ou ta ka itilize 85% oswa menm 80% siyifikasyon estatistik? Lè ou entansyonèl sou balans risk-rekonpans ou ka peye dividann eksponansyèl sou tan, kidonk panse sa a ak anpil atansyon.

Li plis enfòmasyon sou nwaj entèlijans Optimizely

Sa yo senk prensip rapid ak Sur yo pral ekstrèmman itil kenbe nan tèt ou pandan w ap itilize Optimizely. Menm jan ak nenpòt ki zouti, li klou desann nan asire w ke ou te gen yon bon konpreyansyon yo genyen sou tout nan dèyè-sèn nan pèrsonalizasyon, kidonk, ou ka asire w ke w ap itilize zouti a avèk efikasite epi efektivman. Avèk konpreyansyon sa yo, ou ka jwenn rezilta serye w ap chèche, lè ou bezwen yo. 

Ki sa ou panse?

Sit sa a sèvi ak Akismet diminye Spam. Aprann kijan kòmantè ou a trete.