A/B -Test

Beispiel für A/B -Tests auf einer Website. Indem Sie den Besuchern zwei Versionen einer Website zufällig bedienen, die sich nur in der Gestaltung eines einzelnen Tastelements unterscheiden, kann die relative Wirksamkeit der beiden Designs gemessen werden.

A/B -Test (auch bekannt als Eimer -Test oder Split-Run-Tests) ist ein Benutzererfahrung Forschung Methodik.[1] A/B -Tests bestehen aus a Randomisierter Experiment mit zwei Varianten, A und B.[2][3][4] Es beinhaltet die Anwendung von Statistische Hypothesentests oder "Hypothesentest mit zwei Stichproben"Wie im Bereich von verwendet Statistiken. A/B -Tests sind eine Möglichkeit, zwei Versionen eines einzelnen zu vergleichen Variabletypischerweise durch Testen der Reaktion eines Subjekts auf die Variante A gegen Variante B und die Bestimmung der beiden Varianten ist effektiver.[5]

Überblick

A/B -Tests sind eine Abkürzung für einen einfachen randomisierten kontrolliert Experiment, in dem zwei Proben (a und b) eines einzelnen vektor-variable werden verglichen.[1] Diese Werte sind ähnlich, mit Ausnahme einer Variation, die das Verhalten eines Benutzers beeinflussen könnte. A/B -Tests gelten weithin als die einfachste Form des kontrollierten Experiments. Durch das Hinzufügen weiterer Varianten zum Test wächst seine Komplexität.[6]

A/B -Tests sind zum Verständnis nützlich Benutzerverlobung und Zufriedenheit von Online -Funktionen wie einer neuen Funktion oder einem neuen Produkt.[7] Groß sozialen Medien Websites wie LinkedIn, Facebook, und Instagram Verwenden Sie A/B -Tests, um Benutzererfahrungen erfolgreicher zu machen und ihre Dienste zu optimieren.[7]

Heute werden A/B -Tests auch zur Durchführung komplexer Experimente an Probanden wie verwendet Netzwerkeffekte Wenn Benutzer offline sind, wie sich Online -Dienste auf Benutzeraktionen auswirken und wie Benutzer sich gegenseitig beeinflussen.[7] A/B -Tests werden unter anderem von Dateningenieuren, Vermarktern, Designer, Software -Ingenieuren und Unternehmern verwendet.[8] Viele Positionen stützen sich auf die Daten von A/B -Tests, da sie Unternehmen das Wachstum verstehen, den Umsatz steigern und die Kundenzufriedenheit optimieren können.[8]

Version A könnte eine Version sein, die derzeit verwendet wird (somit die Kontrollgruppe bildet), während Version B in gewisser Hinsicht gegen A geändert wird (somit die Behandlungsgruppe bildet). Zum Beispiel auf einer E-Commerce-Website die Trichter kaufen ist in der Regel ein guter Kandidat für A/B Abfallraten kann einen erheblichen Umsatzgewinn darstellen. Manchmal können signifikante Verbesserungen durch Testen von Elementen wie Text, Layouts, Bildern und Farben gesehen werden.[9] aber nicht immer. In diesen Tests sehen Benutzer nur eine von zwei Versionen, da das Ziel darin besteht, herauszufinden, welche der beiden Versionen vorzuziehen sind.[10]

Multivariate Tests oder multinomial Das Testen ähnelt dem A/B -Test, kann jedoch mehr als zwei Versionen gleichzeitig testen oder mehr Steuerelemente verwenden. Einfache A/B -Tests sind nicht gültig für Beobachtungs, quasi experimental oder andere nicht experimentell Situationen - alltäglich mit Umfragedaten, Offline -Daten und anderen komplexeren Phänomenen.

A/B-Tests werden von einigen als Veränderung der Philosophie und des Wirtschaftsstrategy in bestimmten Nischen bezeichnet, obwohl der Ansatz mit a identisch ist Zwischensubjekte Design, die üblicherweise in einer Vielzahl von Forschungstraditionen verwendet wird.[11][12][13] A/B -Tests als Philosophie der Webentwicklung bringt das Feld mit einer breiteren Bewegung in Richtung Evidenzbasierte Praxis. Die Vorteile von A/B -Tests gelten als kontinuierlich bei fast allem, insbesondere da die meisten Marketing -Automatisierungssoftware in der Regel in der Regel mit laufenden Basis A/B -Tests ausführen können.

Gemeinsame Teststatistiken

"Hypothesentests mit zwei Stichproben" sind geeignet, um die beiden Proben zu vergleichen, bei denen die Proben durch die beiden Kontrollfälle im Experiment geteilt werden. Z-Tests sind geeignet, um Mittelwerte unter strengen Bedingungen bezüglich der Normalität und einer bekannten Standardabweichung zu vergleichen. T-Tests des Schülers sind geeignet, um Mittelwerte unter entspannten Bedingungen zu vergleichen, wenn weniger angenommen wird. Welchs t -Test nimmt am wenigsten an und ist daher der am häufigsten verwendete Test in einer Zwei-Stichprobe Hypothesentest wo der Mittelwert einer Metrik optimiert werden soll. Während bedeuten der zu optimierten Variablen ist die häufigste Wahl von Schätzerandere werden regelmäßig verwendet.

Für einen Vergleich von zwei Binomialverteilungen so wie ein Klickrate Man würde verwenden Fisher's Exakte Test.

Angenommene Verteilung Beispielfall Standardtest Alternative Test
Gaußscher Durchschnittliches Einkommen pro Benutzer Welchs T-Test (Ungepaarter T-Test) T-Test des Schülers
Binomial Klickrate Fisher's Exakte Test Barnard's test
Poisson Transaktionen pro zahlender Benutzer E-Test[14] C-Test
Multinomial Anzahl der gekauften Produkte Chi-Quadrat-Test G-Test
Unbekannt Mann - Whitney U Test Gibbs -Probenahme

Herausforderungen

Bei der Durchführung von A/B -Tests sollte der Benutzer die Vor- und Nachteile bewerten, um festzustellen, ob er am besten mit den Ergebnissen übereinstimmt, auf die er sich hofft.

PROS: Durch A/B -Tests ist es einfach, eine klare Vorstellung davon zu bekommen, was Benutzer bevorzugen, da es direkt eine Sache über das andere testet. Es basiert auf dem realen Benutzerverhalten, sodass die Daten besonders bei der Bestimmung der besseren Funktionsweise zwischen zwei Optionen sehr hilfreich sein können. Darüber hinaus kann es auch Antworten auf sehr bestimmte Designfragen geben. Ein Beispiel hierfür sind die A/B -Tests von Google mit Hyperlink -Farben. Um den Umsatz zu optimieren, testeten sie Dutzende verschiedener Hyperlink -Farbtöne, um zu sehen, auf welcher Farbe die Benutzer in der Regel mehr klicken.

Nachteile: A/B -Tests haben jedoch ein paar Nachteile. Wie oben erwähnt, eignet sich A/B -Tests gut für bestimmte Designfragen, kann aber auch ein Nachteil sein, da es meist nur für bestimmte Designprobleme mit sehr messbaren Ergebnissen gut ist. Es könnte auch ein sehr kostspieliger und zeitnaher Prozess sein. Abhängig von der Größe des Unternehmens und/oder des Teams kann es viele Besprechungen und Diskussionen darüber geben, was genau zu testen ist und welche Auswirkungen der A/B -Test ist. Wenn es keinen signifikanten Einfluss gibt, könnte dies als Zeitverschwendung und Ressourcen enden.

Im Dezember 2018 Vertreter mit Erfahrung in groß angelegten A/B-Tests von dreizehn verschiedenen Organisationen (Airbnb, Amazonas, Booking.com, Facebook, Google, LinkedIn, Lyft, Microsoft, Netflix, Twitter, Uber, und Universität in Stanford) nahm an einem Gipfel teil und fasste die größten Herausforderungen in einem Sigkdd -Erkundungspapier zusammen.[15] Die Herausforderungen können in vier Bereiche eingeteilt werden: Analyse, Ingenieurwesen und Kultur, Abweichungen von herkömmlichen A/B -Tests und Datenqualität.

Geschichte

Es ist schwierig, definitiv festzustellen, wann A/B -Tests zum ersten Mal verwendet wurden. Die erste randomisierte doppelblinde Studie, um die Wirksamkeit eines homöopathischen Arzneimittels zu bewerten, ereignete sich 1835.[16] Das Experimentieren mit Werbekampagnen, die mit modernen A/B -Tests verglichen wurden, begannen im frühen 20. Jahrhundert.[17] Der Werbepionier Claude Hopkins verwendete Werbegutscheine, um die Effektivität seiner Kampagnen zu testen. Dieser Prozess, den Hopkins in seinem jedoch beschrieben hat Wissenschaftliche Werbung, beinhaltete keine Konzepte wie statistische Signifikanz und die Nullhypothese, die verwendet werden in Statistische Hypothesentests.[18] Moderne statistische Methoden zur Bewertung der Signifikanz von Stichprobendaten wurden im gleichen Zeitraum separat entwickelt. Diese Arbeit wurde 1908 von durchgeführt William Sealy Gosset Als er die veränderte Z-Test erschaffen T-Test des Schülers.[19][20]

Mit dem Wachstum des Internets sind neue Wege zur Probepopulationen verfügbar geworden. Google Engineers hat im Jahr 2000 seinen ersten A/B -Test durchgeführt, um zu bestimmen, wie die optimale Anzahl von Ergebnissen auf der Seite der Suchmaschinenergebnisse angezeigt werden soll.[5] Der erste Test war aufgrund von Störungen, die sich aus langsamen Ladezeiten ergaben, erfolglos. Spätere A/B -Testforschungsergebnisse wären fortgeschrittener, aber die Grundlage und die zugrunde liegenden Prinzipien bleiben im Allgemeinen gleich, und 2011, 11 Jahre nach dem ersten Test von Google, führte Google über 7.000 verschiedene A/B -Tests durch.[5]

2012 a Microsoft Mitarbeiter, die an der Suchmaschine arbeiten Microsoft Bing Erstellte ein Experiment, um verschiedene Arten der Anzeige von Werbeüberschriften zu testen. Innerhalb weniger Stunden führte das alternative Format zu einer Umsatzsteigerung von 12%, ohne dass sich die Benutzererfahrungsmetriken auswirken.[4] Heute führen Unternehmen wie Microsoft und Google jährlich über 10.000 A/B -Tests durch.[4]

Viele Unternehmen verwenden jetzt den "entworfenen Experiment" -Ansatz, um Marketingentscheidungen zu treffen, mit der Erwartung, dass relevante Beispielergebnisse positive Konversionsergebnisse verbessern können. Es ist eine immer häufigere Praxis, da die Werkzeuge und das Fachwissen in diesem Bereich wachsen.[21]

Beispiele

E-Mail Marketing

Ein Unternehmen mit einem Kunden Datenbank Von 2.000 Personen beschließt, eine E -Mail -Kampagne mit einem Rabattcode zu erstellen, um Verkäufe über seine Website zu generieren. Es werden zwei Versionen der E -Mail mit unterschiedlichem Handlungsaufruf erstellt (der Teil der Kopie, der Kunden dazu ermutigt, etwas zu tun - im Falle einer Verkaufskampagne, einen Kauf tätigen) und die Identifizierung von Werbescode zu identifizieren.

  • Zu 1.000 Personen sendet es die E -Mail mit dem Aufruf zum Aktion: "Das Angebot endet an diesem Samstag! Verwenden Sie Code A1".
  • Und an weitere 1.000 Personen sendet es die E -Mail mit dem Aufruf zum Handeln mit: "Das Angebot endet bald! Verwenden Sie den Code B1."

Alle anderen Elemente der E -Mails -Kopie und -Layout sind identisch. Das Unternehmen überwacht dann, welche Kampagne die höhere Erfolgsquote durch Analyse der Verwendung der Werbecodes hat. Die E -Mail mit dem Code A1 hat 5% Rücklaufquote (50 der 1.000 Personen per E -Mail verwendeten den Code, um ein Produkt zu kaufen), und die E -Mail mit dem Code B1 hat eine Rücklaufquote von 3% (30 der Empfänger verwendeten den Code, um ein Produkt zu kaufen). Das Unternehmen stellt daher fest, dass der erste Aufruf zum Handeln in diesem Fall effektiver ist und ihn in zukünftigen Verkäufen nutzen wird. Ein differenzierterer Ansatz würde die Anwendung statistischer Tests beinhalten, um festzustellen, ob die Unterschiede in der Antwortraten zwischen A1 und B1 waren statistisch signifikant (Das heißt, sehr wahrscheinlich, dass die Unterschiede real, wiederholbar sind und nicht aufgrund zufälliger Chance).[22]

Im obigen Beispiel besteht der Zweck des Tests darin, zu bestimmen, welcher effektivere Weg ist, Kunden zu ermutigen, einen Kauf zu tätigen. Wenn jedoch das Ziel des Tests gewesen wäre, zu sehen, welche E -Mail die höheren generieren würde Klickrate- Das heißt, die Anzahl der Personen, die nach Erhalt der E -Mail tatsächlich auf die Website klicken - dann waren die Ergebnisse möglicherweise anders.

Obwohl beispielsweise mehr Kunden, die den Code B1 erhielten, auf die Website zugegriffen haben, da der Aufruf zum Handeln nicht das Ende der Aktion angibt, sind viele von ihnen möglicherweise keine Dringlichkeit, einen sofortigen Kauf zu tätigen. Wenn der Zweck des Tests einfach nur festgestellt hätte, welche E -Mail mehr Verkehr auf die Website bringen würde, wäre die E -Mail mit Code B1 möglicherweise erfolgreicher gewesen. Ein A/B-Test sollte ein definiertes Ergebnis haben, das messbar ist, z. B. Anzahl der getätigten Verkäufe, Klick-Rate-Konvertierung oder Anzahl der Personen, die sich angemeldet/registrieren.[23]

A/B -Tests auf Produktpreise

A/B -Tests können verwendet werden, um den richtigen Preis für das Produkt zu bestimmen, da dies möglicherweise eine der schwierigsten Aufgaben ist, wenn ein neues Produkt oder eine neue Dienstleistung gestartet wird. A/B-Tests (besonders gültig für digitale Waren) ist eine hervorragende Möglichkeit, um herauszufinden, welcher Preis und das Angebot des Gesamtumsatzes maximiert werden.

Politische A/B -Tests

A/B -Tests wurden ebenfalls verwendet von Politische Kampagnen. In 2007, Barack Obama's presidential campaign Verwendete A/B -Tests, um die Online -Attraktion zu sammeln und zu verstehen, was die Wähler vom Präsidentenkandidaten sehen wollten.[24] Zum Beispiel hat Obamas Team vier verschiedene Schaltflächen auf ihrer Website getestet, die Benutzer dazu veranlassten, sich für Newsletter anzumelden. Darüber hinaus verwendete das Team sechs verschiedene dazugehörige Bilder, um Benutzer zu zeichnen. Durch A/B -Tests konnten die Mitarbeiter bestimmen, wie die Wähler effektiv gezogen werden und zusätzliches Interesse geweckt werden können.[24]

HTTP -Routing- und API -Funktionstests

HTTP -Router mit A/B -Tests

A/B -Tests sind bei der Bereitstellung einer neueren Version einer API sehr häufig.[25] Für Tests in Echtzeit-Benutzererfahrung eine Http Schicht-7 Reverse Proxy ist so konfiguriert, dass, N% des HTTP Verkehr geht in die neuere Version der Backend -Instanz, während die verbleibenden 100-n% des HTTP -Datenverkehrs trifft die (stabile) ältere Version des Backend HTTP -Anwendungsdienstes.[25] Dies geschieht normalerweise für Einschränkung Die Belichtung von Kunden in eine neuere Backend -Instanz, so dass nur in der neueren Version ein Fehler vorliegt, nur N% von allen Benutzeragenten Oder Kunden werden bewirkt, während andere in ein stabiles Backend weitergeleitet werden, was ein üblicher Eingangskontrollmechanismus ist.[25]

Segmentierung und Targeting

A/B -Tests wenden am häufigsten dieselbe Variante (z. B. Benutzeroberflächenelement) mit gleicher Wahrscheinlichkeit für alle Benutzer an. Unter bestimmten Umständen können die Antworten auf Varianten jedoch heterogen sein. Das heißt, eine Variante A hat zwar insgesamt eine höhere Rücklaufquote, aber die Variante B kann innerhalb eines bestimmten Segments des Kundenstamms eine noch höhere Rücklaufquote aufweisen.[26]

Zum Beispiel hätte im obigen Beispiel die Aufschlüsselung der Rücklaufquoten durch Geschlecht gewesen sein können:

Geschlecht Gesamt Männer Frauen
Gesamtsende 2.000 1.000 1.000
Gesamtantworten 80 35 45
Variante a 50/ 1.000 (5%) 10/ 500 (2%) 40/ 500 (8%)
Variante b 30/ 1.000 (3%) 25/ 500 (5%) 5/ 500 (1%)

In diesem Fall können wir sehen, dass Variante A insgesamt eine höhere Rücklaufquote hatte, die Variante B jedoch eine höhere Rücklaufquote bei Männern hatte.

Infolgedessen kann das Unternehmen eine segmentierte Strategie als Ergebnis des A/B -Tests auswählen und in Zukunft die Variante B an Männer und Variante A an Frauen senden. In diesem Beispiel würde eine segmentierte Strategie zu einer Erhöhung der erwarteten Rücklaufquoten führen zu - Einen Erhöhung um 30%.

Wenn aus dem A/B -Test segmentierte Ergebnisse erwartet werden, sollte der Test zu Beginn ordnungsgemäß so konzipiert werden, dass sie gleichmäßig auf wichtige Kundenattribute wie das Geschlecht verteilt werden. Das heißt, der Test sollte beide (a) a enthalten repräsentative Stichprobe von Männern gegen Frauen und (b) Männern und Frauen zufällig jeder „Variante“ zuweisen (Variante A gegen Variante B). Wenn Sie dies nicht tun, kann dies zu Experiment führen Voreingenommenheit und ungenaue Schlussfolgerungen aus dem Test.[27]

Dieser Segmentierungs- und Zielansatz kann weiter verallgemeinert werden, um mehrere Kundenattribute und nicht ein einzelnes Kundenattribut zu enthalten - zum Beispiel das Alter der Kunden und Geschlecht - Um nuanciertere Muster zu identifizieren, die in den Testergebnissen vorhanden sein können.

Siehe auch

Verweise

  1. ^ a b Young, Scott W. H. (August 2014). "Verbesserung der Bibliotheksbenutzererfahrung mit A/B -Tests: Prinzipien und Prozess". Weave: Journal of Library User Experience. 1 (1). doi:10.3998/weave.12535642.0001.101. HDL:2027/Spo.12535642.0001.101.
  2. ^ Kohavi, Ron; Xu, ya; Tang, Diane (2000). Vertrauenswürdige online kontrollierte Experimente: Ein praktischer Leitfaden für A/B -Tests. Cambridge University Press.
  3. ^ Kohavi, Ron; Longbotham, Roger (2017). "Online -kontrollierte Experimente und A/B -Tests" (PDF). In Sammut, Claude; Webb, Geoff (Hrsg.). Enzyklopädie des maschinellen Lernens und Data Mining. Springer.
  4. ^ a b c Kohavi, Ron; Thomke, Stefan (September 2017). "Die überraschende Kraft von Online -Experimenten". Harvard Business Review: 74–82.
  5. ^ a b c "Die ABCs von A/B -Tests - Pardot". Begnadigung. 12. Juli 2012. Abgerufen 2016-02-21.
  6. ^ Kohavi, Ron; Longbotham, Roger (2017). "Online -kontrollierte Experimente und A/B -Tests". Enzyklopädie des maschinellen Lernens und Data Mining. S. 922–929. doi:10.1007/978-1-4899-7687-1_891. ISBN 978-1-4899-7685-7.
  7. ^ a b c Xu, ya; Chen, Nanyu; Fernandez, Addrian; Sinno, Omar; Bhasin, Anmol (10. August 2015). "Von der Infrastruktur bis zur Kultur: A/B -Testprobleme in sozialen Netzwerken in großem Maßstab". Proceedings der 21. ACM SIGKDD Internationalen Konferenz über Wissensentdeckung und Data Mining: 2227–2236. doi:10.1145/2783258.2788602. S2CID 15847833.
  8. ^ a b Siroker, Dan; Koomen, Pete (2013-08-07). A / B -Test: Die leistungsstärkste Möglichkeit, Klicks in Kunden umzuwandeln. John Wiley & Sons. ISBN 978-1-118-65920-5.
  9. ^ "Split Testing Guide für Online -Stores". webics.com.au. 27. August 2012. Abgerufen 2012-08-28.
  10. ^ Kaufman, Emilie (2014). "Über die Komplexität des A/B -Tests" (PDF). 35. Arxiv:1405.3224. Bibcode:2014ArXIV1405.3224K - Über JMLR: Workshop- und Konferenzverfahren. {{}}: Journal zitieren erfordert |journal= (Hilfe)
  11. ^ Christian, Brian (2000-02-27). "Der A/B -Test: Innerhalb der Technologie, die die Geschäftsregeln ändert | Wired Business", "Wired Business".. Wired.com. Abgerufen 2014-03-18.
  12. ^ Christian, Brian. "Alles testen: Anmerkungen zur A/B -Revolution | Wired Enterprise". Verdrahtet. Abgerufen 2014-03-18.
  13. ^ Cory Doctorow (2012-04-26). "A/B -Test: Der geheime Motor der Schöpfung und Verfeinerung für das 21. Jahrhundert". Boing Boing. Abgerufen 2014-03-18.
  14. ^ Krishnamoorthy, K.; Thomson, Jessica (2004). "Ein leistungsfähigerer Test zum Vergleich von zwei Poisson bedeutet". Zeitschrift für statistische Planung und Inferenz. 119: 23–35. doi:10.1016/s0378-3758 (02) 00408-1. S2CID 26753532.
  15. ^ Gupta, Somit;Kohavi, Ronny;Tang, Diane;Xu, ya;Andersen, Reid;Bakshy, Eytan;Cardin, Niall;Chandran, Sumitha;Chen, Nanyu;Coey, Dominic;Curtis, Mike;Deng, Alex;Duan, Weitao;Forbes, Peter;Frasca, Brian;Guy, Tommy;Imbens, Guido W.;Heiliger Jacques, Guillaume;Kantawala, Pranav;Katsev, Ilya;Katzwer, Moshe;Konutgan, Mikael;Kunakova, Elena;Lee, Minyong;Lee, MJ;Liu, Joseph;McQueen, James;Najmi, Amir;Smith, Brent;Trehan, Vivek;Vermeer, Lukas;Walker, Toby;Wong, Jeffrey;Yashkov, Igor (Juni 2019). "Top -Herausforderungen des ersten praktischen Online -Gipfels mit kontrollierten Experimenten". Sigkdd -Erkundungen. 21 (1): 20–35. doi:10.1145/3331651.3331655. S2CID 153314606.
  16. ^ Stolberg, M (Dezember 2006). "Erfinden Sie die randomisierte Doppelblindstudie: Der Nürnberger Salztest von 1835". Zeitschrift der Royal Society of Medicine. 99 (12): 642–643. doi:10.1177/014107680609901216. PMC 1676327. PMID 17139070.
  17. ^ "Was ist A/B -Tests." Konvertieren. Abgerufen 2020-01-28.
  18. ^ "Claude Hopkins verwandelte Werbung in eine Wissenschaft." Abgerufen 2019-11-01.
  19. ^ "Kurzer Geschichte und Hintergrund für den einen Beispiel t-Test". 20. Juni 2007.
  20. ^ Box, Joan Fisher (1987). "Guinness, Gosset, Fisher und kleine Proben". Statistische Wissenschaft. 2 (1): 45–52. doi:10.1214/ss/1177013437.
  21. ^ "A/B -Test: Die ABCs von bezahlten sozialen Medien". Jedes Wort. 2020-01-17. Abgerufen 2022-04-08.
  22. ^ Amazon.com. "Die Mathematik hinter A/B -Tests". Archiviert von das Original Am 2015-09-21. Abgerufen 2015-04-12.
  23. ^ Kohavi, Ron;Longbotham, Roger;Sommerfield, Dan;Henne, Randal M. (Februar 2009). "Kontrollierte Experimente im Web: Umfrage und praktischer Leitfaden". Data Mining und Wissensentdeckung. 18 (1): 140–181. doi:10.1007/s10618-008-0114-1. S2CID 17165746.
  24. ^ a b Siroker, Dan; Koomen, Pete (2013-08-07). A / B -Test: Die leistungsstärkste Möglichkeit, Klicks in Kunden umzuwandeln. John Wiley & Sons. ISBN 978-1-118-65920-5.
  25. ^ a b c Szucs, Sandor (2018). "Modernes HTTP -Routing" (PDF).Usenix.org.
  26. ^ "Erweiterte A/B -Testtaktiken, die Sie kennen sollten | Testen und Benutzerfreundlichkeit".Online-Behavior.com.Archiviert von das Original 2014-03-19. Abgerufen 2014-03-18.
  27. ^ "Acht Möglichkeiten haben Sie Ihren A/B -Test falsch konfiguriert".Dr. Jason Davis.2013-09-12. Abgerufen 2014-03-18.