Informationen über Beta Tester
 

Hallo Zusammen,

vorangestellt möchte ich bemerken: Dieser Thread soll keine Diskussion über gute/schlechte Betatester beinhalten. Es soll wertungsneutral diskutiert werden. Es soll über Informationen und Auswahlprozesse diskutiert werden.

Ich habe mich gerade für den Beta Test von SWTOR angemeldet.
Seit einiger Zeit stelle ich fest: Die Sammlung von Informationen über Betatester hat sich in den letzten Jahren total verändert.

Ich habe früher immer gern bei Betatests mitgemacht. Ich habe auch gern und bereitwillig Informationen über mich und meine Hardware preisgegeben. Jedoch war ich bei der SWTOR anmeldung etwas verwundert.

In der Vergangenheit war es für die Entwickler immer wichtig eine unterschiedliche Auswahl von Systemen, mit möglichst verschiedener Hardware zu testen. Es wurden oft Hardwareabfragen gefordert und dies um eine gute Auswahl an Testern zusammen zu stellen.
Es wurde nach Angaben zu ehemaligen Betatests und Erfahrungen in der Testerszene gefragt.

In den aktuellen Betatests kommt das nicht mehr so oft vor, wie auch hier bei SWTOR.
Aktuell werden Tester oft nach dem reinen Zufallsprinzip ausgewählt. Ich finde diese Entwickling eher suboptimal.

Als ehemaliger QA GM habe ich mich immer über die Exoten gefreut. Besonders bei Fehlern mit bestimmter Hardware freute ich mich über bestätigende Kommentare von Testern mit ähnlicher Hardware. Gleichzeitig freute ich mich über Tester die mit den normalen Mechanismen, wie Templates und Reproduktionsanleitungen umgehen konnten. Leider läuft man als QA GM durch solche Einladungsformulare ins offene Messer. Selbst erste ausgewählte Wellen basieren auf absolutem Zufall.

Irgendwie rücken diese, aus meiner Sicht wichtigen, Informationen total in den Hintergrund. Stattdessen werden Telefonnummern und Adressen zu Pflichtangaben, was ich persönlich als nicht vertrauenswürdig empfinde. Schließlich wird der Customer Support in den seltensten Fällen telefonischen oder postalischen Kontakt suchen.

Habt ihr auch diese Erfahrung gemacht?
Welche Informationen gebt ihr gern für einen Betatest preis und welche sehr ihr als eher unnütz an?

Mad

Informationen über Beta Tester
 

Da bist du in Bezug auf Systemcheck ein wenig fehlinformiert, denn diesen Systemscan hat es gegeben, nur seit inige Zeit gibt es ihn nicht mehr, da die Mindestvoraussetzungen bereits ermittelt wurde.

Weitere Diskussionen und Spekulationen über die Auswahl sind im Grund überflüssig, da der Zufall entscheidet und kein Kriterium (von regionaler Abhängigkeit mal abgesehen).

Informationen über Beta Tester
 

Vielleicht bin ich da etwas zu offen aber ich habe in der Regel absolut keine Probleme damit Daten über mich auf Seiten wie diesen hier Preis zu geben. Wenn sie meine Augenfarbe wissen wollen damit ich ins Auswahlverfahren aufgenommen werden kann - meinetwegen.

Klar, ich hausiere allgemein im Internet natürlich nicht mit meinen Daten und brülle sie herum, ich finde bloß dass man da ein wenig differenzieren darf zwischen ''irgendeiner'' Seite und bekannten wie GameStar.de, dieser hier oder whatever.

Dass Betatester random ausgewählt werden finde ich auch ein wenig unglücklich entschieden aber unterm Strich ist halt die Frage: Wie random ist es tatsächlich?
Ich denke dass schon eine gute Mischung aus erfahrenen und unwissenden Spielern, solchen mit einem High End System, mit exotischer Hardwarekombination oder eben schlechtem Rechner erreicht wurde. Selbst wenn es tatsächlich 100% zufällig war.

Die Informationspolitik für EU Spieler hingegen finde ich etwas daneben, aber das ist ja hier nicht Thema der Diskussion.

Edit: Das was Dr. Zottel sagt. Der Systemcheck war ganz am Anfang und später konnte man noch aktuallisieren wenn ein neuer PC da war.

Informationen über Beta Tester
 

Ich schätze sie testen das Spiel selbst ausgiebig genug und wollen mit den Betatests eigentlich nur sehen, ob die Server halten und ob hier und da Fehler gefunden werden, die sie nicht schon längst kennen. Nach einer ernsthaften Feedback-Beta sieht mir das nämlich auch nicht aus. Ich denke es gibt nur eine Hand voll Betatester die wirklich regelmäßig feedback geben sollen.

Informationen über Beta Tester
 

Kommt nicht selten vor, dass bei MMOs es zwei Sorten Beta Tester gibt: 1. Beta Tester direkt bei den Entwicklern 2. Beta Tester, die dann nur noch nach individuellen Fehlern suchen sollen.

Sprich der Großteil wird direkt bei den Entwicklern selbst getestet und die Beta Tester von draußen testen nur noch den Rest.

Ah, gut zu wissen, dachte ich werde schon senil, weil ich den nicht mehr gefunden habe (PC gerade erst aufgerüstet) und hätte schwören können, dass es den gegeben hat. ^^

Informationen über Beta Tester
 

Geb ich keine Garantie drauf. Kann durchaus sein, dass du dennoch senil wirst.

Informationen über Beta Tester
 

So wie ich es verstanden habe, legt Bioware weniger auf direktes Feedback wert, als auf generierte Daten.

Da es absoluter Zufall ist als Betatester ausgewählt zu werden und bei der Magic Studie wohl eher nicht erfahrene MMO Spieler genommen werden, lässt die Schlussfolgerung zu dass man unbedingt casual Spieler für das Gametesting will.

Ob das für das Spiel gut ist oder schlecht kann ich schlecht abschätzen, aber den Markt der WoW zur Zeit so erfolgreich bedient hat man ganz klar im Sinn.

positiv :

• Man kann Daten verschiedener Builds abgleichen und sie somit objektiver machen.
• Validität wird erhöht, da man (laut Aussagen von Bioware) immer mit einer bestimmten Fragestellung an eine Kohorte geht.
• Man holt sich die vermeintliche Zielgruppe an Bord

negativ :

• Man verzichtet auf erfahrene Tester und verschenkt Zeit und wertvolles Feedback
• Es sind zu wenig Tester um eine statistisch signifikante Aussage zu machen
• Hat man wirklich die potentiellen Spieler an Bord?
• Verschenkt man nicht Kreativität und Einzigartigkeit wenn man jedes Feature dem Massengeschmack angleicht und wird es dadurch nicht eher austauschbar?

Informationen über Beta Tester
 

Und was hat dieser System-Check für die (zukünftigen) EU-Tester genutzt?
Ich finde, dass bei einem Beta-Test nicht nach dem Zufallsprinzip ausgewählt werden sollte...immerhin trägt die Qualität der Tester einen nennenswerten Teil zum finalen Produkt bei.

Informationen über Beta Tester
 

Wie gesagt, wenn der Großteil schon von internen Profi Testern gemacht wird und wir nur den Rest testen sollen, dann wäre das Vorgehen völlig normal.

Möglich. :P

Informationen über Beta Tester
 

Dann hau mal ein paar Kriterien raus... Bin ja mal gespannt...

Informationen über Beta Tester
 

Das meiste ist bei Surfactants Post zu lesen.

Informationen über Beta Tester
 

Den Systemtest gibt es doch garnicht mehr. Schaut mal in euer Benutzerkonto, der Test ist raus.

Die Kriterien sind doch nun Andere, denke ich mal bzw. einfach möglichst viele Leute spielen lassen, um zu schauen was bei einem Massenandrang auf mehreren Servern passiert.

Oder halt um einfach die Leute schnuppern zu lassen, damit sie es weiter erzählen und noch mehr vorbestellen.

Informationen über Beta Tester
 

Einzige Kriterium bei der Beta-Tester Auswahl hier nennt sich Zufall obwohl einige hier immer noch der Ansicht sind das sie ihre Chancen steigern, wenn sie hier in jedem Thread nen Kommentar abgeben sinnvoll/-frei ist ihnen meistens noch egal oder sie versuchen den Mods hier soweit hinten rein zu kriechen das se ne rektale Mandel-OP durchführen könnten

Informationen über Beta Tester
 

Heutige Beta Tests dienen doch nur noch 2 Zwecken:

1. Marketing

Hierbei geht es darum, die Gamer anzufixen..... nicht mehr und nicht weniger. Völlig legitim und absolut in Ordnung. Eine genaue Auswahl der Tester ist nicht nötig da es nur darum geht Logins zu streuen und die Mund Propaganda anzukurbeln

2. Stresstests

Hier geht es darum die Server auszulasten und sich auf den Release vorzubereiten. Auch hier interessiert sich niemand für den Tester, er ist nur ein kleines Bienchen das zeigen soll ob der Stock groß genug ist.
Man sieht auch hier braucht es keine genauere Auswahl, es wird einfach nach dem Zufallsprinzip so viel Füllwolle eingeladen wie nötig.

Klar freut sich der Publisher auch über das Feedback der Tester, aber wenn heutzutage Games in die offene Beta gehen oder auch eine geschlossene wie hier. Dann sind die idR. schon Release Reif und man macht nur noch Fine Tuning.
Das was der TE von früher als Beta Test versteht, dürften heute wohl die Alpha Tests sein die Intern durchgeführt werden.

Ach ja ich hab noch einen dritten Punkt vergessen:

http://www.youtube.com/watch?v=uF2djJcPO2A

Informationen über Beta Tester
 

1,5 Millionen Anmeldungen zur Beta mit Hardware-Daten haben garantiert dabei geholfen die minimalen Hardwareanforderungen festzulegen. Ich würde daher nicht sagen, dass es umsonst war.

Ich glaube Georg Zöller würde hier energisch widersprechen, falls er das liest ^^

- Man verzichtet nicht auf erfahrene Tester, sondern holt sich die über andere Wege. Hier über die Webseite kann ja jeder behaupten, dass er ein erfahrener Tester ist.
- Georg hat hier mal geschrieben, dass sie die Tests so gestalten, dass sie statistisch signifikante Aussagen treffen können. Die unterschiedlichen Spielergruppen in den Tests sollen der Realität entsprechen.
- Natürlich hat man die potentiellen Spieler an Bord, wenn man zufällig auswählt. Wie soll man die denn anders auswählen?
- SW:TOR wird ein Massenmarkt-MMO. Natürlich passt man vieles daher dem Massengeschmack an, das kann aber ja auch zu mehr Kreativität führen ^^

Informationen über Beta Tester
 

Erst einmal hat BioWare schon immer gesagt, dass sie ein eigenes Testprogramm haben, welches sich von "Beta"-Tests anderer Firmen grundlegend unterscheidet. Sie testen meist mit professionellen Testern und verlassen sich nicht wie andere Firmen auf 'unbezahlte' Gelegenheitstestern, von denen ein Großteil gar nicht testet sondern nur spielt.

Ich denke, dass das System von BioWare weitaus professioneller ist, als wir es von anderen MMO-Betreibern gewohnt sind. Sie setzen Tester gezielt ein und diejenigen, die sie aus der Community unbezahlt testen lassen, weisen sie bestimmte Aufgaben zu. Diese können durchaus sein, das Spiel so zu spielen, als wenn sie es gekauft hätten und vielleicht dann nur einmal täglich eine Umfrage durchzuführen.

Das bringt entscheidende Daten zurück. Denn zur Suche von Fehlern setze ich lieber bezahlte Kräfte ein, da ich mich bei unbezahlten kaum darauf verlassen kann, dass diese wirklich alles melden. So gehe ich sicher, dass die richtige Fehlersuche von Profis durchgeführt wird und der Rest dann der Community vorgesetzt wird, um deren Meinung zu erfragen.

Schlussendlich soll SW:TOR ein einwandfreies Produkt werden mit möglichst geringer Fehleranzahl - würde man dazu nur 'freiwillige' und unbezahlte Tester einsetzen (die Standard "Beta-Programme" anderer Firmen), dann schlüpfen einfach zu viele dieser Ärgernisse durch die Qualitätskontrolle. Hat sich doch gerade in der Vergangenheit bei anderen Produkten gezeigt, dass auf die 'freiwilligen' Tester fast nie gehört wird. Wenn man dagegen bezahlte Personen heran lässt, hat dies ein ganz anderes Gewicht.

Darum bin ich in Punkto Release immer noch zuversichtlich

Informationen über Beta Tester
 

1. Spreche ich von Communitymembern als Betatestern und nicht von Bezahlten. Selbstverständlich testen sie intern Builds ausführlich, das brauch ich doch nicht erwähnen.
Und hier kann man sehr wohl differenzieren, wie es andere MMO Betreiber ja auch tun. Bei Rift und Wildstar zum Beispiel, muss/musste man schon angeben welche Erfahrungen man besitzt, ob man in einem Clan aktiv ist etc.

2. Natürlich will George statistisch signifikante Daten anstreben. Jedoch ist es verdammt schwer dass

a) mit wenigen Testern
b) über die man wenig weiss
c) wo man Meinung in Foren schlecht mit Spielverhalten abgleichen kann
d) in einer Branche wo es wenig vergleichbare Daten gibt

zu generieren.

Übrigens habe ich auch Vorteile des Testverfahrens benannt, die du aber nicht gequotest hast. Statistik ist ein sehr komplexer Bereich, ob das anvisierte Ziel damit erreicht wird, wird man auch erst nach Launch feststellen.

Noch ein kleines Beispiel warum die Datenlage so komplex ist :

Peter stirbt mehrfach an Stelle C. Das findet er frustrierend.
Maik stirbt ebenfalls an Stelle C, er hingegend freut sich auf eine HErausforderung und probiert mehrfach neue Strategien bis er es überlebt.
Tim interessiert Stelle C nicht die Bohne

Georg sieht nun objektiv in der Statistik : Hier sterben viele! Doch wie misst man jetzt Spielspaß? Und welchen Einfluss hat eine Erhöhung/Erniedrigung der Anforderungen auf die Langzeitmotivation?

Es ist verdammt komplex und du kannst versuchen daraus Items (Kriterien) für eine Statistik zu entwickeln. Aber ob deine Schlüße, die eingeladenen Tester und der Build richtig sind um deine Ausgangshypothese zu verifizieren, wirst du schwer beurteilen können.

Es ist schlicht Neuland und es gibt wenig vergleichbare (frei zugängliche Daten --> Firmen NDA). Daher ist es durchaus lobenswert das zu versuchen, aber es gibt auch jede Menge Schwachpunkte an der Vorgehensweise.

Ich habe übrigens in keinster Weise versucht jemand eine Meinung über das Testen aufzuzwängen, sondern lediglich aus meine Sicht, die Vor und Nachteile der Methode formuliert.

P.S Ja es ist ein Massenmarkt MMO und viele tolle Ideen der Devs sind deswegen schon althergebrachten Standards gewichen.
Ob das gut oder schlecht ist : Keine Ahnung. Jedoch kann ich wirklich kaum Innovation feststellen. Und da mach ich mir dann doch Sorge, ob das heute noch ausreicht.

LG Surf (Ich werde Morgen meine Rechtschreibfehler korrigieren, bin nun zu müde dafür)

Informationen über Beta Tester
 

Bei einem freiwilligen Tester hat man niemals die Gewährleistung, dass auch jeder gefundene Fehler zur Anzeige gebracht wird. Der größte Teil von freiwilligen Tester aus einer Community möchte einfach nur das Spiel spielen. Darüber hinaus haben diese Personen normalerweise keine 10 Stunden durchgehend Zeit oder Interesse jede Funktion, jeden Dialog, jedes Fenster und jeden "Klick" akribisch zu prüfen und entsprechend jeden Fehler zur Anzeige zu bringen.
Ein Test mit Freiwilligen hat andere Ziele. Hier wird zum Beispiel geprüft welche Spielelemente in einem Spiel angenommen werden oder auch nicht. Wenn niemand die Warzones besucht braucht man diese dann überhaupt? An welcher Stelle kann es technische Performanceprobleme geben in Hinblick auf lokale und globale Netzwerkauslastung, Download der Client Software, Stabilität der Client Software, Dauer der Anmeldung der Spieler in Hinblick auf Authentifizierung und Autorisierung. Anzahl der Spieler je Instanz. Braucht man an dieser Stelle überhaupt eine Instanz? Wird das Gameplay, Wirtschaftssystem etc. angenommen? Dies wird a.) über Logs und b.) über Umfragen ausgewertet.
Allerdings benötigt man dafür keine 100k freiwillige Tester. Da genügt eine überschaubare Anzahl an Testern. Anhand dieser Zahlen kann man Hochrechnungen erstellen.
Bei professionellen Testern ist die Wahrscheinlichkeit sehr viel geringer, dass mal ein Fehler übersehen wird, wenn es nur um das Testen geht.

Informationen über Beta Tester
 

Naja, wenn man freiwillige Tester hat, dann sind die meist unmengen mehr als die Bezahlten Profezinellen, das heißt das dann Fehler einfach durch die Quantität der Tester nicht übersehen werden (den einige Beta-Tester, auch wenn sie Freiwillig dabei sind, reporten alle anomalien die ihnen unterkommen, also zumindest macht meine Wenigkeit das so, und aus Foren anderer Spiele während der Beta ergab sich der Eindruck das meine Wenigkeit da nicht alleine ist, auch wenn es natürlich dann immer mal wieder Leute gibt die im beta Forum mit einem einzigen, belanglosem post auftauschen).

Informationen über Beta Tester
 

Das ist ja auch sehr löblich, aber reportest Du es auch in der Form, das ein <int. Land austauschbar> Entwickler sofort weiß wovon Du sprichst? Für Tests werden ganz bestimmte Formalien vorgegeben, damit jeder Entwickler die Testberichte umgehend versteht und in Aktion treten kann. Nur ein Screenshot und ein Einzeiler reicht oftmals nicht aus (kann, muss aber nicht).
Für das Testen zum Beispiel eines Interfaces reicht ein professioneller Tester. Entweder der Fehler ist da wenn man drauf klickt oder nicht.
Bei Auftreten einer Anomalie, ich möchte jetzt nicht Bug nennen, ist auch eine überschaubare Anzahl an freiwilligen Spielern ausreichend, die sich fast in der selben Geschwindigkeit durch das Spiel "pflügt". Es wird zwar auch ein paar Spieler geben die weit vorweg sind, aber die sind vernachlässigbar.

Informationen über Beta Tester
 

also ich stimme dem thread ersteller schon zu ABER ich muss auch hinzufügen das
die Anmeldung geändert wurde. Bevor du dich registriert hast war das nämlich schon
noch so, das man angaben zum system abschicken musste + bischen mehr infos.
Kp warum sie das nu rausgenommen haben..vllt haben sie die system spezifische test-phase
schon mit den Amies durchgeführt, sodass das jetzt bei der EU beta für sinnlos erklärt wurde.
(meiner meinung nach die einzige logische erklärung).

Ansonsten finde ich das beta tester nich zu 100% nachm zufall ausgewählt werden
sollten weil es einfach besser ist bestimmte gruppen in der beta am start zu haben.

ex gm's z.b. wie du haben z.b. erfahrung mit der materie. Ex beta tester auch
und am besten man hat schon viele online games gezockt u.s.w

es gibt mehrere gruppen die man in einer beta einladen sollte und durch das zufall-prinzip
machen sie es halt auf die einfache tour und hoffen auf ein kunterbuntes beta spektakel.

Aber manchmal gibt es auch ausnahmen an leuten die echt nich in beta sollten...naja
kann man nix dran ändern

Informationen über Beta Tester
 

Denke mal das meine Wenigkeit durchaus in der Lage ist sich verständlich auszudrücken. Versuche meist sogar absichtlich zu wiederhollen was meine Person getan hat bevor ein Fehler auftrat um zu schauen was genau das Problem auslösen könnte. Reporte wo auf der Karte (mit koordinaten die das Spiel meist mitliefert) das Problem war oder der Screenshot aufgenommen wurde. Ansonsten, bin nicht nur häufig genug beta tester für PC spiele gewesen sondern auch für Brett und pen & paper Rollenspiele, wo man ja dann meist wesentlich direkter mit den Entwicklern sprechen kann, und hatte da meist das Gefühl das man mein Feedback sehr zu schätzen wußte.

Deshalb bietet es sich an viele Tester zu haben und ein Forum wo man schreiben kann wo einem was passiert ist, den die Menge an Testern kann dann durchaus helfen festzustellen bei wem das Problem auftritt und bei wem nicht. Nehmen wir zum Beispiel The Sims Social was vor wenigen Wochen auf Facebook gestartet ist, da gab es zwischenzeitlich so massive Probleme das hunderte von Spielern sich in deren Forum beschwerten nicht spielen zu können, aber nicht alle hatten das selbe Problem (es waren tatsächlich mehre verschiedene Bugs die die gleichzeitig auftratten), ohne die riesige Menge an Feedback hätten die wahrscheinlich noch länger gebraucht rauszufinden was das Problem ist (und das dauerte auch so Tage).

Da es immer wieder Leute gibt die Spiele ganz anders Spielen als Andere ist mehr Leute einfach besser, den dann ist es wahrscheinlicher das irgendwer auf etwas stößt an dem alle anderen vorbei rennen.

Informationen über Beta Tester
 

Surfactant der Beta-Test mit Testern aus der Community läuft schon über ein Jahr. Das diese Tester nur aus der US-Community kommen ist die andere Seite der Medaille.

Die Tests in Europa und die Betawochenenden haben folgenden Inhalt.

• Marketing
• Stresstest - Rechenzentrum und Serverpark in Europa testen
• Ein wenig Lokalisation testen

Und wie schon jemand beschrieben hat, gibt es bei Bioware proffessionelle Tester. Dies haben aber mittlerweile viele Spielentwickler und gehört mittlerweile zur normalen Qualitätskontrolle.

Oder wer hat großartig was mitbekommen von der Rift-Beta? Dennoch ist Rift sehr gut mit guter bis sehr guter Qualität gestartet.

Informationen über Beta Tester
 

Die Betatest sind längst vorbei.
Für Streßtest oder der Sprachpakete ist die Konfig unwichtig.

So einfach ist das.

Informationen über Beta Tester
 

Die sich wie überprüfen lassen? Ich hab auch schon einige Betatests mitgemacht und bei keinem hab ich ein Zertifikat danach bekommen.

Bei einem Test ist es wichtig, dass eben nicht nur Profis vor der Tastatur hocken, die sich in MMOs besonders gut auskennen und jede einzelne Mechanik erklären können. Da muss auch Lisa Müller ran, die dann eben auch mal ganz "blöd" fragt: "Warum ist das so? Das macht für mich keinen Sinn!". Eben der Hausfrauentest (ist nicht böse gemeint, bei uns in der Firma nennt man die so).

Dass diese einen Bug nicht so melden, dass er Entwicklerkompatibel ist, das mag sein. Dafür finden die Leute Fehler, auf die viele Profis gar nicht erst kommen.