(1) visuelle Darstellung
(2) eingesetzte Antwortformate
(3) Filterführungen
(4) Datenübermittlung
(5) Probandenverwaltung
(6) Export der Antwortdaten
(7) Import in Analyseprogramme

Die Einteilung in die ersten 6 Punkte wurde von „Evaluation online“, Udo Kuckartz et al. (2009) übernommen.

1. 1. Visuelle Darstellung

      Relevant: Aufbau der Befragung (Gruppierung der Fragen), Fragetypen, Fragen, Antwortkategorien

      • Prüfung, ob alle Fragen und Antwortvorgaben auf allen Betriebssystemen (Windows, Linux, MacOS, IOS, Android), Bildschirmauflösungen, Geräteklassen (Smartphone, Tablet, Laptop/Desktop) und Browsern (IE/Edge, Firefox, Chrome, Safari) richtig dargestellt werden.

      Unter anderem:

      • Fragebogenlänge und -breite auf den unterschiedlichen Plattformen angemessen?
      • Ist die Barrierefreiheit gewährleistet? Es sollte im Vorfeld der Wahl des Befragungssystems darauf geachtet werden, welche Angaben der Anbieter hierzu macht und welcher Beitrag seitens der Fragebogenprogrammierung noch geleistet werden kann.
        

      Allgemein: Sicherstellen, dass eine unterschiedliche Darstellung der Fragebögen auf den unterschiedlichen Plattformen keinen Einfluss auf das Antwortverhalten hat. Bei z. B. gestauchter Darstellung einiger Antwortkategorien auf bestimmten Ausgabemedien (z. B. Smartphone) könnte die Wahl bestimmter Antworten begünstigt werden. Dies und alles, was die gleiche Wahrnehmung des Fragebogens über alle Plattformen hinweg beeinträchtigen könnte, sollte vermieden werden. Es gilt, für alle Befragten eine identische Situation herzustellen, um die Antworten (ohne Rückgriff auf die unterschiedlichen Erhebungssituationen) vergleichend auswerten zu können. Visuelle Unterschiede und eine verschiedene Raumaufteilung auf den unterschiedlichen Plattformen sind nicht zu vermeiden, allerdings sollten weder einzelne Fragen und noch deren Antwortkategorien in Sichtbarkeit, Zugänglichkeit etc. benachteiligt oder hervorgehoben werden.

   2. Eingesetzte Antwortformate

      • Sind die korrekten Fragetypen verwendet worden? Z. B. Checkboxen bei Mehrfachauswahl und Radiobuttons bei Einfachauswahl.
      • Funktionieren die Fragetypen korrekt? Sind die Antwortkategorien vollumfänglich vorhanden? Stimmt die Reihenfolge der Antwortkategorien und lassen sich diese tatsächlich auswählen?
      • Prüfung aller Antwortkategorien auf korrekte visuelle Ausführung. Werden Fragen, Antwortkategorien und ggf. Hilfetexte korrekt dargestellt?

      So z. B. für:

      (a) Dropdown-Listen
      (b) Einfach- und Mehrfachantwortfelder
      (c) Freitextfelder (Anzeigebreite und -höhe; ggf. Zeichenbegrenzung)
      (d) Überprüfende Freitextfelder lassen auch nur gewollte Eingaben zu?
      (e) Pflichtantwortfelder (häufig mit Stern gekennzeichnet)

   3. Filterführungen

      Funktionieren alle Filterführungen auf allen Plattformen?

   4. Datenübermittlung

      • Werden die Daten korrekt vom Fragebogen in die Datenbank übernommen?
        → Testung aller Fragen und offener Eingabefelder (Freitextfelder sowie Kategorie „Sonstiges“).
      • Funktioniert die Zwischenspeicherung einwandfrei?
        → Testung aller Fragen und offener Eingabefelder (Freitextfelder sowie Kategorie „Sonstiges“) auf:
        1. Speicherung zwischengespeicherter Antworten in der Datenbank
        2. Darstellung zwischengespeicherter Antworten in wiederaufgenommener Befragung
        3. Speicherung zwischengespeicherter Fragebögen bei Abschluss der Befragung („Abschicken-Button gedrück“) in der Datenbank.
      Hinweis: Prüfung der Datenübermittlung und -speicherung insbesondere auch mit komplizierten Filterführungen.

   5. Probandenverwaltung

      • Import der Kontaktdaten funktioniert? Testung auch mit explizit fehlerhaften E-Mail-Adressen: Vergleich Quell- und Zieldatei (ggf. nach Export).
      • Testung des Einladungsversands. Werden an alle TeilnehmerInnen Einladungen versandt? Testung der Toleranz gegenüber fehlerhaften E-Mails und prüfen, ob alle und insbesondere die den fehlerhaften E-Mail-Adressen nachfolgenden E-Mails verschickt wurden.
      • Testung des zeitgesteuerten E-Mail-Versands (für Einladungen, Erinnerungen und ggf. Dankesschreiben bei Beendigung der Laufzeit).
      • Darstellung und Formatierung der E-Mails korrekt?
      • Token und Zugangscodes funktionieren (falls eingesetzt)?
      • Ggf. gegebener Passwortschutz bei Zwischenspeicherung der Fragebögen funktioniert?
      • Funktionieren die organisatorischen und technischen Prozeduren, wenn Befragte ihre Token und/oder Zugangscodes verlieren? Oder schon übermittelte Antworten korrigieren wollen?

   6. Export der Antwortdaten

      • Präferenzen der Datenauswertenden vorab erfragen und berücksichtigen.
      • Werden die Antwortdaten ins gewünschte Dateiformat fehlerfrei exportiert? Berücksichtigung der verfügbaren Exportformate (R, SPSS, Stata etc.) und insbesondere beim CSV-Datenformat die Einstellungen zum Dezimaltrennzeichen (Punkt vs. Komma) und Separator.

   7. Import in Analyseprogramme

      • Reibungsloser Import in das gewünschte Auswertungsprogramm ohne Fehlermeldung?
      • Darstellung fehlender Werte in erwarteter Form?
      • Können die fehlenden Werte von diejenigen unterschieden werden, die „keine Angabe“ oder „weiß nicht“ geantwortet haben?
      • Werden die Texte der offenen Eingaben korrekt in die jeweilige Spalte eingelesen? Sind nachfolgende Spalten korrekt gefüllt? Teste insbesondere beim CSV-Datenformat, ob Probleme durch den gewählten Separator bestehen.
      • Werden numerische Werte als solche erkannt? Wird das gewünschte Dezimaltrennzeichen verwendet?
      • Werden Umlaute und Sonderzeichen korrekt dargestellt? Bestehen Probleme beim gewählten Schriftsatz?

1. 1. Werden alle Fragen von allen Befragten identisch verstanden? Gibt es Missverständlichkeiten? Sind die Fragen eindeutig formuliert worden und eindeutig zu verstehen?
   2. Sind die Antwortkategorien erschöpfend? Siehe hierzu das EVA-Prinzip unter „Frage“, Punkt 6. Ist an alle möglichen oder relevanten Antworten gedacht? Welche Beiträge liefert hier der Pretest mit den Anregungen der Befragten?
   3. Sind die eingesetzten Antwortformate passend oder bieten sich andere Darstellungen an (bspw. einzelne Fragen vs. Matrixfragen, Dropdown vs. Markierung mit Button oder Häckchen)?
   4. Wie lang ist die durchschnittliche Befragungsdauer? Ermittlung, häufig Schätzung der voraussichtlichen Befragungsdauer. Unterschiedliche Filterführungen hierbei berücksichtigen.

• • Einsatz eines zusätzlichen Kommentarfeldes bzw. Feldes mit Freitext-Eingabemöglichkeit zu jeder Frage im Fragebogen, um diese durch Experten oder TeilnehmerInnen der Zielgruppe einschätzen zu lassen.
  • Einsatz eines zweiten zusätzlichen Kommentar-Fragebogens, der für jede Frage im eigentlichen Fragebogen ein offenes Eingabefeld (offene Frage) bietet. In diesem Kommentar-Fragebogen, der parallel geöffnet wird, können die Pretester die jeweilige Frage kommentieren. Dies hat den Vorteil, dass der tatsächliche Fragebogen, so wie er sein wird ohne extra Kommentarfelder, den Pretestern demonstriert werden kann. Hierdurch kann fundierter zum Aufbau, Gliederung und Gestaltung Feedback gegeben werden.
  • Auch empfehlen sich begleitete Interviews (am Telefon, persönlich vor Ort), so dass die TeilnehmerInnen direkt die Frage kommentieren können und sich die Chance auf Rückfrage bietet.
  • Beim „Think Aloud“ versprachlichen die TeilnehmerInnen ihre erste Berührung mit den Fragen. Sie denken laut und teilen alle Verständnisschritte mit, so dass hier dem Forschenden mögliche Fallstricke offensichtlich werden können.

• • Wiederholen Sie die Prestests so lange, bis alle Probleme beseitigt sind. 2-4 kleinere Pretests sind nicht unüblich. Bei widersprüchlichen Ergebnissen liegt die Kunst darin, zu entscheiden, ob ein dritter Weg eingeschlagen werden soll oder welche Anregungen nicht umgesetzt werden können.
  • Der Umfang des Pretests hängt maßgeblich von der Komplexität des Fragebogens und der Viel­gestaltig­keit der Zielgruppe ab. Bestenfalls werden mehrere Teilnehmer unter­schied­licher Segmente der Zielgruppe und zudem sowohl Experten zum inhaltlichen Thema als auch Experten der Fragebogen­entwicklung einbezogen. Minimal im professionellen Kontext – der Konkretheit halber angeführt – seien zwei thematisch-fachliche und ein Methoden-Experte sowie mindestens 7-12 Mitglieder der Zielgruppe vorab zu befragen.
  • Bei größeren Befragungen befragen Sie zusätzliche Teilnehmer mit dem tatsächlichen Fragebogen (also ohne gesondert um Kommentierungen zu bitten), so dass Sie auf mindestens 30 vollständig ausgefüllte Fragebögen kommen. Dann prüfen Sie, ob sich die Antworten auch über die Bandbreite der Antwortoptionen verteilen. Falls nicht, d. h. alle antworten nahezu gleich, können Sie die Frage vielleicht weglassen?
  • Zwei tiefergehende Vorgehensweisen bieten sich an, wenn Sie nicht sicher sind, ob eine Frage tatsächlich so verstanden wird, wie Sie es erwarten.
    • In der ersten Variante bitten Sie den Pretester explizit darum, die Frage zu umschreiben. Er möge darlegen, wie er die Frage versteht, worauf die Frage wohl zielt und was sie bezweckt. Dies ist ein grundlegendes Vorgehen sowohl beim begleiteten Interview als auch beim Einsatz eines Kommentar-Fragebogens.
    • In der zweiten Variante erklären Sie ausführlich, was Sie mit der Frage bezwecken und was konkret herausgefunden werden soll. Dann bitten Sie den Pretester um Vorschläge, wie er die Frage formulieren oder den Sachverhalt erfassen würde. Dies kann insbesondere bei Kommentar-Fragebögen gut eingesetzt werden. Aus den Vorschlägen lernen Sie womöglich viel über Sprache und Wahrnehmung der Zielgruppe.
  • Bevor Sie Änderungen am Fragebogen machen, sammeln Sie erst ein paar Pretest-Kommentare ein. Außer, es handelt sich um offensichtlich grobe Schnitzer.