Testobjekte

Diese Form des Testens prüft erstmalig das gesamte System mit allen Komponenten und der vollständigen Funktionalität.

Tester

Unabhängige Tester kommen in dieser Phase zum Einsatz. Ihre Expertise liegt nicht nur im technischen Teil (siehe beispielsweise Lasttests), sondern auch im Verständnis der fachlichen Anforderungen.

Testziel

Alle Kriterien der ISO9126 gilt es zu überprüfen

Werkzeuge

Bekannte Vertreter der automatisierten GUI Tests sind JFCUnit als Vertreter der Open-Source Produkte oder WinRunner als ein Produkt der Firma Mercury. Diese Firma bietet auch ein Tool zum Lasttesten an (LoadRunner).

TODO: Open-Source Lasttest

Weiterhin sollten Werkzeuge zur Analyse des Speicherverbrauchs oder der Laufzeiten eingesetzt werden (JProfiler, OptimizeIt, Eclipse Profiler Plugin)

Die sehr umfangreichen Systemtests sollten folgende Punkte prüfen:

Funktionalität

• Testen gegen alle Anforderungen
• Testen aller Use-Cases
• Testen von Berichten, Auswertungen, Druckerausgaben

Portierbarkeit

• Testen mit unterschiedlichen Konfigurationen für Server und Clients: verschiedene Hardware, Betriebssysteme, Sprachen, Applikationsserver, Datenbankserver usw.
• Testen von Installation, Upgrade und Deinstallation

Robustheit

• Dauertest mit besonderem Augenmerk auf Speicherverbrauch (Memory-leaks)
• Ausschalten einzelner Komponenten: Rechner, Drucker, Server, Datenbank, Netzwerkverbindung
• Fehlbedienungen, simulierte Fehler in angebundenen Applikationen
• Überlastung durch Stresstests: Anwendung jenseits der Spezifikation betreiben und überprüfen, ob das System wieder in einen konsistenten Zustand zurückgeführt werden kann

Effizienz

• Messen des Antwortverhaltens und des Ressourcenverbrauchs (CPU, Memory, Datenbank, Netzwerk) in Abhängigkeit der Last (z.B. Anzahl gleichzeitiger Benutzer). Dabei wird auch überprüft, ob ein System wirklich "skaliert", d.h. eine höhere Last kompensieren kann

Benutzbarkeit

• In speziellen Laboren können Usabilitytests durchgeführt werden. Dabei bekommen Probanden Aufgaben gestellt, und es wird analysiert, wie lange sie dazu brauchen, welche Fehler sie begehen und wohin sie auf dem Bildschirm suchen/schauen
• Testen mit "echten" Benutzern (Betatests, Feldtests)
• Sehr wichtig beim Systemtest ist die Überprüfung der Benutzerdokumentation auf Vollständigkeit, Korrektheit und auf Angemessenheit (Schwierigkeitsgrad auf Zielgruppe ausgerichtet, was auch die Sprache/Übersetzung betreffen kann)