Testverifizierung

Übersicht

Die Testverifizierung kann von Programmeinheitstestkomponente durchgeführt werden, die Testmetrikergebnisse für einzelne Testfälle auf unterschiedlichen Ebenen liefert einschließlich der Funktions-/Methoden-, Modul-/Klassen- und Komponenten-/Systemebenen. Die Testverifizierung stellt Testplanungsdokumente sowie farbige graphische Darstellungen zur Verfügung, so dass Sie die gewünschten Überdeckungsziele erreichen können, die von Prozedur-/Funktionsaufruf- bis zur sicherheitskritischen modifizierten Bedingungs-/Entscheidungsüberdeckung reichen.

Die Testverifizierung unterstützt zusätzlich die Verifizierung von Systemen auf denen vom Kunden zur Verfügung gestellte Testfälle ausgeführt werden (welche außerhalb der Programmeinheitstestkomponente ausgeführt werden). Diese Systemtests können innerhalb des LDRA Testbeds ausgeführt werden und zwar in einem Simulator oder einer anderen auf dem Hostrechner laufenden Umgebung, oder auf einer Zielplattform.

For users interested in LDRA’s Zero Defect Software Development methodology, Test Verification provides feasibility coverage or the percentage of feasible paths executed by a test case.

Merkmale

Überdeckungsmetriken

LDRA stellt die folgenden Industriestandardüberdeckungsmetriken zur Verfügung:

• Anweisung
• Verzweigung/Entscheidung
• Prozedur-/Funktionsaufruf

LDRA stellt zusätzlich Machbarkeitsmetriken zur Verfügung um seine Machbarkeitstestmethodik zu unterstützen.

TBsafe fügt weitere Metriken hinzu:

• Verzweigungs-/Entscheidungsbedingung
• Verzweigungsbedingungskombination
• Modifizierte Bedingungs-/Entscheidungsüberdeckung (MC/DC für DO-178B Ebene A)
• Dynamischer Datenfluss

Testplanung

Die Testverifizierung erzeugt zwei Testfallplanungsdokumente:

• Machbarkeitstestfallplaner – Zeigt den Quellcode, der mit den Verzweigungspunkten innerhalb der nicht überdeckten erreichbaren Pfade assoziiert ist (auch LCSAJs genannt), zusammen mit der logischen Bedingung, die notwendig ist um diese Verzweigung zu durchlaufen.
• MC/DC Testfallplaner – Beschreibt die Schritte im einzelnen, die notwendig sind um die  DO-178B Level A, Modified Condition/Decision Überdeckung zu erreichen.

Die LDRA Werkzeugreihe erlaubt die Visualisierung der Ergebnisse für Ihr System mittels:

• Aufrufgraphen mit der Möglichkeit des Herabbrechens bis auf Prozedur-/Funktionsebene, der graphischen Darstellung der Prozedur-/Funktionsaufrufe und der dynamischen Aufrufgraphen, die die Visualisierung der Testüberdeckung erlauben.
• Flussgraphen stellen Anmerkungen zur Verfügung und zeigen Entscheidungskriterien sowie die Anweisungs- und Verzweigungsüberdeckung.

Reports

Die automatisch erzeugten Reports können nach pass/fail Ebenen konfiguriert werden mit einem Prozedur-per-Prozedur- oder Dateilayout. Verfügbar sind im einzelnen:

• Mit Anmerkungen versehene Quellcodelisten:
• Systemübersichtsreports
• Überdeckungsmetrikergebnisse für:
  • Prozeduren
  • Dateien
  • Systeme

Datensatz-/Profilanalyse

Die Datensatzanalyse kann auf zweierlei Arten verwendet werden. Erstens um Informationen darüber zu erhalten welche Datensätze welche ausführbare Zeile oder Zeilen des Quellcodes ausgeführt haben. Diese Informationen sind für den Regressionstest wichtig.

Zweitens welche Codezeilen von irgendeinem beliebigen Testdatensatz ausgeführt wurde. Dies kann zu Dokumentationszwecken verwendet werden, oder zur Inspiration wie eine bestimmte Codezeile ausgeführt werden kann.

Profilanalyse

Die Profilanalyse erzeugt einen minimalen Satz von Testdatensätzen, die die größte Überdeckung produzieren. Dieser minimale Satz kann dann den Regressionstest effizienter machen und den Zeit- und Kostenaufwand minimieren.

Nutzen

• Effektive Verwaltung und Messung des Codeverifizierungsprozesses und Eichung des verbleibenden Aufwands
• Erhöhung des Vertrauens in die Zuverlässigkeit und Robustheits des erzeugten Codes
• Rasche Auffindung nicht adäquat getesteter Softwarebereiche
• Reduktion der Regressionstestkosten
• Testen bezüglich hoher Standards
• Als Konsequenz ergibt sich: Ressourceneinsparungen, erhöhte Produktqualität, verminderter Zeitrahmen zwischen Entwicklung und Markteinführung.

Ergebnis

Als Hauptergebnis resultiert die Messung der Testeffektivität, die sich durch die Werte für die Anweisungs-, die Verzweigungs- und die Teilpfadüberdeckung der Software ergeben.