testing trends und benchmarks 2013
Post on 05-Jun-2015
1.529 Views
Preview:
TRANSCRIPT
Trends & Benchmarks Report Schweiz Wo stehen wir – wohin geht es?
In Kooperation mit
Testing 2013
Testing Trends & Benchmarks Schweiz 2013 2InhaltsverzeIchnIs
EDITORIAL
TRENDWAVE 2013
KEY MESSAGES
PROJEKTE
VORGEHEN
AGILITÄT
REIFE
ORGANISATION
TESTAUFWAND
TESTWERKZEUGE
TESTAUTOMATISIERUNG
ERHEBUNGSGRUNDLAGEN
REqUIREMENTS TRENDS & BENcHMARKS ScHWEIZ 2013
AGILE TRENDS & BENcHMARKS ScHWEIZ 2013
3
4
6
7
8
9
10
12
14
15
16
17
18
19
Neu führt Swissq die Studie zu den Trends & Benchmarks in Kooperation mit dem Institut für Technologiemanagement der Universität St.Gallen (HSG) durch. Die Zu-sammenarbeit zeigt auf, wie wichtig diese Themen für die heutigen Unternehmen geworden sind. Es freut uns, mit dieser Kooperation erneut eine Brücke zwischen der akademischen und unternehmerischen Welt schlagen zu können.
Der Report gliedert sich wie gehabt in 2 Teile: die SwissQ Trend Wave® und die Benchmarks.
Im ersten Teil wird aufgezeigt, wie sich einzelne Trends entwickeln. Dies auf Basis der Testing Trend Wave 2013. Die kondensierte Darstellung der wichtigsten Themen auf einer Seite erlaubt einen raschen Überblick. Dadurch lässt sich der Einfluss der Marktveränderungen auf das eigene Unternehmen abschätzen und es können, falls notwendig, geeignete Vorhaben initiiert werden. Eine einfache Massnahme um den Veränderungsdruck aufzuzeigen ist es, die Trends und Bench-marks intern bekannt zu machen.
Wie bereits in den letzten Jahren offeriert Swissq den Unternehmen die Gelegen-heit, die Trends & Benchmarks intern vor ihren Mitarbeitern zu präsentieren. Ziel-publikum sind vor allem die Tester community, Software Ingenieure, Projektleiter, Requirements Engineers und das Management. Die Präsentation ermöglicht, einen externen Blick auf die aktuellen Veränderungen zu bekommen, die Motivation und den Stellenwert des Testings zu steigern, sowie von Ideen für die konstante Wei-terentwicklung des Testings zu profitieren. Falls gewünscht, können die Ergebnisse aus dem Requirements Engineering und Agile Report auch miteinbezogen werden. Den zweiten und umfangreicheren Teil des Reports bilden die Benchmarks. Die Grafiken sind das Rückgrat des Reports und ermöglichen es, sich im Vergleich mit anderen Unternehmen zu positionieren. Der Vergleich mit den Vorjahren er-laubt es zudem zu sehen, in welche Richtung sich die Unternehmen entwickeln.
Unter „Projekte“ ist zum Beispiel ersichtlich, dass sich einerseits die Anzahl der Neuentwicklungen im Vergleich zum Vorjahr reduziert hat und es andererseits immer mehr Grossprojekte gibt. Es gibt also weniger, dafür aber grössere Neupro-jekte. Dies hat wohl damit zu tun, dass immer weniger Vorhaben auf der grünen Wiese starten. Entweder werden bestehende Lösungen erweitert oder dann kom-plett neu gebaut, was oft sehr teuer ist.
Bei den Vorgehen halten sich Wasserfall und agile Vorgehen die Waage, wobei vie-le Unternehmen auf mehr als ein Vorgehensmodell setzen. Im besten Fall gelingt es, die Vorzüge beider Modelle zu vereinen. In der Praxis tut man sich aber an den Übergängen und mit den unterschiedlichen Rollen und Zusammenarbeitsmodel-len schwer. Gerade auch die Tester müssen lernen, mit beiden Welten umzugehen bzw. umzudenken und die notwendige Flexibilität an den Tag zu legen. Hier muss sicherlich noch mehr Erfahrung gesammelt bzw. Ausbildung betrieben werden.
Die grösste Herausforderung im Testing bleiben die mangelhaften Anforderungen. Da ist es spannend zu sehen, dass zu den am häufigsten angewandten Techniken zur Testfallermittlung die anwendungsfall- und geschäftsprozessbasierten Vorge-hen gehören, welche beide sauber modellierte Anforderungen voraussetzen. Das drückt sich wiederum darin aus, dass von den Testaktivitäten die Testfallermittlung am schlechtesten abschneidet. Ein Grund, vermehrt agile Methoden in Betracht zu ziehen?
Bei den Testinvestitionen ist und bleibt der Fokus auf der Testautomatisierung und dem Auf- und Ausbau der Regressionstests. Dies deckt sich mit der anfangs erwähnten Tatsache, dass vor allem Erweiterungs- und Wartungsprojekte statt-finden, bei denen naturgemäss die Sicherstellung der bestehenden Funktionalität mittels Regressionstests einen hohen Stellenwert hat. Die Automatisierung wiede-rum ist ein zwingendes Instrument, um der wachsenden Regression Herr zu werden.
Wir hoffen, dass die vorliegenden Trends und Benchmarks Sie dazu inspirieren, neue Herausforderungen aktiv anzugehen und die aktuell besten Massnahmen in Ihrem Unternehmen zu ergreifen.
Seit 5 Jahren fühlt SwissQ den Puls der IT Community und veröffentlicht jährlich Zahlen und Fakten zum Stand des Software Testings in der Schweiz und gibt einen Ausblick auf die wichtigsten Trends der kommenden Zeit. Seit letztem Jahr werden die Testing Trends und Benchmarks ergänzt durch die beiden Themenbereiche Requirements Engineering und Agile. Diese erscheinen in separaten Reports. Die Datenbasis bildet einerseits die Online-Umfrage und andererseits persönliche Interviews mit IT-Entscheidungsträgern aus unterschiedlichen Firmen, Branchen und Regionen. Für die diesjährige Ausgabe konnten wir auf 580 ausgefüllte Fragebogen - ein neuer Rekord - und um die 25 Interviews zu-rückgreifen. An dieser Stelle ein herzliches Dankeschön an alle, die mit ihrem Input dazu beigetragen haben.
Testing Trends & Benchmarks Schweiz 2013 3eDItOrIal
INTRODUCTION GROWTH MATURITY DECLINE
TIME
PRIO
RITY
INTRODUcTION – Das Thema wurde erkannt und einige Unternehmen arbeiten an ersten Umsetzungen. Es ist allerdings nicht absehbar, ob sich dieser Trend positiv weiterentwickelt und das Testing tatsächlich erheblich beeinflussen wird.
GROWTH – Das Thema wird immer mehr anerkannt und viele Unterneh-men gehen darauf ein. Es entstehen die ersten Werkzeuge und Beratungs-firmen bieten Dienstleistungen dazu an. Mit der fehlenden Erfahrung bei der Umsetzung gehen oft diverse Risiken einher.
MATURITY – Die meisten Unterneh-men arbeiten an der Umsetzung oder haben diese bereits abgeschlossen. Das Wissen zu dem Thema ist oft sehr verbreitet, wobei häufig auch Unter-arten dazu entstehen.
DEcLINE – Das Thema wurde von den meisten Unternehmen, mit Ausnahme einzelner Nachzügler, bereits umgesetzt. Wissen in diesen Bereichen neu aufzubauen generiert oft keinen Nutzen mehr, da dieses in Kürze obsolet wird.
TRENDWAVE 2013 Testing Trends & Benchmarks Schweiz 2013 4
Agile Test Management
Session Based Testing / SET
ISTQB FL & AL Level
Outsourcing
ISO 9126
ALM Tools
Security & Penetration Testing
Model Based Testing
ISO 25010
Business Driven Test Automation
Waterfall / Scrum Hybrid
Agile Testing
Keyword Driven Test Automation
Exploratory Testing
Scrum (but)
App / Mobile Testing
Accessibility Testing
Load and Performance Testing
Embedded Testing
Die Technologien, welche den consumer-Markt in den letzten Jahren verändert haben – Smartphones und Tablets, SocialMedia und die cloud - finden vermehrt auch in der Unternehmenswelt Verwendung. Die Revolution von unten hat statt-gefunden, Endkunden wie Mitarbeiter kommen mit ihren eigenen Geräten und verlangen Funktionen und content auf diesen nutzen zu können. Doch auch die Usability Anforderungen an herkömmliche Anwendungen steigen rasant – was auf dem Handy geht, muss doch am Monitor erst recht möglich sein.
Steigende Komplexität der IT und Öffnung der Unternehmungen durch das Thema Mobile sind die Herausforderungen der modernen Organisationen. Diese rasante Entwicklung stellt nicht nur Business Analysten und Software Entwickler vor neue Herausforderungen. Gerade das Testing wird dadurch immer komplexer, aufwän-diger und vor allem schneller.
Kein Wunder also, werden rund die Hälfte der IT-Projekte in der Schweiz agil durchgeführt (davon grösstenteils mit Scrum). Viele Firmen haben diese Trends erkannt. Einige berücksichtigen sie bereits in ihren aktuellen Projekten und Pro-dukten, andere sammeln erste Erfahrungen und bauen langsam Wissen auf.
Folgerichtig liegt der primäre Fokus auf zwei Bereichen. Einer davon ist Agile Testing, denn die meisten der Befragten arbeiten inzwischen mindestens zum Teil mit agilen Vorgehensweisen. Doch die grundlegend andere Ausgangslage in Bezug auf Kultur, Zeitpunkt der Involvierung und Erwartungen, was Testing liefern muss, stellt viele Tester und ihre Organisationen vor erhebliche Probleme.
Der zweite Bereich ist das Requirements Engineering, der damit direkt eine der grössten Herausforderungen aufgreift: Die mangelhafte qualität von Anforderun-gen. Zufall oder Schicksal, die parallele Entwicklung dieser beiden Themen kann nur von Vorteil sein.
Haben wir letztes Jahr noch prophezeit, dass Mobile Testing für viele Organisatio-nen und Software-Tester auf dem Radar erscheinen würden, so sind sie für viele inzwischen Alltag. Die immer kürzeren Entwicklungs- und Releasezyklen können dabei nur mit Hilfe von Testautomation beherrscht werden. Ein Thema, das uns schon viele Jahre begleitet und oft immer noch nicht zufriedenstellend gelöst wurde.
Die Prognose für 2013? Manuelles Testen wird wieder an Bedeutung gewinnen. In Testautomatisierung wird weiter investiert, die Testabdeckung kann weiter erhöht werden. Auf der anderen Seite wird der Kostendruck weitere Effizienzstei-gerungen erzwingen und entsprechend leichtere Prozesse fordern. Testorganisatio-nen müssen sich dabei vermehrt integrieren und weniger auf Separation setzen.
Ziel der Trendwave ist es aufzuzeigen, welche Themen in nächster Zeit sowohl die Disziplin Testen beeinflussen werden, als auch die Personen und Organisationen, welche sich damit befassen. Sie hilft somit dem Leser, sich gezielt auf diese Veränderungen vorzubereiten und sie wo immer möglich aktiv mitzugestalten. Haben viele Aussagen unverändert Bestand, so sind doch einige Trends erkennbar, wie z.B. der wachsende Anteil an Testauto-mation oder die sinkende Beschäftigung externer Testressourcen.
TRENDWAVE 2013 Testing Trends & Benchmarks Schweiz 2013 5
4 5 6Die Reife des Requirement Enginee-ring Prozesses hat gegenüber dem Test weiterhin Nachholbedarf. Mangelhafte Anforderungen sind die grösste Herausforderung im Testing.
Von den Testaktivitäten wird die Testfallermittlung klar am schlechtesten bewertet. Strukturiert Testfälle herzuleiten, fällt vielen immer noch schwer.
Bei der Ausbildung wird weiterhin auf Zertifikate gesetzt. Der ISTqB Foundation Level und Advanced Level Test Manager waren und bleiben populär.
7 8 9In die Testautomatisierung und den Auf- und Ausbau der Regressionstests wird stetig investiert. Das Outsourcing ist für viele keine gangbare Lösung.
Der durchschnittliche Testaufwand im Verhältnis zum Gesamtprojekt-aufwand wurde über die Jahre konstant auf 16 - 20% geschätzt.
Bei den Tools für das Testmanage-ment und die Testautomatisierung zersplittert der Markt zusehends. Zudem kann man sich in den wenigsten Firmen auf ein Tool einigen.
2 31 Es gibt eine Verschiebung zu we-niger Neuentwicklungen und mehr Erweiterungen und Wartungs- projekten. Dafür steigt der Anteil der Mega-Projekte über 20 Mio. cHF stetig.
Neue, technologie- und prozess-getriebene Vorgehen, wie mobile Testing, agiles Testen oder Session Based Test Management, setzen sich immer mehr durch.
Wasserfall und agile Vorgehen halten sich die Waage, und werden oft in Kombination eingesetzt. Wasserfall / Scrum Hybrid Projekte sind auf dem Vormarsch, lösen aber viele Unsicherheiten aus.
KEY MESSAGES Testing Trends & Benchmarks Schweiz 2013 6
ProjekterfolgDie letzten drei Jahre haben Bewegung bezüglich des Projekterfolgs gezeigt. Zum einen haben inzwischen 4% der Unternehmen den Mut, Projekte zu stoppen, wenn der mangelnde Erfolg dies verlangt (2011 <1%). Auf der an-deren Seite konnten seit 2011 immerhin fast 50 % mehr Projekte in time und on budget beendet werden (von 23.7% auf 36.3%)!
ProjektartIm letzten Jahr betrug der Anteil der Neuentwicklung noch 39%. Es gab eine klare Verschiebung hin zu weniger Neuentwicklungen und mehr Erweiterungen und Wartungsprojekten.
PrOjekte
Erweiterung einer bestehenden Lösung
Neuentwicklung
Betrieb, Support, Wartung, Re-Design, ...
Migration
Einführung Standard-Software
Erfahrung der Mitarbeiter
Erfüllung des Auftrags/Ziele
Erfüllung von Regularien
Flexibilität
Prozesse
Business-/ Kundenfokus
Innovation
Standardisierung
qualität
Budget und Ressourcen
Effizienz
4Sehr gut
3Gut
2Zufriedenstellend
1Ungenügend
3.07
2.87
2.85
2.84
2.73
2.65
2.64
2.49
2.46
2.39
2.35
Testing Trends & Benchmarks Schweiz 2013 7
Projektgrösse (in CHF)
47%
25%
17%
6%5%
bis 1 Mio0%
20%
40%
über 20 Miobis 20 Mio
48.7%
38.3%
12.9%
Aufstellung der IT
Durchschnittliche Bewertung
Projekt im Rahmen, über
Budget und/oder Zeit
Projekt in Zeit, Budget,
Funktionalität beendet
Projekt verlängert/neu
geplant
Projekt mit grossen funkt. Änderungen
Projekt gestoppt
0%
20%
10%
40%
30%
23.7
%
37.2
%
23.7
%
35.1
%
25.1
%
17.5
%
20.8
%
36.3
%
27.1
%
14.7
% 18.1
%
11.6
%
0.6% 4.
1%
4.2%
2011 2012 2013
über 20 Mio
2011 2012 2013
15%
10%
5%
0%
5.2
%
10.8
% 12.9
%
vOrGehen
Angewandte VorgehensmodelleViele Unternehmen setzen auf mehr als ein Vorgehensmodell. Wasserfall hat erstaunlicherweise wieder zugelegt, was mit der gestiegenen Anzahl Grossprojekte zusammenhängen kann, wobei die Umsetzung in den ver-schiedenen Teams agil erfolgt.
Agil 49% (51%)
Iterativ 20% (22%)
RUP 10% (16%)
Hermes 10% (12%)
Wasserfall 53% (40%)
Gründe für agile MethodenBesserer Umgang mit sich stetig ändernden Prioritäten gilt als ein Hauptgrund für den Einsatz agiler Methoden, ebenso wie die Zusammenarbeit zwischen Business und IT und die Beschleunigung von Time-to-Market.
Beschleunigung Time-to-Market
Mit sich ändernden Prioritäten umgehen
Zusammenarbeit Business – IT verbessern
entwicklungsprozesse vereinfachen
Produktivität erhöhen
teammoral verbessernWartbarkeit erhöhen
kosten reduzieren
risiken minimieren
sichtbarkeit erhöhen
Testing Trends & Benchmarks Schweiz 2013 8
Scrum
Lean Development
Agile Hybrid (Mix aus verschiedenen Methoden)
( ) = Werte Umfrage 2012
Extreme Programming (XP)
Agile Unified Process (AgileUP)
Kanban
ScrumBan
Feature Driven Development (FDD)
0% 20% 40% 60% 80% 100%
12.1%
10.7%
6.4%
5.7%
3.6%
24.3%
29.3%
85.7%
Testing im Kontext von Agilität
aGIlItät Testing Trends & Benchmarks Schweiz 2013 9
Voll einverstanden Mehrheitlich einverstanden Nicht einverstanden Kann ich nicht beurteilen
31.7%glauben immer noch an grosse zentrale Vorgaben.
50%setzen auf Embedded Testing. Der Durchbruch ist geschafft, Testen ent-faltet immer mehr seinen Nutzen.
66.2%sehen immer noch die Existenzberechtigung der Rolle des Test Managers.
74.3%der Befragten setzen neben dem explorativen Testen weitere Testarten ein.
57.6%sehen keine Unsicherheit in Bezug auf Prozesse. Dies im Gegensatz zu den Aussagen der IT- Executives.
91.4%sehen weiterhin Bedarf an Testspezifikationen und Testfällen.
Die Abnahmetests erfolgen direkt im Sprint
Man hat jederzeit den Überblick, was gerade getestet wird
Jedes Team organisiert sich selbstständig und macht Testing ein bisschen anders
Die Unsicherheit der Tester ist grösser geworden, da die Prozesse unklar sind
Es braucht deutlich weniger Aufwand für das Testing
Es gibt keine formalen Vorgaben mehr bezüglich Dokumentation von Tests
Es werden keine Testspezifikationen / Testfälle mehr benötigt
Die Rolle Test Manager gibt es nicht mehr
Wir arbeiten ausschliesslich mit Akzeptanzkriterien
Wir testen nur explorativ
Wir wenden Embedded Testing an
0% 20% 40% 60% 80% 100%
17.1% 74.3%
91.4%
35.0% 50.7%
74.6%15.9%
9.3% 82.1%
21.6% 66.2%
25.2% 57.6%
13.6% 36.4% 15.0% 35.0%
14.4% 46.0% 31.7%
21.6% 51.8% 20.1%
21.6% 38.8% 32.4%
reIFe
Ansehen des Testens ReifegradBeurteilen beim Testing etwas über einem Drittel die Reife als schwach oder mittelmässig, sind es beim RE fast die Hälfte der Befragten.
Ausg
ezei
chne
t
Sehr
gutGut
Mittelm
ässig
Schw
ach
0%
20%
10%
40%
30%
Test
RE
Testing Trends & Benchmarks Schweiz 2013 10
Es ist für den Erfolg der Organisation strategisch
Es ist ein wichtiger Faktor, um verlässliche Software zu produzieren
Es ist ein notwendiges Übel
Es hat tiefe Priorität
Die Kosten für Tests könnten wir uns sparen
0% 10% 20% 30% 40% 50%
19%
51%
8%
2%
20%
Die grössten HerausforderungenDie „zu späte Lieferung der Software“ wurde neu aufgenommen und hat sich prompt zum Renner entwickelt, der allen anderen ein paar Prozentpunkte streitig gemacht hat.
( ) = Werte Umfrage 2012
Testum- gebung
Auto- matisierung
Zu späte Lieferung der SW
Zu wenig Budget /
Ressourcen
Tester zu spät
involviert
Anforde-rungen
mangelhaft
50%(63%)
30%(38%)
29%(30%)
26%(NEU)
22%(33%)
21%(30%)
19%(24%)
Testdaten
reIFe
Anwendung der TesttechnikenDie grundlegenden Black Box-Techniken kommen nur sporadisch zum Einsatz. Am verbreitetsten sind noch die Äquivalenzklassen- und Grenzwertanalyse.
Zufriedenheit mit TestaktivitätenDie Aktivitäten Testmanagement und Testdurchführung schneiden am besten ab. Das klare Schlusslicht bildet die Testfallermittlung.
Testing Trends & Benchmarks Schweiz 2013 11
100%
80%
60%
40%
20%
0%
56%
32%
12%
46%
39%
15%
38%
44%
18%
56%
35%
9%
44%
38%
18%
Testm
anag
emen
t
Testp
lanun
g
Testf
allerm
ittlu
ng
Testd
urch
führ
ung
Testa
uswer
tung
38%sind zufrieden mit der Testfallermittlung. Dies deckt sich mit den Erfahrungen bei Swissq Test Assessments. Strukturiert Testfälle herzuleiten fällt vielen schwer.
Nur
Zufrieden Mittelmässig Unzufrieden
Anwendungsfallbasiert
Risikobasiert
Exploratives Testen
Geschäftsprozessbasiert
Äquivalenzklassenanalyse
Grenzwertanalyse
Fehlerbasiert
checklistenbasiert
Entscheidungstabellen
Zustandsbasiert
Klassifikationsbaumverfahren
0% 10% 20% 30% 40% 50% 60%
56.8%
42.0%
41.6%
40.1%
23.7%
21.8%
18.3%
11.7%
10.4%
7.6%
1.9%
Anwendungsfälle und Geschäftspro-zesse bilden eine ideale Basis für die
Definition von Testfällen. Die Techniken sind entsprechend verbreitet.
40.1%wenden exploratives Testen an. Wobei der Begriff oft mit Adhoc Testing gleichgesetzt wird.
OrGanIsatIOn
AusbildungNach wie vor ist der ISTqB Foundation Level das meistverbreitete Zertifikat. Dahinter liefern sich Zertifikate aus den Disziplinen Test, ITIL, RE und Projekt Management ein Kopf-an-Kopf-Rennen. Agile holt derzeit mit dem certified Scrum Master auf.
Wer führt Testaktivitäten durch?
Testing Trends & Benchmarks Schweiz 2013 12
Unit Tests
84% Entwickler
52% IT Tester
54% IT Tester
48% Fachbereich Endbenutzer
54% IT Tester
Entwickler IT Tester RE / BA NiemandFachbereich Endbenutzer
Systemtests
Abnahmetests
Testautomatisierung
Last & Performance Tests
Hab ich schon Ist geplant Mal in ferner Zukunft
0% 20% 40% 60% 80% 100%
ISTqB Foundation Level
ISTqB Advanced Level Test Manager
IREB® cert. Professional for Requirements Engineering
certified Scrum Master
ISTqB Advanced Level Technical Test Analyst
Agile Testing
ISTqB Expert Level
Projektmanagement (IPMA, PMI, ...)
ISTqB Advanced Level Test Analyst
qualitätsmanagement (dipl. quality Manager, ...)
certified Product Owner
Agiles Requirements Engineering
ITIL
OrGanIsatIOn
InvestitionenDer Fokus ist und bleibt auf der Testautomatisierung und dem Auf- und Ausbau der Regressionstests. Am anderen Ende der Skala finden sich wie gehabt die Auslagerung von Testaktivitäten und die Anstellung neuer Testmitarbeiter.
Einsatz externer Ressourcen
Testing Trends & Benchmarks Schweiz 2013 13
Insgesamt nehmen 58.9% externe Unterstützung in Anspruch. Der Anteil des Outsourcing hat sich gegenüber 2012 von 5.9% auf 8.8% leicht erhöht, ist aber immer noch relativ klein.
41.1%
58.9%
Die Unterstützung der Testaktivitäten durch externe Ressourcen hat sich gegenüber dem letzten Jahr verringert. So beziehen nun 41.1% statt 33.8% keine externen Ressourcen mehr.
Investitionen nehmen ab
Investitionen nehmen zu
Testautomatisierung
Auf- und Ausbau Regressionstests
Testdaten-Management
Testumgebungen
Aus-/ Weiterbildung Mitarbeiter
Testmanagement-Tools
Testprozesse / Methoden
Anstellung neuer Test-Mitarbeiter
Auslagerung von Testaktivitäten
Keine externen Ressourcen
Bezug externer Ressourcen (Insourcing)
Bezug als Dienstleistung (Managed Service)
Auslagerung an externe Ressourcen (Outsourcing)
41.1%11.9%
38.2%
8.8%
testaUFWanD Testing Trends & Benchmarks Schweiz 2013 14
Testaufwand im Verhältnis zum Gesamtaufwand
Testaufwand im Verhältnis zum Entwicklungsaufwand
Auf den ersten Blick scheint sich der Testaufwand von Jahr zu
Jahr stark zu verändern. Analysiert man die Zahlen
genauer, stellt man jedoch fest, dass der durchschnittliche Testaufwand im Verhältnis zum
Gesamtprojektaufwand konstant auf 16 – 20% geschätzt wurde.
Ähnlich wie beim Gesamtauf-wand hat es beim Testaufwand im Verhältnis zum Entwicklungs-aufwand über die Jahre hinweg Verschiebungen gegeben. Trotzdem ist auch hier der Durchschnitt stabil bei 21 - 30% geblieben.
2011 2012 2013
< 5% 5 – 10% 11 – 15% 16 – 20% 21 – 30% 31 – 50% darüber0%
20%
10%
30%
16 – 20%
Gesamt-aufwand
21 – 30%
Entwicklungs-aufwand
12.5
%
19.4
%
20.1
% 23.5
%
14.4
%
8.2
%
1.9%
2011 2012 2013
< 5% 5 – 10% 11 – 15% 16 – 20% 21 – 30% 31 – 50% darüber0%
20%
10%
30%
6.9% 9.
7%
16.9
%
21.3
%
20.7
%
20.4
%
4.1%
testWerkzeUGe
Testautomatisierungs-ToolsInsgesamt bleibt der Markt stark fragmentiert. Es wurden fast 30 verschie-dene Tools genannt.
Testmanagement-ToolsHP qc /ALM beherrscht weiterhin den Markt. Tricentis Tosca hat sich aber zu einer ernstzunehmenden Konkurrenz entwickelt. Dahinter ist der Markt angesichts der stetig wachsenden Zahl von Alternativen zersplittert. Weiterhin kommen oft mehrere Tools zum Einsatz (namentlich die MS Office Palette).
Testing Trends & Benchmarks Schweiz 2013 15
0% 20%
3%
1%
2%
3%
3%
4%
6%
7%
20%
38%
52%
9%
14%
40%
HP qc / ALM
MS Office
Tricentis Tosca
Eigene Entwicklung
MS TFS Test Manager
Polarion qA / ALM
Bugzilla Testopia
IBM Rational quality Manager
Inflectra Spira
TestLink
SmartBear qAcomplete
Silkcentral Test Manager
keines
0% 10% 20%
34.5%
27.2%
24.1%
15.3%
8.8%
18.0%
5.0%
4.2%
4.2%
4.2%
3.4%
2.3%
30%
HP quick Test Professional (qTP)
Eigenentwicklung
Tricentis Tosca
xUnit (z.B. jUnit, TestNG, ...)
Selenium (Rc/WebDriver)
MS TFS / Visualstudio
qF Test
Ranorex
FitNesse
Lisa
canoo Webtest
Andere
IBM Rational Functional Tester (RFT)
0% 20% 40%
2012 2013
HP quick Test Professional (qTP)
Eigenentwicklung
Selenium (Rc/WebDriver)
Tricentis Tosca
26.8%
0% 20% 40% 60%
2012 2013
HP qc / ALM
MS Office
Tricentis Tosca
MS TFS Test Manager
Eigene Entwicklung
testaUtOMatIsIerUnG
KosteneinsparungenInsgesamt wird das Potential für Einsparungen durch Automatisierung höher eingeschätzt als im Vorjahr. Wie schon im Vorjahr hat ein beachtlicher Teil der Teilnehmenden gesagt, dass keine Aussage möglich ist.
Testautomatisierung pro Teststufe
Testing Trends & Benchmarks Schweiz 2013 16
Automatisierte Tests auf Stufe Systemtest
82%der Befragten haben automatisierte Tests auf einer oder mehreren Stufen.
% der Testfälle automatisiert
0 – 10% 11 – 20% 21 – 50% 51 – 80% > 80%0%
60%
40%
20%
2011 2012 2013
7.3%
0%
10%
20%
30%
40%
23.7
%
21.8
%
10.2
%
16.1
%
33.3
%
24.9
%
10.7
%
2.8%
22.6
%
19.5
%Kosten
gestiegen
6.9%
Keine Aussage möglich
bis 10% bis 50%bis 20% bis 80%
2012 2013Unit Tests Systemtests Abnahmetests
% der Testfälle automatisiert
0% 1 – 10% 21 – 50%11 – 20% 51 – 80% über 80%
14.2%
21.5%
8.8%
22.2%
34.5%
22.2%
14.9%
13.8%
8.8%
12.3%
22.2%
9.2%
0%
20%
40%
60%
80%
13.8%
5.4%12.6%
6.1%
12.6%
44.8%
erheBUnGsGrUnDlaGen
AufgabenbereichViele Teilnehmende umschreiben ihre Tätigkeit mit mehr als einer Rolle. Das Spektrum der zu erfüllenden Aufgabenbereiche ist insgesamt sehr breit gefächert.
WirtschaftssektorWenig überraschend ist, dass der Anteil an Finanzen und Versicherungen stetig sinkt. Von 35% im 2011 über 28.4% im 2012 zu 24.8% im 2013. Zeitgleich stieg der Anteil staatlicher Betriebe von 6.5% auf inzwischen 9%.
Testing Trends & Benchmarks Schweiz 2013 17
0%
2001–...
501–2000
251–500
51–250
11–50
1–10
5% 10% 15% 20% 25% 30% 35%
29.0%
14.9%
13.7%
23.8%
13.7%
5.0%
0%
IT
Finanzen, Versicherungen
Staatliche und staatsnahe Betriebe
Industrie
Transport und Verkehr
Telekom
MedTech
Andere
10% 20% 30% 40%
24.8%
37.7%
9.0%
8.7%
5.9%
4.2%
2.4%
7.3%
IT-MitarbeitendeÜber die Hälfte der Befragten arbeitet in Firmen mit mehr als 250 IT-Mitarbeitenden.
Test Manager
Test Engineer / Test Analyst / Tester
Berater / consultant
Projektleiter
Teamleiter
Abteilungsleiter / Bereichsleiter
Requirements Engineer
Business Analyst
quality Manager / qS-Verantwortlicher
Softwareentwickler / Developer
SW Engineer in Test / Testautomatisierer
c-Level (cEO / cIO / ...)
Scrum Master
Product Owner
0% 10% 20% 30% 40%
35.5%
27.8%
18.6%
18.3%
17.8%
13.5%
14.0%
12.6%
12.0%
5.2%
5.7%
6.0%
6.6%
7.4%
RequiRemenTS TRendS & BenCHmaRkS SCHweiz 2013
Möchten Sie mehr wissen? Sie erhalten den detaillierten Report mit weiteren Analysen über Requirements Engineering über www.SwissQ.it.
Requirements Trends & Benchmarks Schweiz 2013Viele weitere Zahlen und Details sind im Requirements Trends & Benchmark Report 2013 zu finden.
Testing Trends & Benchmarks Schweiz 2013 18
RE-Aufwand im Verhältnis zum Gesamtaufwand
< 5%
0%
10%
20%
10-15% 15-20% 20-30% 30-50% darüber5-10%
24.7%22.6%
20.4%
RE Aufwand im Verhältnis zum Gesamtaufwand
10.8%
18.3%
2.73%
0.5%
Zufriedenheit
Zufrieden Mittelmässig Unzufrieden
Erheben von Anforderungen
Analysieren von Anforderungen
Verwalten von Anforderungen
Dokumentieren von Anforderungen
Prüfen von Anforderungen
0% 20% 40% 60% 80% 100%
40.5%28.2%
42.1%44.1% 13.8%
33.3%48.7% 17.9%
44.1%35.9% 20.0%
41.0%36.4% 22.6%
31.3%
Möchten Sie mehr wissen? Sie erhalten den detaillierten Report mit weiteren Analysen über agile Trends über www.SwissQ.it.
Agile Trends & Benchmarks Schweiz 2013Viele weitere Zahlen und Details sind im Agile Trends & Benchmark Report 2013 zu finden.
agile TRendS & BenCHmaRkS SCHweiz 2013 Testing Trends & Benchmarks Schweiz 2013 19
Management Practices
Sprint Review / Product Demo
Definition of Done
Planning Poker
Daily Standup
Release Planning
Velocity chart
co-Location
Backlog Management
Retrospektiven
Dedicated Product Owner
On-Site customer
Burndown chart
Taskboard
Definition of Ready
Work in Progress (WiP) Limits
78.6%
75.7%
73.6%
64.3%
62.1%
61.4%
60.0%
50.0%
42.1%
41.4%
28.6%
17.9%
16.4%
9.3%
7.1%
0% 20% 40%
Verwendete Tools im agilen Umfeld
MS Office (Word, Excel)
MS Team Foundation Server
IBM Rational Team concert
Version One
Andere
Atlassian JIRA / Greenhopper
Bugzilla
Scrumy
Inflectra SpiraDevelopment
HP qc / ALM
Eigene Entwicklung
Rally Software Development
52.9%
47.1%
37.9%
20.0%
10.7%
8.6%
6.4%
4.3%
2.1%
3.6%
1.4%
14.3%
0% 20% 40% 60%
ÜBer Uns
Swissq unterstützt ihre Kunden in den Themen Requirements, Testing und Agilität. Wir stellen dabei sicher, dass die richtige Funktionalität schnell und richtig geliefert wird. Dies durch das Bereitstellen von Expertise, Ressourcen, Assessments, Methoden und Trainings.
Unsere Vision ist es, die Wertsteigerung in der IT durch perfektes Requirements Engineering, professionelles Software Testing und den bewussten Einsatz von agilen Methoden zu verbessern. Nebst der Erbringung von hochqualitativen Services, verfolgen wir diese Vision durch die Schaffung von unabhängigen Plattformen wie dem Swiss Testing Day und dem Swiss Requirements Day, die den Wissens- und Erfahrungsaustausch ermöglichen. Ausserdem helfen wir hellen Köpfen, ihr Wissen durch unsere Schulungen zu erweitern.
© by swissQ consulting aG | stadthaus-Quai 15 | ch-8001 zürichwww.swissQ.it | info@swissQ.it | tel +41 43 288 88 40 | Fax +41 43 288 88 39
twitter: @swissQ | Facebook: swissqconsulting
top related