FIT für Usability

Karl-Theodor zu Guttenberg hat sich in seiner Dissertation fremder Textpassagen ohne Angabe der verwendeten Quellen bedient. Die Folgen: Rücktritt und Verlust des Doktortitels. Hatte Herr zu Guttenberg nur großes Pech, entdeckt zu werden oder ist die Aufdeckung von Plagiaten ein Leichtes?
Heutzutage gibt es dafür spezielle Softwareprogramme, die „Abgeschriebenes“ automatisch aufdecken. Sind die nächsten Skandale also nur einen „Start-Button“ entfernt oder ist das Aufspüren ungenannter Quellen doch nicht so effektiv und einfach wie die Plagiat-Jäger es sich wünschen?
Eine Usability-Studie der Berliner Hochschule für Technik und Wissenschaft (HTW) gibt darüber Aufschluss.

Die sogenannte Plagiatserkennungssoftware vergleicht entweder online oder offline einen eingegebenen, vermeintlichen Plagiatstext mit den im Internet publizierten Dokumenten und / oder mit Texten, die in internen Datenbanken gespeichert sind. Werden Textpassagen als Plagiat erkannt, bekommt man einen Bericht zugeschickt oder einfach nur eine Liste mit Links potentieller Plagiatsquellen präsentiert.
Die Plagiatsexpertin Prof. Dr. Debora Weber-Wulff führt seit Jahren Studien zur Effektivität der Plagiatserkennungssoftware durch und spricht, bezogen auf die letzte Studie, von „ernüchternden“ Ergebnissen.

Der Test

Im Jahre 2010 hat Prof. Weber-Wulff mit ihrer Mitarbeiterin Katrin Köhler 26 Plagiaterkennungssysteme unter die Lupe genommen. Zur Prüfung der Software kamen 42 Aufsätze in den Sprachen Deutsch, Englisch, Japanisch zum Einsatz.
Die Untersuchung zielte darauf ab, die Frage zu beantworten, ob sich der Einsatz dieser Systeme im Hochschulbereich lohnt. Dazu wurden folgende drei Bereiche genauer beleuchtet:

1. Effektivität: Wie viel Prozent der plagiierten Texte werden erkannt?
2. Benutzerfreundlichkeit: Wie sind z.B. Design, sprachliche Konsistenz und Professionalität, Navigation und Charakter der Beschriftungen, Qualität des angebotenen Supports einzuschätzen?
3. Professionalität des dahinterstehenden Unternehmens: Ist die Domain auf den Namen des Unternehmens registriert und nicht über einen Zwischenhändler? Wie ist die telefonische Erreichbarkeit?

Die Ergebnisse

Die besten Programme erkennen maximal 60-70 Prozent der Plagiate! Eins der effektivsten Programme ist PlagAware. Mit 83 Prozent erreichte PlagScan bei der Benutzerfreundlichkeit die besten Resultate. Und das Unternehmen, das hinter der Software Plagiarism-Finder steht wurde mit 100 prozentiger Professionalität ausgezeichnet.
Prof. Weber-Wulff fasste die getesteten Systeme in drei Kategorien zusammen. Fünf Programme wurden als „teilweise nützlich“, neun als „kaum brauchbar“ und ganze zwölf als „nutzlos“ eingestuft.

Die „Gewinner“ sind …
1. PlagAware
2. Turnitin
3. Ephorus
4. Plagscan
5. Urkunds

Schlusslichter der Jagd sind u.a. …
PlagiarismSearch
Grammarly
PercentDupe
PlagiarismChecker
Article Checker

Die Plagiaterkennungssoftware kann zwar exakte Textkopien erkennen, jedoch keine bearbeiteten Textteile oder aus einer anderen Sprache übersetzten Passagen identifizieren. Zudem wird lediglich eine stichprobenartige Überprüfung der Dokumente durchgeführt, da die Suche sonst zu zeitaufwändig wäre. Welcher Textteil geprüft wurde, wird nicht angegeben. Einige Programme erkennen ordnungsgemäße Zitate als Plagiate oder übersehen klare Plagiate. Zyniker könnten einen Vergleich herstellen zwischen Überraschungseiern und Plagiaterkennungsprogrammen. In beiden Fällen ist „Spannung, Spiel und Überraschung“ garantiert.

Erstaunliches, Kurioses und Bemerkenswertes ist im Bereich der „nutzlosen“ Systeme zu vermelden. Manch installierte Software schafft es, Windows so zu irritieren, dass es abstürzt. Ein Unternehmen bietet sogar auf seiner Webseite neben der Plagiatserkennungssoftware den fragwürdigen Dienst des Ghostwriting an. Sie geben das Thema vor und gegen eine entsprechende Bezahlung bekommen Sie Ihre Dissertation frei Haus geliefert. Weitere geschäftstüchtige Unternehmen behalten Kopien der getesteten Aufsätze und nutzen diese für „Werbezwecke“. Die Plagiatsexpertin bezeichnet solche Software treffend als „Erntemaschine für eine Hausaufgabenbörse“.

Das Fazit

Möchten Sie sich also auch auf die Jagd nach fremden Federn begeben und viele positive Resultate erzielen, dann nutzen Sie am besten mehrere Systeme gleichzeitig.

Prof. Weber-Wulff kann keine einzige Software aufgrund der mangelnden Effektivität und der individuell bestehenden Probleme empfehlen. Als oftmals schneller und effektiver beschreibt sie die Suche mit Google. Deshalb rät sie vom allgemeinen Gebrauch dieser Software an Hochschulen ab. Besteht jedoch ein begründeter Plagiatsverdacht und würde es länger dauern eine Suchmaschine zu befragen, dann könnten „teilweise nützliche“ Systeme eingesetzt werden.
Ansonsten empfiehlt sie, drei bis fünf längere Worte aus einem Text in eine Suchmaschine einzugeben, um so Quellen ausfindig zu machen, die online verfügbar sind.

Wie erfolgreich die Plagiaterkennungssoftware bei der Jagd nach der nächsten Plagiatsaffäre ist, wird sich in Zukunft noch zeigen. Die Fülle der Plagiate, die in der Dissertation des Ex-Ministers zu Guttenberg entdeckt wurden ist primär auf akribische „Handarbeit“ zurückzuführen. Diese Ergebnisse hätte der alleinige Einsatz von Plagiaterkennungssoftware nicht liefern können.

Da der Fokus vor allem im Hochschulbereich gerade sehr stark darauf gerichtet ist, Plagiate ausfindig zu machen, ist der Bedarf an guter Software groß, was die jeweiligen Hersteller sicherlich anspornt, die Qualität der Software zu optimieren.

Quelle: Prof. Weber-Wulff: Softwaretest 2010