Zur Bewertung der eingereichten Projekte werden wir ein schon bewährtes Verfahren - das "Qualitative Weight and Sum" - anwenden. Falls Sie mit diesem Verfahren noch nicht vertraut sind oder sich näher informieren wollen, schlagen wir Ihnen hier beispielhafte Literatur vor.

Bewertungsmethoden
Literaturvorschläge

Numerical Weight and Sum

Das NWS-Verfahren ist infolge einer Reihe von Vorteilen (leicht verständlich, einfach durchzuführen, immer aufschlussreich, ergibt manchmal auch valide Ergebnisse) sehr beliebt. Obwohl es immer einen ersten Aufschluss bzw. Einblick bietet und daher im Rahmen einer weiterführenden Evaluation durchaus brauchbar ist, hat es schwerwiegende intrinsische methodische Mängel. Die entscheidende Kritik am NWS-Verfahren besteht darin, dass die Anzahl der Kriterien nicht voraussehbar ist. Sie kann von etwa einem Dutzend bis zu einigen hundert Kriterien reichen. Damit werden aber entweder wichtige Dimensionen durch eine Vielzahl von Trivialitäten überschwemmt oder aber weniger wichtige Faktoren wirken sich auf das Gesamtergebnis zu stark aus. Das Festlegen einer fixen Punkteanzahl, die nicht überschritten werden darf, reduziert zwar das Problem, kann es aber nicht gänzlich lösen: Was sind die relevanten Kriterien und welche Gewichtung kommt ihnen jeweils zu?

Besonders fatal beim NWS-Verfahren ist es, dass die Gewichtungsprozedur keine Spuren hinterlässt. Da sich als Ergebnis bloß eine einzige Zahl pro Evaluand ergibt sind nachträglich keine inhaltlichen Fehlerkorrekturen mehr möglich. Es lassen sich außerdem keine weiteren Schlüsse aus der Evaluation ableiten: So kann es dazu kommen, dass ein Evaluand zwar in vielen Einzelbereichen überdurchschnittliche Ergebnisse erzielt hat, allerdings einer speziellen Anforderung nicht genügt und daher in bestimmten Situationen eine untaugliche Wahl darstellt, obwohl er die höchste Punktzahl erhalten hat.

Qualitative Weight and Sum

Transparenter und frei von den gerade beschriebenen Mängeln ist das QWS-Verfahren. Ein Nachteil mag darin gesehen werden, dass QWS wegen seiner höheren Komplexität eine längere Einarbeitungszeit erfordert und dass kein endgültiger Entscheidungsalgorithmus existiert.

Da einerseits die höhere Komplexität jedoch die gewünschte qualitative Bewertung erst ermöglicht und andererseits die Entscheidungsfindung intellektuell nachvollziehbar ist, wird QWS dem NWS vorgezogen. Sollte das Ranking der Evaluanden nach der Bewertung durch die Gutachter/innen nicht eindeutig sein, so wird die Situation durch Einschaltung des wissenschaftlichen Beirats geklärt.

Das QWS-Verfahren wird in drei Schritten angewendet: 

1. Erstellung der Kriterienliste
2. Gewichtung der Kriterien
3. Begutachtung / Ranking der Evaluanden