Instrumenten-Evaluierung. Wie lässt sich ein Instrument in einem Projekt der Entwicklungszusammenarbeit evaluieren?


1. Worum geht es?

In der EZ werden üblicherweise Projekte oder Programme hinsichtlich einer Reihe von Kriterien wie Effektivität, Effizienz, Nachhaltigkeit evaluiert. Der Hauptzweck ist dabei aus den gemachten Erfahrungen zu lernen und zukünftig wirksamere Projekte auszuwählen oder sie wirksamer zu machen. Bei einer Instrumenten-Evaluierung wird nicht das Gesamtprojekt hinsichtlich der Kriterien geprüft, sondern das eingesetzte Mittel oder Instrument. Hierbei taucht die Schwierigkeit auf, das Instrument hinsichtlich seiner Eigenschaften und Wirkungen zu isolieren und hinsichtlich seiner besonderer Eigenschaften und seiner Wirkungen zu betrachten. Für diese Aufgabe sind die gängigen Methoden der Evaluierung nicht sinnvoll, sondern müssen modifiziert werden.

Ein Instrument tritt nicht allein auf, sondern nur in Verbindung mit einem Projekt oder einem Vorhaben. Wenn etwa die Wirksamkeit des Projekts „HIV-Programm mit eL/BL“ evaluiert wird - was wird dann eigentlich untersucht? Das Projekt insgesamt oder das Instrument „Blended Learning“? Man untersucht also immer beides.

Es kommt immer auf den Zweck und die Rahmenbedingungen an. Ich kann nicht prüfen, ob ein Hammer, ein Pflug, eine Bildungsmethode als solches effektiv, effizient, etc. ist. Ein Hammer ist gut, um einen Nagel in die Wand zu schlagen, aber zum Kochen völlig ungeeignet. Die Kriterien Effizienz und Effektivität sind somit nur zweckbezogen zu ermitteln. Man kann also nicht sagen, ob ein Pflug, ein Hammer, ein Bildungskonzept als solches effektiv oder effizient, etc. ist. Die Evaluierung eines Instruments umfasst also die beiden Faktoren:

a) für welche Zwecke das Instrument geeignet ist

b) unter welchen Bedingungen es gut oder weniger gut funktioniert


2. Kriterien. Woran misst sich die Eignung eines Instruments?

Die wichtigen Kriterien zur Messung der Eignung sowohl eines Projekts als auch eines Instruments sind Relevanz, Effektivität und Effizienz.
Die Frage der Relevanz stellt sich bei einem Instrument in anderer Weise als für die Zielsetzung eines Projektes. Beim Ziel geht es um das „Tun wir das Richtige“, also beispielsweise darum, ob Bildung in HIV/AIDS oder landwirtschaftliche Entwicklung für ein Land und die Menschen wichtig ist.
Bei der Bewertung eines Mittels (Instruments) geht es darum, ob es geeignet ist, um das angestrebte Ziel zu erreichen. Eine Feile eignet sich zur Metallbearbeitung, aber weniger gut zum Einschlagen eines Nagels. Ein Instrument ist für verschiedene Zwecke oder Maßnahmenziele unterschiedlich gut geeignet. Es kann also sein, dass für HIV-Bekämpfung andere Instrumente wirksamer / unwirksamer als eL/BL sind; und es kann sein, dass eL/BL für andere Zwecke wirksamer / unwirksamer ist als für HIV.
 

Es gibt zwei Dinge, auf denen das Wohlgelingen in allen Verhältnissen beruht. Das eine ist, dass Zweck und Ziel der Tätigkeit richtig bestimmt sind. Das andere aber besteht darin, die zu diesem Endziel führenden Handlungen zu finden. (Aristoteles)

3. Ein Instrument lässt sich nur im Vergleich mit einem anderen Instrument evaluieren

Im Prinzip ist es einfach, die Wirtschaftlichkeit eines oder mehrerer Projekt zu messen. Durch ihren Vergleich ließe sich dann sehr einfach das effizientes und somit wirtschaftlichste Projekt bestimmen. In gleiche Weise ließen sich auch Instrumente miteinander vergleichen: Man stellt den jeweiligen Aufwand ins Verhältnis zum erzielten Output. Das Instrument, das das beste Ergebnis erbringt, wäre damit auch das Geeignetste. Das Problem jedoch besteht darin, dass der Output häufig nicht quantifizierbar ist.
Projekte der Entwicklungszusammenarbeit sind in der Regel nicht kommerzieller Art, sondern erfüllen staatliche Aufgaben. Die Ergebnisse solcher Maßnahmen lassen sich nicht monetär bestimmen. Das gilt etwa für den Straßenbau, den Bau und Betrieb einer Schule oder ein Beratungsprojekt für Kleinbauern in den Tropen. Für HIV-AIDS Programm lässt sich zwar die Effektivität qualitativ bestimmen, d.h. beschreiben, aber nicht quantifizieren oder gar monetär bestimmen.
Eine Gegenüberstellung der Inputs in Form von Finanzmitteln und der Outputs in Form von Geld ist damit nicht möglich. Man hat deshalb die Methode der Kosten-Nutzen-Analyse entwickelt, das hier Abhilfe schaffen soll. Ganz gelingt das trotz aller ausgefeilter Methodik nicht. Was bleibt: Ein Instrument muss hinsichtlich seiner Wirkungen mit einem anderen Instrument verglichen werden. Diese Wirkungen lassen sich beschreiben, teilweise auch (nicht-monetär) mit geeigneten Indikatoren messen. Aber immer ist der Vergleich notwendig. Man kann ein Instrument nicht für sich allein bewerten.

Selbst bei Quantifizierbarkeit, lässt sich ein Instrument nicht für sich allein evaluieren

Selbst wenn wir davon ausgehen, Input und Output eines Projektes ließen sich quantifizieren und monetär erfassen, sagt dies letztlich noch wenig über die Effizienz und die Effektivität eines Instruments aus.
Übersteigt bei einem Projekt der Output den Input ist das sicherlich erfreulich und kann als erster Hinweis auf eine Eignung des Instruments hinweisen. Doch zwingend ist diese Schlussfolgerung nicht. Denn möglicherweise stand für das angestrebte Ziel ein anderes Instrument zur Verfügung, das nicht genutzt wurde, das höhere Erträge erbracht hätte. Ist das Ergebnis negativ, also wenn der aufgewandte Input den erzielten Output übersteigt, spricht das vielleicht gegen die Wirtschaftlichkeit des Projekts, aber nicht zwingend gegen das Instrument. Vielleicht wäre es in einem Projekt mit anderen Zielsetzung und unter anderen Bedingungen von höherer Wirkung gewesen.
Ergebnis: Selbst wenn quantitative oder gar monetäre Werte vorliegen, kann zwar die Effektivität und die Effizienz des Vorhaben ermittelt werden, es lässt sich aber nicht sagen, ob ein Instrument nun wirklich das Geeignetste war. Selbst wenn Input und Output quantifizierbar sind, lässt sich eine Instrument nicht für sich evaluieren. Wenn Input und Output monetär messbar sind, ist die Ermittlung der Effizienz möglich – aber muss vergleichen – denn es könnte ja ein Instrument geben, das unter den gegebenen Bedingungen bessere Wirkungen erbracht, eine höhere Effizienz gezeigt hätte.

Beispiel: Landwirtschaftsprojekt

Die Eignung des Instruments „Traktor“ bei einem landwirtschaftlichen Entwicklungsprojekt soll evaluiert werden. Der Traktor wird für die landwirtschaftliche Bewirtschaftung eingesetzt. Dazu werden noch andere Einsatzmittel wie Saatgut, Dünger etc. benötigt. Zusammen bilden sie den Input. Output ist der Ernteertrag. Der Vorteil für die Evaluierung ist hier, dass Input und Output monetär gemessen werden können. Doch selbst wenn der Wert des Outputs den Wert des Inputs übersteigen sollte, ist das kein Indikator dafür, dass der Traktor das geeignetste Instrument für diesen Zweck war. Es müsste der Nachweis erbracht werden, dass andere zur Verfügung stehende Instrumente (z.B. Pflug, Ochsenanspannung, Hacken) schlechtere Ergebnisse erbracht hätten.


4. Es kommt auf die Bedingungen an

Wir haben eine gegebene Aufgabe, und fragen, welches Instrument aus einer Reihe von zur Verfügung stehen Instrumenten die geeignetste ist. Beispiel: Wir wollen einen Nagel in die Wand schlagen und fragen, welches Werkzeug dafür am geeignetsten ist. Wir wollen HIV-Wissen vermitteln um letztlich die Infektionsrate zu senken. Als Instrumente zur Vermittlung von HIV/AIDS-Wissen und –fähigkeiten stehen zur Verfügung:

  1. Konventioneller Unterricht oder Trainingskurs
  2. eLearning
  3. Blended Learning (also beides in Kombination)

Man kann zwei Instrumente vergleichen unter der Annahme

Bei diesem Vergleich wird vorausgesetzt, dass bei der Anwendung des Instruments jeweils die gleiche Kompetenz besteht. Denn es wäre unzulässig, bei einem Vergleich von Traktor und Ochsengespann für die Landwirtschaft im einen Fall einen schlechten Traktorfahrer und im anderen Fall mit einem guten Ochsenfuhrmann zu vergleichen.

Im Folgenden gehen wir also davon aus, dass für ein bestimmtes entwicklungspolitisches Maßnahmenziel das Instrument A gewählt wurde, und nun im Rahmen einer Evaluierung gefragt wird, wie geeignet es für dafür war. Dazu wird es mit dem (hypothetischen oder bekannten) Einsatz des Instruments B verglichen.

Folgende Konstellationen denkbar:

  Bedingungen Wirkungen (Output / Outcome. Effektivität, Effizienz, etc.)
1 identisch - Vergleich unmittelbar möglich
2 unterschiedlich Vergleich sagt aus, dass die Instrumente für unterschiedliche Zwecke unterschiedlich gut geeignet sind.

 In einer konkreten Projektsituation liegen bestimmte Bedingungen vor. Für diese gegebenen Bedingungen gilt es nun zu ermitteln, welche Instrument geeignet ist. Bzw. bei einer Evaluierung, wie wirksam das evaluierte Instrument im Vergleich zu einem alternativ zur Verfügung stehende Instrument ist. Die heutige Evaluierungsmethode betrachtet nicht nur den Output, sondern die Wirkungen einer Maßnahme auf den aufeinanderfolgenden Stufen: Output, Outcome und Impact. Dies ist sinnvoll und richtig, allerdings lassen sich die Wirkungen auf den unterschiedlichen Ebenen ebenso wenig quantifizieren bzw. erschweren die Quantifizierung sogar noch, denn wie sollen diese Wirkungen auf einen quantifizierbaren gemeinsamen Nenner gebracht werden?

Fall 1: Bedingungen sind identisch

Der Fall 1 stellt die Situation dar, dass zwei Instrumente für den gleichen Zweck und unter den gleichen Bedingungen eingesetzt werden. Hier ist der Vergleich einfach und aussagekräftig. Allerdings ist dieser Fall in der Realität nur selten gegeben, denn mit den Instrumenten werden nicht immer identische Zwecke verfolgt und sie werden meist unter anderen Bedingungen eingesetzt.

 

Fall 2: Bedingungen sind unterschiedlich

Fall 2 ist beispielsweise dann gegeben, wenn Blended Learning zum einen in China und zum andern in Subsahra Afrika eingesetzt wird. Bedingungen können für das jeweilige Instrument unterschiedlich geeignet sein. Beispiele:

Es kann sein, dass für ein kleines Projekt Instrument A und für ein großes Projekt Instrument B geeignet ist. Das hat mit der unterschiedlichen Kostenstruktur zu tun. Ist ein Instrument mit hohen Fixkosten verbunden (z.B. Entwicklungskosten eines eLearning Programms) wird es nur dann kostengünstig und damit effizient durchzuführen sein, wenn viele Lerner an dem Programm teilnehmen. Hier kommen economies of scale zur Wirkung, weil sich die Fixkosten (Entwicklungskosten, etc.) auf die einzelnen Lerner verteilen.


5. Instrumente haben oft andere Wirkungen oder Zusatznutzen

Erschwert wird also die Evaluation eines Instruments durch den Sachverhalt, dass es bei genauerem Hinsehen andere Outputs und Outcomes liefert als andere Instrumente. Bei oberflächlicher Betrachtung werden die gleichen Zwecke angestrebt, tatsächlich sind die damit erzielten Wirkungen unterschiedlich. In der Theorie ist es einfach: Wir setzen einen Zweck voraus, und nehmen an, dass unterschiedliche Instrumente zu unterschiedlichen Quantitäten an Output führen. Dann vergleichen wir die Menge an Input mit der Menge an Output und ermitteln die Effizienz. Leider unterscheiden sich in der Realität die Outputs oft in qualitativer Hinsicht. Selbst beim Traktorbeispiel kann es sein, dass die Kartoffeln unterschiedliche Größe und Qualität haben wenn der Kartoffelacker mit dem Pferdefuhrwerk bestellt wurde (z.B. wegen unterschiedlicher Tiefe der Furchen; beim Handlesen weniger Verletzungen der Kartoffelschalen). Noch schwieriger ist es bei Vergleich Präsenz- und Onlinelernen, bzw. Blended Learning.

Für ein Instrument stellt sich die Frage hinsichtlich aller Wirkungsebenen (Output, Outcome, Impact). Wie lassen die sich miteinander verrechnen, d.h. quantifizieren hinsichtlich einer Größe, z.B. Geld)? In der Regel geht das nicht, man bleibt bei Beschreibung und Quantifizierung anderer Größen (z.B. Zufriedenheit, subjektive Einschätzungen auf Skalen, u.a.).

Instrumente sind hinsichtlich ihrer Wirkung ähnlich, aber nicht immer identisch. Diese Unterschiede gilt es zu erfassen, schließlich bestimmen sie in ihrer Gesamtheit ihre jeweilige Wirksamkeit. Ferner ist zu bedenken, dass die gegebenen Bedingungen hinsichtlich der geplanten Wirkungen und der instrumentenspezifischen, und möglicherweise nicht beabsichtigten Zusatzwirkungen unterschiedlich wirken können.


Helmut Zell, 2012