In der EZ werden üblicherweise Projekte oder Programme hinsichtlich einer Reihe von Kriterien wie Effektivität, Effizienz, Nachhaltigkeit evaluiert. Der Hauptzweck ist dabei aus den gemachten Erfahrungen zu lernen und zukünftig wirksamere Projekte auszuwählen oder sie wirksamer zu machen. Bei einer Instrumenten-Evaluierung wird nicht das Gesamtprojekt hinsichtlich der Kriterien geprüft, sondern das eingesetzte Mittel oder Instrument. Hierbei taucht die Schwierigkeit auf, das Instrument hinsichtlich seiner Eigenschaften und Wirkungen zu isolieren und hinsichtlich seiner besonderer Eigenschaften und seiner Wirkungen zu betrachten. Für diese Aufgabe sind die gängigen Methoden der Evaluierung nicht sinnvoll, sondern müssen modifiziert werden.
Ein Instrument tritt nicht allein auf, sondern nur in Verbindung mit einem Projekt oder einem Vorhaben. Wenn etwa die Wirksamkeit des Projekts „HIV-Programm mit eL/BL“ evaluiert wird - was wird dann eigentlich untersucht? Das Projekt insgesamt oder das Instrument „Blended Learning“? Man untersucht also immer beides.
Es kommt immer auf den Zweck und die Rahmenbedingungen an. Ich kann nicht prüfen, ob ein Hammer, ein Pflug, eine Bildungsmethode als solches effektiv, effizient, etc. ist. Ein Hammer ist gut, um einen Nagel in die Wand zu schlagen, aber zum Kochen völlig ungeeignet. Die Kriterien Effizienz und Effektivität sind somit nur zweckbezogen zu ermitteln. Man kann also nicht sagen, ob ein Pflug, ein Hammer, ein Bildungskonzept als solches effektiv oder effizient, etc. ist. Die Evaluierung eines Instruments umfasst also die beiden Faktoren:
a) für welche Zwecke das Instrument geeignet ist
b) unter welchen Bedingungen es gut oder weniger gut funktioniert
Die wichtigen Kriterien zur Messung der Eignung sowohl eines Projekts als
auch eines Instruments sind Relevanz, Effektivität und Effizienz.
Die Frage der Relevanz stellt sich bei einem Instrument in anderer Weise
als für die Zielsetzung eines Projektes. Beim Ziel geht es um das „Tun wir das
Richtige“, also beispielsweise darum, ob Bildung in HIV/AIDS oder
landwirtschaftliche Entwicklung für ein Land und die Menschen wichtig ist.
Bei der Bewertung eines Mittels (Instruments) geht es darum, ob es geeignet ist,
um das angestrebte Ziel zu erreichen. Eine Feile eignet sich zur
Metallbearbeitung, aber weniger gut zum Einschlagen eines Nagels. Ein Instrument
ist für verschiedene Zwecke oder Maßnahmenziele unterschiedlich gut geeignet. Es
kann also sein, dass für HIV-Bekämpfung andere Instrumente wirksamer /
unwirksamer als eL/BL sind; und es kann sein, dass eL/BL für andere Zwecke
wirksamer / unwirksamer ist als für HIV.
| Es gibt zwei Dinge, auf denen das Wohlgelingen in allen Verhältnissen beruht. Das eine ist, dass Zweck und Ziel der Tätigkeit richtig bestimmt sind. Das andere aber besteht darin, die zu diesem Endziel führenden Handlungen zu finden. (Aristoteles) |
Im Prinzip ist es einfach, die Wirtschaftlichkeit eines oder mehrerer Projekt
zu messen. Durch ihren Vergleich ließe sich dann sehr einfach das effizientes
und somit wirtschaftlichste Projekt bestimmen. In gleiche Weise ließen sich auch
Instrumente miteinander vergleichen: Man stellt den jeweiligen Aufwand ins
Verhältnis zum erzielten Output. Das Instrument, das das beste Ergebnis
erbringt, wäre damit auch das Geeignetste. Das Problem jedoch besteht darin,
dass der Output häufig nicht quantifizierbar ist.
Projekte der Entwicklungszusammenarbeit sind in der Regel nicht kommerzieller
Art, sondern erfüllen staatliche Aufgaben. Die Ergebnisse solcher Maßnahmen
lassen sich nicht monetär bestimmen. Das gilt etwa für den Straßenbau, den Bau
und Betrieb einer Schule oder ein Beratungsprojekt für Kleinbauern in den
Tropen. Für HIV-AIDS Programm lässt sich zwar die Effektivität qualitativ
bestimmen, d.h. beschreiben, aber nicht quantifizieren oder gar monetär
bestimmen.
Eine Gegenüberstellung der Inputs in Form von Finanzmitteln und der Outputs in
Form von Geld ist damit nicht möglich. Man hat deshalb die Methode der
Kosten-Nutzen-Analyse entwickelt, das hier Abhilfe schaffen soll. Ganz gelingt
das trotz aller ausgefeilter Methodik nicht. Was bleibt: Ein Instrument muss
hinsichtlich seiner Wirkungen mit einem anderen Instrument verglichen werden.
Diese Wirkungen lassen sich beschreiben, teilweise auch (nicht-monetär) mit
geeigneten Indikatoren messen. Aber immer ist der Vergleich notwendig. Man kann
ein Instrument nicht für sich allein bewerten.
Selbst wenn wir davon ausgehen, Input und Output eines Projektes ließen sich
quantifizieren und monetär erfassen, sagt dies letztlich noch wenig über die
Effizienz und die Effektivität eines Instruments aus.
Übersteigt bei einem Projekt der Output den Input ist das sicherlich erfreulich
und kann als erster Hinweis auf eine Eignung des Instruments hinweisen. Doch
zwingend ist diese Schlussfolgerung nicht. Denn möglicherweise stand für das
angestrebte Ziel ein anderes Instrument zur Verfügung, das nicht genutzt wurde,
das höhere Erträge erbracht hätte. Ist das Ergebnis negativ, also wenn der
aufgewandte Input den erzielten Output übersteigt, spricht das vielleicht gegen
die Wirtschaftlichkeit des Projekts, aber nicht zwingend gegen das Instrument.
Vielleicht wäre es in einem Projekt mit anderen Zielsetzung und unter anderen
Bedingungen von höherer Wirkung gewesen.
Ergebnis: Selbst wenn quantitative oder gar monetäre Werte vorliegen, kann zwar
die Effektivität und die Effizienz des Vorhaben ermittelt werden, es lässt sich
aber nicht sagen, ob ein Instrument nun wirklich das Geeignetste war. Selbst
wenn Input und Output quantifizierbar sind, lässt sich eine Instrument nicht für
sich evaluieren. Wenn Input und Output monetär messbar sind, ist die Ermittlung
der Effizienz möglich – aber muss vergleichen – denn es könnte ja ein Instrument
geben, das unter den gegebenen Bedingungen bessere Wirkungen erbracht, eine
höhere Effizienz gezeigt hätte.
Die Eignung des Instruments „Traktor“ bei einem landwirtschaftlichen Entwicklungsprojekt soll evaluiert werden. Der Traktor wird für die landwirtschaftliche Bewirtschaftung eingesetzt. Dazu werden noch andere Einsatzmittel wie Saatgut, Dünger etc. benötigt. Zusammen bilden sie den Input. Output ist der Ernteertrag. Der Vorteil für die Evaluierung ist hier, dass Input und Output monetär gemessen werden können. Doch selbst wenn der Wert des Outputs den Wert des Inputs übersteigen sollte, ist das kein Indikator dafür, dass der Traktor das geeignetste Instrument für diesen Zweck war. Es müsste der Nachweis erbracht werden, dass andere zur Verfügung stehende Instrumente (z.B. Pflug, Ochsenanspannung, Hacken) schlechtere Ergebnisse erbracht hätten.
Wir haben eine gegebene Aufgabe, und fragen, welches Instrument aus einer Reihe von zur Verfügung stehen Instrumenten die geeignetste ist. Beispiel: Wir wollen einen Nagel in die Wand schlagen und fragen, welches Werkzeug dafür am geeignetsten ist. Wir wollen HIV-Wissen vermitteln um letztlich die Infektionsrate zu senken. Als Instrumente zur Vermittlung von HIV/AIDS-Wissen und –fähigkeiten stehen zur Verfügung:
Man kann zwei Instrumente vergleichen unter der Annahme
Bei diesem Vergleich wird vorausgesetzt, dass bei der Anwendung des Instruments jeweils die gleiche Kompetenz besteht. Denn es wäre unzulässig, bei einem Vergleich von Traktor und Ochsengespann für die Landwirtschaft im einen Fall einen schlechten Traktorfahrer und im anderen Fall mit einem guten Ochsenfuhrmann zu vergleichen.
Im Folgenden gehen wir also davon aus, dass für ein bestimmtes entwicklungspolitisches Maßnahmenziel das Instrument A gewählt wurde, und nun im Rahmen einer Evaluierung gefragt wird, wie geeignet es für dafür war. Dazu wird es mit dem (hypothetischen oder bekannten) Einsatz des Instruments B verglichen.
Folgende Konstellationen denkbar:
| Bedingungen | Wirkungen (Output / Outcome. Effektivität, Effizienz, etc.) | |
| 1 | identisch - | Vergleich unmittelbar möglich |
| 2 | unterschiedlich | Vergleich sagt aus, dass die Instrumente für unterschiedliche Zwecke unterschiedlich gut geeignet sind. |
In einer konkreten Projektsituation liegen bestimmte Bedingungen vor. Für diese gegebenen Bedingungen gilt es nun zu ermitteln, welche Instrument geeignet ist. Bzw. bei einer Evaluierung, wie wirksam das evaluierte Instrument im Vergleich zu einem alternativ zur Verfügung stehende Instrument ist. Die heutige Evaluierungsmethode betrachtet nicht nur den Output, sondern die Wirkungen einer Maßnahme auf den aufeinanderfolgenden Stufen: Output, Outcome und Impact. Dies ist sinnvoll und richtig, allerdings lassen sich die Wirkungen auf den unterschiedlichen Ebenen ebenso wenig quantifizieren bzw. erschweren die Quantifizierung sogar noch, denn wie sollen diese Wirkungen auf einen quantifizierbaren gemeinsamen Nenner gebracht werden?
Der Fall 1 stellt die Situation dar, dass zwei Instrumente für den gleichen Zweck und unter den gleichen Bedingungen eingesetzt werden. Hier ist der Vergleich einfach und aussagekräftig. Allerdings ist dieser Fall in der Realität nur selten gegeben, denn mit den Instrumenten werden nicht immer identische Zwecke verfolgt und sie werden meist unter anderen Bedingungen eingesetzt.
Fall 2 ist beispielsweise dann gegeben, wenn Blended Learning zum einen in China und zum andern in Subsahra Afrika eingesetzt wird. Bedingungen können für das jeweilige Instrument unterschiedlich geeignet sein. Beispiele:
Es kann sein, dass für ein kleines Projekt Instrument A und für ein großes Projekt Instrument B geeignet ist. Das hat mit der unterschiedlichen Kostenstruktur zu tun. Ist ein Instrument mit hohen Fixkosten verbunden (z.B. Entwicklungskosten eines eLearning Programms) wird es nur dann kostengünstig und damit effizient durchzuführen sein, wenn viele Lerner an dem Programm teilnehmen. Hier kommen economies of scale zur Wirkung, weil sich die Fixkosten (Entwicklungskosten, etc.) auf die einzelnen Lerner verteilen.
Erschwert wird also die Evaluation eines Instruments durch den Sachverhalt, dass es bei genauerem Hinsehen andere Outputs und Outcomes liefert als andere Instrumente. Bei oberflächlicher Betrachtung werden die gleichen Zwecke angestrebt, tatsächlich sind die damit erzielten Wirkungen unterschiedlich. In der Theorie ist es einfach: Wir setzen einen Zweck voraus, und nehmen an, dass unterschiedliche Instrumente zu unterschiedlichen Quantitäten an Output führen. Dann vergleichen wir die Menge an Input mit der Menge an Output und ermitteln die Effizienz. Leider unterscheiden sich in der Realität die Outputs oft in qualitativer Hinsicht. Selbst beim Traktorbeispiel kann es sein, dass die Kartoffeln unterschiedliche Größe und Qualität haben wenn der Kartoffelacker mit dem Pferdefuhrwerk bestellt wurde (z.B. wegen unterschiedlicher Tiefe der Furchen; beim Handlesen weniger Verletzungen der Kartoffelschalen). Noch schwieriger ist es bei Vergleich Präsenz- und Onlinelernen, bzw. Blended Learning.
Für ein Instrument stellt sich die Frage hinsichtlich aller Wirkungsebenen (Output, Outcome, Impact). Wie lassen die sich miteinander verrechnen, d.h. quantifizieren hinsichtlich einer Größe, z.B. Geld)? In der Regel geht das nicht, man bleibt bei Beschreibung und Quantifizierung anderer Größen (z.B. Zufriedenheit, subjektive Einschätzungen auf Skalen, u.a.).
Instrumente sind hinsichtlich ihrer Wirkung ähnlich, aber nicht immer identisch. Diese Unterschiede gilt es zu erfassen, schließlich bestimmen sie in ihrer Gesamtheit ihre jeweilige Wirksamkeit. Ferner ist zu bedenken, dass die gegebenen Bedingungen hinsichtlich der geplanten Wirkungen und der instrumentenspezifischen, und möglicherweise nicht beabsichtigten Zusatzwirkungen unterschiedlich wirken können.
Helmut Zell, 2012