Evaluation

(Beitrag im Online-Verwaltungslexikon olev.de, Version 2.6)

1 Definition(en)

1.1 Begriff

Bewertung, Begutachtung von Leistung, Wirkung, Impact, Erfolg und/oder Effizienz/Wirtschaftlichkeit von Bildungs- oder anderen Prozessen, Projekten, Programmen, Institutionen, Strategie usw., oft mit beratender Funktion im Unterschied zu Controlling und Akkreditierung.

Als Evaluation wird sowohl die Bewertung selbst als auch der Prozess bezeichnet.

Aufgabe von Evaluation ist, diese Bewertung so systematisch und unparteiisch wie möglich vorzunehmen (normative Definition, siehe "Standards der Evaluation"), orientiert an dem Ziel, Verbesserungen zu unterstützen. Daran, ob Evaluation hilfreich ist, Lernen und Verbesserung ermöglicht, ist Evaluation selbst zu messen (Meta-Evaluation).

1.2 Abgrenzung zu anderen Funktionen

Die (nur) beratende und damit unterstützende Funktion - im Gegensatz zur Kontrolle - ist aber nicht allgemein anerkannt, so dass andere Bedeutungen möglich sind. Insbesondere ist die Programmevaluation oft verbindlich vorgeschrieben und dient der Überprüfung des Programms im Interesse des Auftrag- oder Finanzgebers. (Mehr zum Verhältnis zu anderen Instrumenten / zur Programmevaluation).

Im Verhältnis zu Controlling ist Evaluation aufwändiger, aber auch differenzierter. Speziell im Verwaltungsmanagement kann sie der Gefahr vorschneller Vereinfachungen durch Controlling begegnen[4]. Deshalb ist Evaluation ergänzend zu Controlling zu empfehlen (Einzelheiten siehe Buschor[4]).

1.3 UN-Definition

Ein umfassende Definition von Evaluation, die die international verfügbaren Quellen (z. B. der OECD und der UN-Mitglieder) auswertet, enthalten die "Norms for Evaluation in the UN System" der "United Nations Evaluation Group - UNEG" vom April 2005: 

1.4 Einordnung der Evaluation: Evaluation und Politik

Evaluation setzt Ziele/Zwecke voraus, die nicht objektiv vorgegeben sind. Sie können allerdings weitgehend akzeptiert oder durch hochrangiges Recht (Verfassung, Grundrechte) vorgegeben sein, zumindest zum Teil. So gibt es über bestimmte grundlegende Orientierungen der Bildung(spolitik) einen übergreifenden Konsens, siehe die Darstellung der Bildungsziele im Bericht der Expertengruppe des Forum Bildung, 2000, S. 3, referiert im Beitrag "Kompetenzen als Ziele von Bildung und Qualifikation", und die Definition von "Schlüsselkompetenzen für lebensbegleitendes Lernen" als "europäischen Referenzrahmen", referiert im Beitrag "Potenzial von Mitarbeitenden".

Es erscheint deshalb sinnvoll, der Darstellung von Stockmann (in Stockmann/Meyer 2010: 65) folgend zwischen der Entstehung, der Durchführung (hier ist Wissenschaftlichkeit anzustreben) und der Verwertung von Evaluation zu unterscheiden.

1.5 Dimensionen der Evaluation

Als Dimensionen von Evaluation weitgehend die Unterscheidung von

• Gegenstand („was“),
• Zweck („wozu“),
• Bewertungskriterien („anhand welcher Kriterien“),
• Durchführende/Evaluator/innen („von wem“)
• methodische Designs („wie“)

(im Anschluss an Stockmann / Meyer 2010: 67 ff.)

2 Weitere Informationen

2.1 Evaluation allgemein und im Bildungsbereich

Eine nur beratende Funktion der Evaluation stärkt die Eigenverantwortlichkeit derjenigen, deren Aktivität evaluiert wird (z. B. der Fachbereiche, der Lehrenden), sie eignet sich deshalb besonders für Bildungseinrichtungen.

Für Hochschulen forderte das Hochschulrahmengesetz des Bundes die Evaluation von Forschung und Lehre[1] unter Beteiligung der Studierenden (§ 6 Satz 2 HRG), die Veröffentlichung der Ergebnisse war lediglich eine Soll-Regelung (§ 6 Satz 3 HRG). Maßgebend sind jetzt die Hochschulgesetze der Länder, die z. T. weiter gehen, vgl. etwa für Nordrhein-Westfalen:

Für die Schulen hat sich eher ein Qualitätssicherungssystem mit vorgegebenen zentralen Abschlussprüfungen und Lernstandserhebungen etabliert, das eine zentrale Steuerung der Qualität und Unterstützung der Schulen ermöglichen soll, ergänzt z. B. in Nordrhein-Westfalen durch "Qualitätsanalysen", die durch Externe durchgeführt werden und den Schulen eine Rückmeldung geben sollen, also eine der Evaluation vergleichbare Funktion übernehmen könnten.

Unterschiede zu anderen Verfahren liegen in der Funktion und/oder den Adressaten:

• Durch die beratende Funktion unterscheidet sich Evaluation von anderen Verfahren der Kontrolle oder Überprüfung auf Einhaltung bestimmter Standards, z. B. dem Audit im Rahmen des Qualitätsmanagements oder der Akkreditierung.
• Anders als beim Controlling sind alle Beteiligte Adressaten der Ergebnisse, nicht (nur) das Management oder wie beim Bildungscontrolling die Auftraggeber der Bildungsmaßnahme.
  
• Siehe dazu auch die OECD-Guidelines.

Aktuelle hochschulpolitische Problematik ist die Verwendung von Evaluationsergebnissen für die Leistungsbewertung der Lehrpersonen mit Konsequenzen bei der Bezahlung.

Eine Anleitung für Evaluation enthalten die von der OECD veröffentlichten "Guidelines", 1999, siehe ferner die Standards der Evaluation, die oft zusammen mit Anleitungen veröffentlicht werden, und die weiteren Quellen.

Evaluation ist ihrerseits auf Erreichung der Ziele hin zu evaluieren (Meta-Evaluation).

2.2 Arten der Evaluation

2.3.1 Prospektive, formative und summative Evaluation

Nach dem Stadium, in dem sich die zu evaluierenden Aktivitäten befinden, kann unterschieden werden in

• prospektive = vorausschauende Evaluation, die also bereits die Planung der Aktivitäten bewertet, "ex ante". Adressaten sind dem entsprechend die für die Planung bzw. die Entscheidung über das Vorhaben Verantwortlichen.
• formative Evaluation: sie begleitet das Programm, das Projekt, den Lernprozess usw. und soll durch Rückmeldung an die Beteiligten noch im Laufe der Aktivitäten unterstützen,
• Summative und formative Evaluation:
  Wenn der Chefkoch die Suppe kostet, so ist dies formativ, wenn es der Gast tut, ist es summativ.
  die summative Evaluation erfolgt nach Abschluss, also rückblickend, "ex post". Die Beurteilung von Programmwirkungen, Lernergebnissen usw. im Sinne von Outcome kann daher eher durch summmative Evaluation erfolgen. Adressaten können auch Auftraggeber oder andere Externe, auch die Öffentlichkeit bei der Evaluation von Projekten/Programmen der öffentlichen Hände sein.

Die Lernwirkung durch summmative Evaluation setzt voraus, dass die Ergebnisse für künftige Aktivitäten genutzt, Erfahrungen also gespeichert und für die Planung und Durchführung in der Zukunft verwendet werden - eine Ressource für Qualität und Wirtschaftlichkeit, die oft nicht systematisch oder überhaupt nicht genutzt wird. Systematische Nutzung dieser Ressource erfolgt durch Wissensmanagement und durch personelle Maßnahmen die darauf abzielen, den bei Beteiligten früherer Aktivitäten vorhandenen Erfahrungsschatz weiterzugeben und für künftige Aktivitäten zu nutzen - eine Aufgabe des Personalmanagements.

2.3.2 Interne und externe Evaluation

Unterscheidung nach der Herkunft der Personen, die die Evaluation durchführen.

• Interne Evaluation ist "Selbstbewertung": eigene Beschäftigte, die entsprechend qualifiziert worden sein sollten, einschließlich Zertifikation ihrer Qualifikation, führen die Evaluation und Bewertung durch. Vorteil ist, dass sie die Beurteilung mit größerer interner Sachkunde betreiben und ihre Qualifikation auch außerhalb formeller Evalualationsverfahren einbringen können. Nachteil kann "Betriebsblindheit" sein - die durch entsprechende Qualifikation und Nutzung der Informationsmöglichkeiten aus anderen Organisation aber begrenzt werden kann - und Befangenheit und Einbindung in soziale Beziehungen, die ein unbefangenes Urteil beeinträchtigen können.
• Externen Evaluation ist "Fremdbewertung": Personen von außerhalb der Institution nehmen die Bewertung vor. Vorteile können sein, dass sie unabhängiger sind - je nach Abhängigkeit vom Auftraggeber - und unter Umständen eine andere und bessere Qualifikation einbringen können, die eine Institution intern nicht sinnvoll bereitstellen kann (zu hoher Aufwand für die Qualifizierung eigener Beschäftigter, zu geringe Möglichkeit z. B., dass interne Evaluatoren Erfahrungen in anderen Institutionen sammeln, usw.). Möglicher Nachteil kann sein, dass die Externen relevante Informationen nicht bekommen oder sie nicht adäquat einordnen und bewerten, den Besonderheiten der Institution nicht gerecht werden.

Zu den möglichen Vor- und Nachteilen siehe ausführlicher den Beitrag "Einsatz externer Experten".

2.3 Evaluation in Hochschulen

Der Wissenschaftsrat hat 2008 "Empfehlungen zur Qualitätsverbesserung von Lehre und Studium" veröffentlicht, die wichtige Aspekte der Entwicklung der Hochschulen und der Evaluation formulieren, siehe den nachfolgenden Auszug:  

Zur Evaluation sollten nach dem Konzept des Benchmarking Clubs der Fachhochschulen für den öffentlichen Dienst gehören:

1. Studierendenbefragung,
2. statistischer Jahresbericht,
3. Eigenanalyse des Fachbereichs,
4. Evaluation von/durch Zielgruppen (durch Befragung, Workshops usw.),
5. externe Evaluation (z. B. durch Peer Review).

Diese traditionelle Liste ist nicht geeignet, die weitergehenden Empfehlungen des Wissenschaftsrates 2008 umzusetzen, bedarf also einer Überprüfung und Ergänzung - wie viele Evaluationskonzepte, die derzeit praktiziert werden. Das gilt entsprechend für die gängige Definition und Liste der Aktivitäten, die vom BMBF im Glossar der amtlichen Website zur Bologna-Nachfolgekonferenz in Berlin 2003 veröffentlicht worden ist (übernommen am 11. Mai 2004, Formatierung geändert): 

Relative Übereinstimmung besteht konzeptionell, dass Evaluation eingebunden sein muss in ein Gesamtkonzept des Qualitätsmanagements.

In die Evaluation der Ausbildung sind auch Praktika als Teil der Ausbildung einzubeziehen.

Zu einer zusammenfassenden Bewertung der Evaluation siehe den Beitrag von Nicola Döring im Neuen Handbuch Hochschullehre, Ergänzungslieferung Juli 2005:

• Bei der Lehrevalaution sollte die Qualitätsentwicklung im Zentrum stehen.

• Sie sollte auf der Mikroebene optimiert werden, u. a. durch individuelle Betreuung und Beratung der Lehrpersonen.

• Die Lehrveranstaltungsevaluation muss durch Evaluation auf Makroebene ergänzt werden, um die Qualität des Studiums umfassend und nachhaltig sicher zu stellen.
  

•  Meta-Evaluation und Einhaltung international akzeptierter wissenschaftlicher und ethischer Standards sind unverzichtbar.

Zu weiteren aktuellen Erkenntnissen und Quellen siehe im Wiki zum Online-Verwaltungslexikon

Forschungsevaluation wird inzwischen auch kritisch diskutiert wegen der Vielzahl von "Rankings", die lediglich Zahlenwerte zusammentrügen (dazu z. B. Matthies / Simon): Entsprechendes gilt z. T. auch für andere Evaluationen, siehe im Folgenden.

2.4 Nutzen von Studierendenbefragung (Teilnehmerbefragungen) /

2.4.1 Verrechtlichung der Evaluation vermeiden

Studierendenbefragungen (oder Teilnehmerbefragungen bei Fort- und Weiterbildung) sind ein unverzichtbarer Teil der Evaluation, aber in ihrem Wert begrenzt (siehe dazu die weiteren Unterabschnitte dieses Kapitels). Das ist vor allem deshalb wichtig zu betonen, weil die Tendenz besteht, sie zu einem leicht verwendbaren Instrument für die Entscheidung über Leistungsbezüge zu machen.

Dabei wird übersehen, dass die Evaluation damit verrechtlicht wird: die Regeln für Anlass, Häufigkeit, Art und Weise der Durchführung, Auswertung müssen dann den Anforderungen für das personalrechtliche Instrumentarium genügen und können nicht mehr nur als Teil von individuellen und organisatorischen Lernprozessen und der Unterstützung von Management-entscheidungen gestaltet werden.

Im übrigen muss dann die Verwertung der Evaluationsergebnisse fachlich einwandfrei erfolgen, sonst ist sie rechtswidrig: es dürfen keine Schlüsse gezogen werden, die fachlich nicht zulässig sind (z. B. einfacher Vergleich von Durchschnittsnoten), es muss vielmehr eine fachgerechte Interpretation unter Berücksichtigung von Fehlergrenzen, Streuungsmaß, Besonderheiten der Fächer / Lehrveranstaltungen / Teilnehmergruppen usw. erfolgen. Und das ist keineswegs einfach, sondern erfordert sozialwissenschaftlich-empirischen Sachverstand, der weder in der juristischen noch in der Verwaltungsausbildung für den gehobenen Dienst vermittelt wird, bei Personalisten also nicht vorausgesetzt werden kann. Ein typischer Fehlschluss wäre der einfache Vergleich der "Noten", die die Studierenden vergeben haben, als Mittelwert über alle Fragen. Siehe dazu den Bericht 2010 der Expertengruppe Evaluation der Fachhochschulen für den öffentlichen Dienst.

2.4.2 Empirischer Nutzen der Studierendenbefragung 

Evaluation wirkt deutlich nur in Kombination mit Beratung, so die Untersuchungsergebnisse von Rindermann u. a.:

Rindermann, Heiner / Kohler, Jürgen / Meisenberg, Gerhard: Quality of Instruction Improved by Evaluation and Consultation of Instructors. In: International Journal for Academic Development, Vol. 12, No. 2, November 2007, pp. 73-85. Online-Quelle: http://www.uni-graz.at/pslgcwww/rindermann/publikationen/07IntJourAD.pdf

Aus der Zusammenfassung:

"In Übereinstimmung mit einigen früheren Untersuchungen zeigte sich, dass Evaluation allein kaum Wirkung hat, eine deutliche Verbesserung aber erreicht wurde, wenn die Evaluation mit Beratung kombiniert wurde."

In der Studie heißt es weiter:

• „Feedback über die Wirkung der Lehre allein, ohne Beratung die es ermöglicht, die eigene Lehre und Beispiele für besseres Lehren zu reflektieren, ergibt keine messbaren Verbesserungen (…). Aber auch Beratung ohne Evaluation ist nicht wirksam, weil die Lehrkräfte selten ihre eigenen Stärken und Schwächen wahrnehmen.“
• Besonders profitierten die Lehrkräfte, die bisher weniger gut bewertet worden waren, auch wenn sie nicht das Niveau der schon früher gut bewerteten Lehrkräfte erreichten: die Rangfolge der Lehrkräfte blieb erhalten.
• Die Autoren verweisen auch darauf, das Evaluation ohne Unterstützung bei der Verbesserung der Lehre Frustration und Entmutigung erzeugen und deshalb sogar einen negativen Effekt haben kann. Auch aus ethischer Verantwortung sollte deshalb Beratung angeboten werden .  

2.4.3 Leistungsfähigkeit der Zufriedenheitsbefragung 

Zur Leistungsfähigkeit der Zufriedenheitsbefragung der Studierenden heißt es bei Fredersdorf/Lehner 2004[5]:

 Als Beleg dafür: Die Schülerinnen und Schüler des deutschen Bildungssystems waren sich der von PISA ermittelten mangelhaften Leistung dieses Systems nicht bewusst, dabei gehen sie lieber zur Schule als die finnischen Schülerinnen und Schüler, die bessere Leistungen erreichten. Und Lehrkräfte, die sich abmühen, die Vorurteile ihrer Studierenden zu erschüttern, die diese aus ihren bisherigen Erfahrungen mitbringen

über die berufliche Praxis, Sinn und Unsinn von Reformen generell und bestimmter Reformelemente im Besonderen, über die "richtige" Organisation und Führung und "richtiges" berufliches Verhalten allgemein und in Konfliktfällen

und neue und differenziertere Sichtweisen vermitteln, werden eher schlecht bewertet, weil die Studierenden dies als Verunsicherung und Kritik erleben.

Damit könnte sich ein Teil von Bewertungsunterschieden erklären, den die Evaluation bisher ergeben hat: Fächer mit geringer "Vorbelastung" durch Vorverständnis und Vorurteile können besser abschneiden, dazu gehören zumeist die juristischen Fächer (wer wagt es schon, der Fachkompetenz der juristischen Lehrperson zu widersprechen? Aber bei Themen wie "Organisation" und "Führung" können alle mitreden!), bestimmte andere Fächer werden regelmäßig schlechter abschneiden, wenn sie ihrem Bildungsauftrag gerecht werden wollen.[7]

2.4.4 Bedeutung der Ergebnisse / Leistungsbezahlung

Wenn die Ergebnisse von Studierendenbefragungen für die Leistungsbezahlung von Lehrkräften verwendet werden, sind die empirisch gesicherten Unterschiede nach Fächern und Fachbereichen[6] zu berücksichtigen, weil sonst das Gleichbehandlungsgebot, Art. 3 GG, verletzt wird. Die Warnung vor den Folgen einer Verrechtlichung (siehe oben) gilt.

Deshalb sollte die Studierendenbefragung nur als Teilbeitrag zur Evaluation verstanden und entsprechend vorsichtig verwertet werden. Gemessen wird nur "Zufriedenheit", nicht Lernerfolg, erst Recht nicht, ob das Richtige gelernt, die Fähigkeit zur Bewältigung der Anforderungen der Berufspraxis verbessert wurde, also die eigentlichen Qualifikationsziele erreicht wurden.

2.4.4 Weitere Ergebnisse und Quellen

• Aktuelle Materialien im Wiki zum Online-Verwaltungslexikon,
• dort auch weitere Quellen, siehe auch
• den Beitrag Bildungscontrolling im Online-Verwaltungslexikon.

2.5 Programmevaluation

Alternative Definition:
"A process of gathering and analyzing information for the purpose of determining whether a program is carrying out the activities that it had planned and the extent to which the program is achieving its stated objectives (through these activities). The evaluation is used as a tool to learn how the program is most effective and/or what modifications should be made to improve services." [3] 

2.6 Evaluation als verfassungsrechtliche Pflicht des Gesetzgebers?

Gesetzgeberische Maßnahmen haben in vielen Fällen Auswirkungen auf die Grundrechte der Bürger. In diesen Fällen kann der Gesetzgeber eine Pflicht zur Evaluation haben, vgl. Olaf Deinert, Göttingen, in der Frankfurter Allgemeinen Zeitung vom 25./26.04.2009, Nr. 96, S. C 2:

Das Bundesverfassungsgericht leitet eine Prognose-, Beobachtungs- und Nachbesserungspflicht insbesondere aus grundrechtlichen Schutzpflichten ab, vgl. BVerfGE 50, S. 290, 333; 56, 54, 78; 88, 203, 263. In der zuletzt genannten Entscheidung (BVerfGE 88, S. 203, 263) heißt es, der Gesetzgeber müsse sich des erreichbaren, für die gebotene verlässliche Prognose wesentlichen Materials bedienen und es mit der gebotenen Sorgfalt daraufhin auswerten, ob es seine gesetzgeberische Einschätzung hinreichend zu stützen vermag. Er ist danach also zu einer sorgfältigen, soweit wie möglich empirisch fundierten Prognose verpflichtet, muss dann aber auch die tatsächlichen Wirkungen beobachten, sprich: evaluieren.

Zur Problematik siehe die Diskussion über die vergleichbare Frage, ob eine verfassungsrechtliche Verpflichtung zur Gesetzesfolgenabschätzung besteht.

2.7 Standards der Evaluation

2.7.1 Standards allgemein

Evaluation wird weltweit als Rückmeldung für Förderprogramme verwendet, so dass es zahlreiche Standards gibt, siehe z. B.

• Norms for Evaluation in the UN System und die darauf aufbauenden Standards for Evaluation in the UN System, 2005
• OECD DAC Evaluation Quality Standards
• EuropeAid: Standards der Entwicklungsarbeit der Europäischen Kommission

Auch andere Fördermaßnahmen der EU außerhalb der Entwicklungsarbeit unterliegen regelmäßig einer Evaluation.

Für die Evaluation von Maßnahmen, die in Deutschland durch den Bund gefördert worden sind, gibt es eine Zusammenstellung von Quellen im Internet.

2.7.2 OECD: Best Practice Guidelines For Evaluation, 1999

Die besondere Funktion, die Evaluation in diesem Kontext übernehmen kann, wird insbesondere von den OECD-Guidelines dargestellt. Sie erörtern Sinn und Zweck der Evaluation, die Abgrenzung zu anderen Instrumenten und formulieren Vorschläge für das Vorgehen bei der Verwendung von Evaluation einschließlich der strategischen Perspektive und der Einbindung in den politischen Handlungsrahmen.

Danach überprüfen Evaluationen zunächst die Ergebnisse politischer Programme, sind also wirkungs-/outcome-orientiert. Im Folgenden einige Auszüge:

"Evaluations are analytical assessments addressing results of public policies, organisations or programmes, that emphasise reliability and usefulness of findings. Their role is to improve information and reduce uncertainty; however, even evaluations based on rigorous methods rely significantly on judgement. A distinction can be made between ex-ante evaluations (or policy reviews) and ex-post evaluations. Many practices discussed in these Guidelines apply equally to both, even if their objectives are different." (S. 6)

 Die besondere Vorgehensweise wird auf S. 9 wie folgt formuliert:

"Evaluation persuades rather than convinces, argues rather than demonstrates, is credible rather than certain, is variably accepted rather than compelling."

Einen Vergleich mit anderen Bewertungs- und Rückkoppelungsverfahren enthält die folgende Tabelle (übernommen von S. 11):

Difference Between Evaluation and Other Feedback Mechanisms • Scientific studies Evaluations focus on practical use of information • Traditional audits Evaluations study public spending from a wider viewpoint - also questioning whether the objectives of the programme are appropriate and efficiently and effectively achieved (the distinction between audit and evaluation is often somewhat blurred and will be discussed later). • Monitoring Evaluation is often conducted as a single effort and seeks to gain more in-depth information of a programme in question, although the existence of well-functioning, regular monitoring systems is often a necessary basis for successful evaluations. • Performance measurement Evaluation strives for more: it tries to find explanations for observed outcomes and understand the logic of public intervention (however, well-designed performance measurement systems are, for example in the USA, often identified as one form of evaluation). • Policy analysis Evaluation focus on ex post assessment. Policy analysis is sometimes defined as ex ante evaluation in studying future policy options. Quelle: OECD, Public Management Service / Public Management Committee: Improving Evaluation Practices. Best Practice Guidelines for Evaluation and Background Paper. Januar 1999, S. 11. Online-Quelle

2.7.3 Normen und Standards der Vereinten Nationen (UN)

Differenziert ausgearbeitet sind auch die Standards der Vereinten Nationen, für die eine eigene Einheit, die United Nations Evaluation Group - UNEG zuständig ist. Siehe bereits oben die Definition, weitere Auszüge aus den Normen für Evaluation im besonderen Beitrag sowie die Quellenangaben unten zu dem Regelwerk aus Normen und Standards.

2.7.4 Andere Standards

Das Joint Committee on Standards for Educational Evaluation hat Standards auch für weitere Arten der Evaluation entwickelt, z. B. Standards der Evaluation im Personalbereich, für Programmevaluation. Sie sind zwar für den Bildungsbereich entwickelt, können jedoch, entsprechend angepasst, auch in anderen Bereichen verwendet werden.

2.7.5 Standards der Bildungsevaluation

Es gibt weithin akzeptierte Standards für die Evaluation im Bildungsbereich, die von kompetenten Organisationen entwickelt worden sind:

1. Das Original: Joint Committee on Standards for Educational Evaluation, die besonderen "Student Evaluation Standards" sind vom American National Standards Institute anerkannter "American National Standard" (siehe das "factsheet").
2. Die von der DeGEval adaptierte Fassung der Evaluationsstandards (ohne Hinweis auf die Quelle, die vom Joint Committee entwickelten Standards, und ohne die Fortschreibungen dort)
3. Die Schweizer Variante der Standards, veröffentlicht von der Schweizerischen Evaluationsgesellschaft (SEVAL).

Siehe den Vergleich der Standards 1 und 2.

2.8 Verwandte Gebiete / Fragestellungen

Evaluation ist verwandt

• mit Controlling, insbesondere Bildungscontrolling, Benchmarking, Audit (zur Abgrenzung siehe oben). Im Verhältnis zu Controlling ist Evaluation aufwändiger, aber auch differenzierter. Speziell im Verwaltungsmanagement kann sie der Gefahr vorschneller Vereinfachungen durch Controlling begegnen[4]. Deshalb ist Evaluation ergänzend zu Controlling zu empfehlen (Einzelheiten siehe Buschor ([4])).
• mit Gesetzesfolgenabschätzung (GFA) als nachträglicher Überprüfung, ob die beabsichtigten Wirkungen eingetreten und die nicht gewollten Nebenwirkungen vermieden worden sind, und
• der politischen Erfolgskontrolle, die jedoch in einen anderen normativen Rahmen eingeordnet ist.
• Evaluation ist Voraussetzung für die Akkreditierung im Hochschulbereich.

 Politikwissenschaftlich bearbeitet wird schon lange das Thema der Erfolgskontrolle, siehe z. B. Derlien, Hans-Ulrich: Die Erfolgskontrolle staatlicher Planung. Baden-Baden 1976, sowie in diesem Zusammenhang auch die Arbeiten der Gesellschaft für Programmforschung.

3 Quellen

3.1 Evaluation im Hochschul- und Bildungsbereich

3.1.1 Quellenverzeichnis im OlevWiki (aktuelle Monographien und Aufsätze)

3.1.2 Internet-Adressen (Link-Sammlung)

• Kultusministerkonferenz KMK
• Hochschulrektorenkonferenz HRK, siehe u.a. die Informationen zu Qualitätssicherung
• Service-Stelle Bologna der HRK mit einem Glossar zum Bologna-Prozess
• HIS Hochschul-Informations-System GmbH in Hannover,
  insbesondere mit dem Evaluationsnetzwerk im Auftrag des Projekts Q der Hochschulrektorenkonferenz
• Centrum für Hochschulentwicklung CHE in Güterloh
• der Akkreditierungsrat sowie verschiedene weitere Evaluations- und Akkreditierungsagenturen
• Deutsche Gesellschaft für Evaluation (DeGEval)
  

 Europäische und internationale Quellen

• European Network for Quality Assurance in Higher Education (enqa)
• International Network for Quality Assurance Agencies in Higher Education (INQAAHE)

Siehe die weiteren Angaben im OlevWiki

3.1.3 Literatur zur Evaluation im Hochschul- und Bildungsbereich

• Veröffentlichungen der Akkreditierungsagenturen, z. B.
  • Zentrale Evaluations- und Akkreditierungsagentur Hannover (ZEvA): Qualitätssicherung in Lehre und Studium - Erst- und Folgeevaluationen sowie Akkreditierungen, 2003 (Online-Quelle 2004-05-25)
  • ZEvA: Leitfaden zur Befragung in der internen Evaluation (Online-Quelle)
• zu Standards der Bildungsevaluation die Quellenangaben oben

 Materialien speziell für Verwaltungsfachhochschulen siehe die Evaluations-Website der Expertengruppe Evaluation und Qualität.

3.2 Evaluation allgemein

3.2.1 Internationale und amtliche Quellen

• Norms for Evaluation in the UN System und die darauf aufbauenden Standards for Evaluation in the UN System, 2005
• OECD DAC Evaluation Quality Standards
• OECD, Public Management Service / Public Management Committee: Improving Evaluation Practices. Best Practice Guidelines for Evaluation and Background Paper. Januar 1999. Online-Quelle
• Netzwerk Evaluation der Schweizer Bundesverwaltung

3.2.2 Weitere Quellen zu Evaluation allgemein

• Bussmann, Werner / Klöti, Ulrich / Knoepfel, Peter: Einführung in die Politikevaluation. Basel 1997. (Die Veröffentlichung ist ein Ergebnis des Nationalen Forschungsprogramms 27 «Wirksamkeit staatlicher Massnahmen» des Schweizerischen Nationalfonds (SNF) zur Förderung der wissenschaftlichen Forschung, Online-Quelle für Programminformationen).
• Bussmann, Werner / Klöti, Ulrich / Knoepfel, Peter: Handbuch über die Evaluation öffentlicher Politik. Schlussbericht NFP 27. Basel 1997.
• Ritz, Adrian (2003): Evaluation von New Public Management: Grundlagen und empirische Ergebnisse der Bewertung von Verwaltungsreformen in der schweizerischen Bundesverwaltung. Bern
• Ritz, Adrian (2006): Evaluationskompetenz. In: Zaugg, Robert J.(Hrsg.) (2006): Handbuch Kompetenzmanagement. Durch Kompetenz nachhaltig Werte schaffen. Festschrift für Prof. Dr. Dr. h. c. mult. Norbert Thom zum 60. Geburtstag. Bern. S. 345-354.
• Stockmann, Reinhard / Meyer, Wolfgang: Evaluation: Eine Einführung. Stuttgart 2010
• Widmer, Thomas / Beywl, Wolfgang / Fabian, Carlo (Hrsg.) (2009):  Evaluation: Ein systematisches Handbuch. Wiesbaden 2009

3.3 Spezielle Fragen/Bereiche der Evaluation

• Zur Prospektiven Evaluation von Gesetzen: siehe im Beitrag "Gesetzesfolgenabschätzung" sowie die Materialien des Eidgenössischen Bundesamtes für Justiz
• Zu Forschungsevaluation:

  Matthies, Hildegard / Simon, Dagmar (Hrsg.): Wissenschaft unter Beobachtung. Effekte und Defekte von Evaluationen. Leviathan-Sonderheft 24. Wiesbaden 2008

• Evaluation der Evaluation (Meta-Evaluation):

  Evaluation in der deutschen Entwicklungszusammenarbeit. Studie im Auftrag des Bundesministeriums für wirtschaftliche Zusammenarbeit und Entwicklung, 2009 (PDF 8,5 MB). Die Studie untersucht, ob das deutsche Evaluierungssystem unter strategischen, organisatorischen und fachlich-methodischen Aspekten richtig aufgestellt ist. Online-Quelle: Band 1 - Systemanalyse / Band 2 - Fallstudien

---

Anmerkungen

1	§ 6 HRG (nicht mehr gültig, siehe oben) Bewertung der Forschung, Lehre, Förderung des wissenschaftlichen Nachwuchses und der Gleichstellung der Geschlechter Die Arbeit der Hochschulen in Forschung und Lehre, bei der Förderung des wissenschaftlichen Nachwuchses sowie der Erfüllung des Gleichstellungsauftrags soll regelmäßig bewertet werden. Die Studierenden sind bei der Bewertung der Qualität der Lehre zu beteiligen. Die Ergebnisse der Bewertungen sollen veröffentlicht werden.
3	Übernommen von der Website Management Sciences for Health am 1. Juli 2004. Die Definition dürfte einem verbreiteten Standard entsprechen.
4	Darauf hat, speziell mit Blick auf Verwaltungsmanagement und auf dem Hintergrund der Erfahrungen mit der Einführung der "Wirkungsorientierten Verwaltungsführung" in der Schweiz, Buschor hingewiesen: Buschor, Der Beitrag der Evaluationen zur wirksameren Verwaltungsführung. In: VuM 1996, 141, 142. Denn Controlling als regelmäßige und standardisierte Berichterstattung muss zwangsläufig vereinfachen. "Evaluationen erlauben eine Beantwortung der Frage, warum etwas geschieht und nicht nur, wie das System "reagiert". Sie geben einen vertieften Einblick in die Zusammenhänge und erlauben es, Behauptungen durch Tatsachen zu ersetzen. Insbesondere die Erfassung von ungewollten Wirkungen oder Nebenwirkungen kann bei herkömmlichen Leistungsindikatoren leicht verloren gehen." (ebd.)
5	Fredersdorf, Frederic / Lehner, Martin: Hochschuldidaktik und Lerntransfer. Bildungscontrolling von FH-Studiengängen. Bielefeld 2004, S. 16
6	vgl. die Ergebnisse der vergleichenden Auswertung der Expertengruppe Evaluation der Fachhochschulen für den öffentlichen Dienst: "Die Bewertung der Lehrenden ist sowohl vom Interesse am jeweiligen Fach als auch von der Einschätzung der Berufsrelevanz des Faches durch die Studierenden abhängig. Eine undifferenzierte Verwendung von Daten der Lehrevaluation zu Zwecken der Personalbewertung der Lehrenden sollte unter Beachtung dieser Ergebnisse ausgeschlossen werden. Möglich sind bestenfalls Vergleiche der Einschätzungen von Lehrenden innerhalb bestimmter Fächergruppen bzw. einzelner Fächer." (Zusammenfassung der Ergebnisse, Nr. 7. Ausführliche Ergebnisse im Gesamtbericht 2004 (pdf-Datei, 1,1 MB)). Aus dem Bericht 2008: Empfehlung 2: Für dienstliche Beurteilung und Leistungsbezahlung ist zu berücksichtigen, dass die Evaluationsergebnisse keinen unmittelbaren Rückschluss auf Leistung und Lehrerfolg im Vergleich zulassen. Sie bedürfen daher einer Einordnung in den Gesamtkontext der fächerbezogenen Lehr-/Lernleistung. Die Ergebnisse, die dieser Empfehlung zugrunde liegen, werden im Bericht 2008 auf S. 2 f. referiert.
7	Die Expertengruppe Evaluation der FHöD hat folgende Reihenfolge der Beliebtheit der Fächer - mit der Folge entsprechend besserer Bewertung durch die Studierenden - gefunden: Polizeifächer / Verwaltungsrecht / Wirtschaftswissenschaften / Psychologie und Methoden sozialwissenschaftlichen Arbeitens. Quellen siehe Fußnote 6.

 

---