Evaluation

(Beitrag im Online-Verwaltungslexikon olev.de, Version 2.6)

1 Definition(en)

1.1 Begriff

Bewertung, Begutachtung von Leistung, Wirkung, Impact, Erfolg und/oder Effizienz/Wirtschaftlichkeit von Bildungs- oder anderen Prozessen, Projekten, Programmen, Institutionen, Strategie usw., oft mit beratender Funktion im Unterschied zu Controlling und Akkreditierung.

Als Evaluation wird sowohl die Bewertung selbst als auch der Prozess bezeichnet.

Aufgabe von Evaluation ist, diese Bewertung so systematisch und unparteiisch wie möglich vorzunehmen (normative Definition, siehe "Standards der Evaluation"), orientiert an dem Ziel, Verbesserungen zu unterstützen. Daran, ob Evaluation hilfreich ist, Lernen und Verbesserung ermöglicht, ist Evaluation selbst zu messen (Meta-Evaluation).

1.2 Abgrenzung zu anderen Funktionen

Die (nur) beratende und damit unterstützende Funktion - im Gegensatz zur Kontrolle - ist aber nicht allgemein anerkannt, so dass andere Bedeutungen möglich sind. Insbesondere ist die Programmevaluation oft verbindlich vorgeschrieben und dient der Überprüfung des Programms im Interesse des Auftrag- oder Finanzgebers. (Mehr zum Verhältnis zu anderen Instrumenten / zur Programmevaluation).

Im Verhältnis zu Controlling ist Evaluation aufwändiger, aber auch differenzierter. Speziell im Verwaltungsmanagement kann sie der Gefahr vorschneller Vereinfachungen durch Controlling begegnen[4]. Deshalb ist Evaluation ergänzend zu Controlling zu empfehlen (Einzelheiten siehe Buschor[4]).

1.3 UN-Definition

Ein umfassende Definition von Evaluation, die die international verfügbaren Quellen (z. B. der OECD und der UN-Mitglieder) auswertet, enthalten die "Norms for Evaluation in the UN System" der "United Nations Evaluation Group - UNEG" vom April 2005: 

N 1 - Definition

  • An evaluation is an assessment, as systematic and impartial as possible, of an activity, project, programme, strategy, policy, topic, theme, sector, operational area, institutional performance etc.
  • It focuses on expected and achieved accomplishments, examining the results chain, processes, contextual factors and causality, in order to understand achievements or the lack thereof.
  • It aims at determining the relevance, impact, effectiveness, efficiency and sustainability of the interventions and contributions of the organizations of the UN system.

(United Nations Evaluation Group - UNEG: Norms for Evaluation in the UN System, April 2005, N 1.2, Formatierung geändert)

Mehr ... / die 3 Fragen der Evaluation

1.4 Einordnung der Evaluation: Evaluation und Politik

Evaluation setzt Ziele/Zwecke voraus, die nicht objektiv vorgegeben sind. Sie können allerdings weitgehend akzeptiert oder durch hochrangiges Recht (Verfassung, Grundrechte) vorgegeben sein, zumindest zum Teil. So gibt es über bestimmte grundlegende Orientierungen der Bildung(spolitik) einen übergreifenden Konsens, siehe die Darstellung der Bildungsziele im Bericht der Expertengruppe des Forum Bildung, 2000, S. 3, referiert im Beitrag "Kompetenzen als Ziele von Bildung und Qualifikation", und die Definition von "Schlüsselkompetenzen für lebensbegleitendes Lernen" als "europäischen Referenzrahmen", referiert im Beitrag "Potenzial von Mitarbeitenden".

Es erscheint deshalb sinnvoll, der Darstellung von Stockmann (in Stockmann/Meyer 2010: 65) folgend zwischen der Entstehung, der Durchführung (hier ist Wissenschaftlichkeit anzustreben) und der Verwertung von Evaluation zu unterscheiden.

1.5 Dimensionen der Evaluation

Als Dimensionen von Evaluation weitgehend die Unterscheidung von

(im Anschluss an Stockmann / Meyer 2010: 67 ff.)

2 Weitere Informationen

2.1 Evaluation allgemein und im Bildungsbereich

Eine nur beratende Funktion der Evaluation stärkt die Eigenverantwortlichkeit derjenigen, deren Aktivität evaluiert wird (z. B. der Fachbereiche, der Lehrenden), sie eignet sich deshalb besonders für Bildungseinrichtungen.

Evaluation muss sich immer fragen lassen: hilft sie zu lernen und besser zu werden?

Für Hochschulen forderte das Hochschulrahmengesetz des Bundes die Evaluation von Forschung und Lehre[1] unter Beteiligung der Studierenden (§ 6 Satz 2 HRG), die Veröffentlichung der Ergebnisse war lediglich eine Soll-Regelung (§ 6 Satz 3 HRG). Maßgebend sind jetzt die Hochschulgesetze der Länder, die z. T. weiter gehen, vgl. etwa für Nordrhein-Westfalen:

Auszug aus dem Hochschulgesetz NRW

§ 7
Qualitätssicherung durch Akkreditierung und Evaluation

(1) Die Studiengänge sind nach den geltenden Regelungen zu akkreditieren und zu reakkreditieren. Die Aufnahme des Studienbetriebs setzt den erfolgreichen Abschluss der Akkreditierung voraus; die aus dem Akkreditierungsverfahren resultierenden Auflagen sind umzusetzen. Die Akkreditierung erfolgt durch Agenturen, die ihrerseits akkreditiert worden sind. Ausnahmen von den Sätzen 1 bis 3 bedürfen der Genehmigung durch das Ministerium.

(2) Zur Qualitätsentwicklung und -sicherung überprüfen und bewerten die Hochschulen regelmäßig die Erfüllung ihrer Aufgaben, insbesondere im Bereich der Lehre. Die Evaluationsverfahren regeln die Hochschulen in Ordnungen, die auch Bestimmungen über Art, Umfang und Behandlung der zu erhebenden, zu verarbeitenden und zu veröffentlichenden personenbezogenen Daten der Mitglieder und Angehörigen enthalten, die zur Bewertung notwendig sind. Die Evaluation soll auf der Basis geschlechtsdifferenzierter Daten erfolgen. Die Ergebnisse der Evaluation sind zu veröffentlichen.

(3) Das Ministerium kann hochschulübergreifende, vergleichende Begutachtungen der Qualitätssicherungssysteme der Hochschulen (Informed Peer Review) sowie Struktur- und Forschungsevaluationen veranlassen. Die Evaluationsberichte werden veröffentlicht.

(4) Alle Mitglieder und Angehörigen der Hochschule haben die Pflicht, an Akkreditierung und Evaluation mitzuwirken.

Für die Schulen hat sich eher ein Qualitätssicherungssystem mit vorgegebenen zentralen Abschlussprüfungen und Lernstandserhebungen etabliert, das eine zentrale Steuerung der Qualität und Unterstützung der Schulen ermöglichen soll, ergänzt z. B. in Nordrhein-Westfalen durch "Qualitätsanalysen", die durch Externe durchgeführt werden und den Schulen eine Rückmeldung geben sollen, also eine der Evaluation vergleichbare Funktion übernehmen könnten.

Unterschiede zu anderen Verfahren liegen in der Funktion und/oder den Adressaten:

Aktuelle hochschulpolitische Problematik ist die Verwendung von Evaluationsergebnissen für die Leistungsbewertung der Lehrpersonen mit Konsequenzen bei der Bezahlung.

Eine Anleitung für Evaluation enthalten die von der OECD veröffentlichten "Guidelines", 1999, siehe ferner die Standards der Evaluation, die oft zusammen mit Anleitungen veröffentlicht werden, und die weiteren Quellen.

Evaluation ist ihrerseits auf Erreichung der Ziele hin zu evaluieren (Meta-Evaluation).

Evaluation - Online-Verwaltungslexikon Seitenanfang

2.2 Arten der Evaluation

2.3.1 Prospektive, formative und summative Evaluation

Nach dem Stadium, in dem sich die zu evaluierenden Aktivitäten befinden, kann unterschieden werden in

Die Lernwirkung durch summmative Evaluation setzt voraus, dass die Ergebnisse für künftige Aktivitäten genutzt, Erfahrungen also gespeichert und für die Planung und Durchführung in der Zukunft verwendet werden - eine Ressource für Qualität und Wirtschaftlichkeit, die oft nicht systematisch oder überhaupt nicht genutzt wird. Systematische Nutzung dieser Ressource erfolgt durch Wissensmanagement und durch personelle Maßnahmen die darauf abzielen, den bei Beteiligten früherer Aktivitäten vorhandenen Erfahrungsschatz weiterzugeben und für künftige Aktivitäten zu nutzen - eine Aufgabe des Personalmanagements.

2.3.2 Interne und externe Evaluation

Unterscheidung nach der Herkunft der Personen, die die Evaluation durchführen.

Zu den möglichen Vor- und Nachteilen siehe ausführlicher den Beitrag "Einsatz externer Experten".

2.3 Evaluation in Hochschulen

Der Wissenschaftsrat hat 2008 "Empfehlungen zur Qualitätsverbesserung von Lehre und Studium" veröffentlicht, die wichtige Aspekte der Entwicklung der Hochschulen und der Evaluation formulieren, siehe den nachfolgenden Auszug:  Seitenanfang

Wissenschaftsrat:
Empfehlungen zur Qualitätsverbesserung von Lehre und Studium.

Drs. 8639-08. Online-Quelle am 12.02.2010 - Auszug -

Ausrichtung der Hochschullehre (S. 8)
Die Studierenden in ihrem Lernen bestmöglich zu unterstützen, steht im Mittelpunkt aller Anstrengungen der Lehrenden und der Hochschulen in Studium und Lehre. Lehrende sollten selbstorganisiertes Lernen fördern und die Studienprozesse auf die Aneignung von fachlichen sowie überfachlichen Kompetenzen ausrichten. Eigeninitiative und Eigenverantwortung der Studierenden sollten gleichermaßen gefördert und eingefordert werden. Ein solches Rollenverständnis von Lehrenden und Lernenden ist zu flankieren mit Veranstaltungsformen, die förderliche Lehr- und Lernsituationen schaffen und das aktive Lernen unterstützen.

Qualitätsmanagement und Personalentwicklung (S. 10 f.)
Eine der zentralen Voraussetzungen für eine gezielte und kontrollierte Qualitätsentwicklung im Bereich Lehre und Studium ist der Aufbau eines systematischen und integrierten hochschulinternen Qualitätsmanagements. Der Wissenschaftsrat empfiehlt, dass alle Hochschulen innerhalb der nächsten drei bis fünf Jahre ein internationalen Standards entsprechendes Qualitätsmanagement aufbauen sollten. Dazu gehört es, im Zuge der Profilbildung ambitionierte Ziele festzulegen, Verantwortlichkeiten klar zuzuordnen und Anreize für ein verstärktes Engagement in der Lehre zu setzen. Das unter möglichst breiter Beteiligung aller Statusgruppen organisierte Qualitätsmanagement sollte als strategisches Steuerungsinstrument der Hochschulleitung die Stetigkeit eines definierten Leistungsniveaus sichern, Veränderungsprozesse fördern und mögliche Fehlentwicklungen frühzeitig identifizieren helfen.

Leistungstransparenz und Qualitätsbewertung (S. 11)
Der Wissenschaftsrat empfiehlt, im gesamten Hochschulsystem eine umfassende Praxis der Rechenschaftslegung und der Transparenz der Leistungsfähigkeit im Bereich Studium und Lehre zu entwickeln und zu etablieren. Dies stellt eine Grundvoraussetzung einer gezielten qualitätsorientierten Binnensteuerung der Hochschulen dar. Alle Bewertungsverfahren sollten außer den erbrachten Leistungen (Output) systematisch auch die jeweiligen Voraussetzungen (Input) berücksichtigen. (Hervorhebung ergänzt) Seitenanfang

Zentrale Empfehlungen, Abschnitt B.III.: Qualitätsbewertung von Studium und Lehre (S. 82, Umrahmung im Original)
  • Aufbau verlässlicher Bewertungsinstrumente für die Qualität der Lehrleistungen und zur differenzierten Erfassung des Kompetenzgewinns im Studium.
  • Berücksichtigung des Verhältnisses zwischen Input- und Output-Faktoren in Bewertungsverfahren der Qualität von Lehre und Studium.
  • Herstellung von Transparenz über zentrale Indikatoren, die Rückschlüsse auf die Qualität von Studienangeboten zulassen.
Evaluation - Online-Verwaltungslexikon Seitenanfang

Zur Evaluation sollten nach dem Konzept des Benchmarking Clubs der Fachhochschulen für den öffentlichen Dienst gehören:

    1. Studierendenbefragung,
    2. statistischer Jahresbericht,
    3. Eigenanalyse des Fachbereichs,
    4. Evaluation von/durch Zielgruppen (durch Befragung, Workshops usw.),
    5. externe Evaluation (z. B. durch Peer Review).

Diese traditionelle Liste ist nicht geeignet, die weitergehenden Empfehlungen des Wissenschaftsrates 2008 umzusetzen, bedarf also einer Überprüfung und Ergänzung - wie viele Evaluationskonzepte, die derzeit praktiziert werden. Das gilt entsprechend für die gängige Definition und Liste der Aktivitäten, die vom BMBF im Glossar der amtlichen Website zur Bologna-Nachfolgekonferenz in Berlin 2003 veröffentlicht worden ist (übernommen am 11. Mai 2004, Formatierung geändert): Seitenanfang

Evaluierung

Neben Akkreditierung ist Evaluierung die zentrale Aktivität zur Qualitätssicherung in der Hochschulbildung. Evaluiert - d. h. bewertet - werden Lehre und Studium eines Faches oder Fachbereichs sowie die jeweils zugeordneten Studiengänge. Durch Bestandsaufnahme und Analyse sollen Stärken und Schwächen der Ausbildung aufgezeigt sowie Vorschläge zur Förderung ihrer Qualität formuliert werden.

Die Evaluierung erfolgt entweder intern oder extern. Der Prozess der internen Evaluierung umfasst

  • die systematische Erhebung von Verwaltungsdaten,
  • die Befragung von Studierenden und Absolventen sowie
  • moderierte Gruppengespräche mit Lehrenden und Studierenden.

Im Rahmen der externen Evaluierung besuchen Außenstehende das Fach / den Fachbereich, um die Qualität von Studium und Lehre zu überprüfen. Bei den externen Gutachtern (peers) handelt es sich um Hochschullehrer oder Personen aus der beruflichen Praxis, die Gespräche mit Studierenden, dem wissenschaftlichen Nachwuchs sowie den Professoren führen und ein abschließendes Gutachten vorlegen. Der Evaluierung von Studium und Lehre muss eine Rechnungslegung folgen, welche über die Effizienz der erfolgten Qualitätssicherungsmaßnahmen Auskunft gibt.

Neben Studium und Lehre wird auch die Forschungsleistung evaluiert. Dies geschieht auf unterschiedlichen Ebenen: bezogen auf die nationalen Forschungssysteme, auf einzelne Einrichtungen, auf Forschungsprogramme oder einzelne Projekte. Auch in dem Bereich der Forschungsevaluation kommen Verfahren der internen und externen Evaluierung zum Einsatz.

Weitere Informationen unter:

Relative Übereinstimmung besteht konzeptionell, dass Evaluation eingebunden sein muss in ein Gesamtkonzept des Qualitätsmanagements.

In die Evaluation der Ausbildung sind auch Praktika als Teil der Ausbildung einzubeziehen.

Zu einer zusammenfassenden Bewertung der Evaluation siehe den Beitrag von Nicola Döring im Neuen Handbuch Hochschullehre, Ergänzungslieferung Juli 2005:

Zu weiteren aktuellen Erkenntnissen und Quellen siehe im Wiki zum Online-Verwaltungslexikon

Evaluation - Online-Verwaltungslexikon Seitenanfang

Forschungsevaluation wird inzwischen auch kritisch diskutiert wegen der Vielzahl von "Rankings", die lediglich Zahlenwerte zusammentrügen (dazu z. B. Matthies / Simon): Entsprechendes gilt z. T. auch für andere Evaluationen, siehe im Folgenden.

2.4 Nutzen von Studierendenbefragung (Teilnehmerbefragungen) /

2.4.1 Verrechtlichung der Evaluation vermeiden

"Die Qualität der Lehre an der Zufriedenheit der Studenten festzumachen ist so, als würde man den Sieger eines Fußballspiels nach der Sympathie bei den Zuschauern auswählen und nicht nach der Zahl der geschossenen Tore."
Peters Sloane, Universität Paderborn, zitiert v. G. Giesberg, FAZ vom 11.6.2012, S. 12

Studierendenbefragungen (oder Teilnehmerbefragungen bei Fort- und Weiterbildung) sind ein unverzichtbarer Teil der Evaluation, aber in ihrem Wert begrenzt (siehe dazu die weiteren Unterabschnitte dieses Kapitels). Das ist vor allem deshalb wichtig zu betonen, weil die Tendenz besteht, sie zu einem leicht verwendbaren Instrument für die Entscheidung über Leistungsbezüge zu machen.

Dabei wird übersehen, dass die Evaluation damit verrechtlicht wird: die Regeln für Anlass, Häufigkeit, Art und Weise der Durchführung, Auswertung müssen dann den Anforderungen für das personalrechtliche Instrumentarium genügen und können nicht mehr nur als Teil von individuellen und organisatorischen Lernprozessen und der Unterstützung von Management-entscheidungen gestaltet werden.

Leistungsbezahlung nach Evaluationsergebnissen
verrechtlicht die Evaluation und gefährdet damit ihre Funktion.

Leistungszulagen nach durch-schnittlicher Bewertung sind rechtswidrig: die Zahlenwerte sind keine Vergleichsgrundlage. B. K.

Im übrigen muss dann die Verwertung der Evaluationsergebnisse fachlich einwandfrei erfolgen, sonst ist sie rechtswidrig: es dürfen keine Schlüsse gezogen werden, die fachlich nicht zulässig sind (z. B. einfacher Vergleich von Durchschnittsnoten), es muss vielmehr eine fachgerechte Interpretation unter Berücksichtigung von Fehlergrenzen, Streuungsmaß, Besonderheiten der Fächer / Lehrveranstaltungen / Teilnehmergruppen usw. erfolgen. Und das ist keineswegs einfach, sondern erfordert sozialwissenschaftlich-empirischen Sachverstand, der weder in der juristischen noch in der Verwaltungsausbildung für den gehobenen Dienst vermittelt wird, bei Personalisten also nicht vorausgesetzt werden kann. Ein typischer Fehlschluss wäre der einfache Vergleich der "Noten", die die Studierenden vergeben haben, als Mittelwert über alle Fragen. Siehe dazu den Bericht 2010 der Expertengruppe Evaluation der Fachhochschulen für den öffentlichen Dienst.

2.4.2 Empirischer Nutzen der Studierendenbefragung Seitenanfang

Evaluation wirkt deutlich nur in Kombination mit Beratung, so die Untersuchungsergebnisse von Rindermann u. a.:

Rindermann, Heiner / Kohler, Jürgen / Meisenberg, Gerhard: Quality of Instruction Improved by Evaluation and Consultation of Instructors. In: International Journal for Academic Development, Vol. 12, No. 2, November 2007, pp. 73-85. Online-Quelle: http://www.uni-graz.at/pslgcwww/rindermann/publikationen/07IntJourAD.pdf

Aus der Zusammenfassung:

"In Übereinstimmung mit einigen früheren Untersuchungen zeigte sich, dass Evaluation allein kaum Wirkung hat, eine deutliche Verbesserung aber erreicht wurde, wenn die Evaluation mit Beratung kombiniert wurde."

In der Studie heißt es weiter:

2.4.3 Leistungsfähigkeit der Zufriedenheitsbefragung Seitenanfang

Zur Leistungsfähigkeit der Zufriedenheitsbefragung der Studierenden heißt es bei Fredersdorf/Lehner 2004[5]:

Folgende Gründe können die Evaluation von Hochschullehre erschweren:

Mangelnde Fähigkeit der Studierenden, Lehrqualitäten zu erkennen und zu bewerten:
Wenn Lehrevaluation auf der Bewertung von Studierenden basiert, ist sie nur bedingt valide. Denn obwohl Studierende "Betroffene" der Lehre sind, verfügen sie meist nur über geringes didaktisches Grundwissen.

Wie aus der Evaluation von Maßnahmen der Erwachsenenbildung bekannt, spiegelt eine Seminarbewertung durch Teilnehmer oft andere als didaktische Kriterien wider (Stimmungen, subjektives Wohlbefinden, Beliebtheit des Referenten u. a., Wöltje & Egenberger 1996, S. 220).

Selbst wenn Studierende dieses für sich bewusst ausschließen und ihre Meinung zu vorab definierten didaktischen Standards kundtun, ist die Validität der Antworten zu bezweifeln: Offene Statements zu den positiven und negativen Aspekten der Lehrveranstaltung fördern in der Regel nur das Offensichtliche zu Tage (organisatorische Rahmenbedingungen, Lernklima oder Mangelndes) und bewerten damit nur einen Teil des didaktischen Settings. Ausformulierte, standardisierte Statements zur Art und Güte spezifischer didaktischer Maßnahmen liefern trotz Validitätsbemühungen in der Formulierung Einschätzungen aus nichtfachlicher Sicht. Eine valide Bewertung der didaktischen Standards kann eigentlich nur ein erfahrener Kollege vornehmen.

 SeitenanfangAls Beleg dafür: Die Schülerinnen und Schüler des deutschen Bildungssystems waren sich der von PISA ermittelten mangelhaften Leistung dieses Systems nicht bewusst, dabei gehen sie lieber zur Schule als die finnischen Schülerinnen und Schüler, die bessere Leistungen erreichten. Und Lehrkräfte, die sich abmühen, die Vorurteile ihrer Studierenden zu erschüttern, die diese aus ihren bisherigen Erfahrungen mitbringen

über die berufliche Praxis, Sinn und Unsinn von Reformen generell und bestimmter Reformelemente im Besonderen, über die "richtige" Organisation und Führung und "richtiges" berufliches Verhalten allgemein und in Konfliktfällen

und neue und differenziertere Sichtweisen vermitteln, werden eher schlecht bewertet, weil die Studierenden dies als Verunsicherung und Kritik erleben.

Damit könnte sich ein Teil von Bewertungsunterschieden erklären, den die Evaluation bisher ergeben hat: Fächer mit geringer "Vorbelastung" durch Vorverständnis und Vorurteile können besser abschneiden, dazu gehören zumeist die juristischen Fächer (wer wagt es schon, der Fachkompetenz der juristischen Lehrperson zu widersprechen? Aber bei Themen wie "Organisation" und "Führung" können alle mitreden!), bestimmte andere Fächer werden regelmäßig schlechter abschneiden, wenn sie ihrem Bildungsauftrag gerecht werden wollen.[7]

2.4.4 Bedeutung der Ergebnisse / Leistungsbezahlung

Wenn die Ergebnisse von Studierendenbefragungen für die Leistungsbezahlung von Lehrkräften verwendet werden, sind die empirisch gesicherten Unterschiede nach Fächern und Fachbereichen[6] zu berücksichtigen, weil sonst das Gleichbehandlungsgebot, Art. 3 GG, verletzt wird. Die Warnung vor den Folgen einer Verrechtlichung (siehe oben) gilt.

Deshalb sollte die Studierendenbefragung nur als Teilbeitrag zur Evaluation verstanden und entsprechend vorsichtig verwertet werden. Gemessen wird nur "Zufriedenheit", nicht Lernerfolg, erst Recht nicht, ob das Richtige gelernt, die Fähigkeit zur Bewältigung der Anforderungen der Berufspraxis verbessert wurde, also die eigentlichen Qualifikationsziele erreicht wurden.

2.4.4 Weitere Ergebnisse und Quellen

Evaluation - Online-Verwaltungslexikon Seitenanfang

2.5 Programmevaluation

Alternative Definition:
"A process of gathering and analyzing information for the purpose of determining whether a program is carrying out the activities that it had planned and the extent to which the program is achieving its stated objectives (through these activities). The evaluation is used as a tool to learn how the program is most effective and/or what modifications should be made to improve services." [3] Seitenanfang

2.6 Evaluation als verfassungsrechtliche Pflicht des Gesetzgebers?

Gesetzgeberische Maßnahmen haben in vielen Fällen Auswirkungen auf die Grundrechte der Bürger. In diesen Fällen kann der Gesetzgeber eine Pflicht zur Evaluation haben, vgl. Olaf Deinert, Göttingen, in der Frankfurter Allgemeinen Zeitung vom 25./26.04.2009, Nr. 96, S. C 2:

Das Bundesverfassungsgericht hat dem Parlament in vielen Bereichen einen gesetzgeberischen Einschätzungsspielraum belassen. Wo sich die Wirkung gesetzlicher Regelungen nicht sicher prognostizieren lässt, verlangt der Primat der Politik, dass der Gesetzgeber "probieren" darf, indem er seinen Annahmen folgt und abwartet, ob sie sich bestätigen. Das hat zur Folge, dass manche Rüge von Grundrechtsverstößen unter Hinweis auf die Einschätzungsprärogative erfolglos blieb. Allerdings hat das Bundesverfassungsgericht dem Gesetzgeber in solchen Fällen immer zugleich eine Beobachtungspflicht verordnet. Zum Schutz der Bürger muss er die Wirkung seiner Gesetze evaluieren, um bei unerwarteten Fehlentwicklungen beizeiten einschreiten zu können.

Das Bundesverfassungsgericht leitet eine Prognose-, Beobachtungs- und Nachbesserungspflicht insbesondere aus grundrechtlichen Schutzpflichten ab, vgl. BVerfGE 50, S. 290, 333; 56, 54, 78; 88, 203, 263. In der zuletzt genannten Entscheidung (BVerfGE 88, S. 203, 263) heißt es, der Gesetzgeber müsse sich des erreichbaren, für die gebotene verlässliche Prognose wesentlichen Materials bedienen und es mit der gebotenen Sorgfalt daraufhin auswerten, ob es seine gesetzgeberische Einschätzung hinreichend zu stützen vermag. Er ist danach also zu einer sorgfältigen, soweit wie möglich empirisch fundierten Prognose verpflichtet, muss dann aber auch die tatsächlichen Wirkungen beobachten, sprich: evaluieren.

Zur Problematik siehe die Diskussion über die vergleichbare Frage, ob eine verfassungsrechtliche Verpflichtung zur Gesetzesfolgenabschätzung besteht.

Evaluation - Online-Verwaltungslexikon Seitenanfang

2.7 Standards der Evaluation

2.7.1 Standards allgemein

Evaluation wird weltweit als Rückmeldung für Förderprogramme verwendet, so dass es zahlreiche Standards gibt, siehe z. B.

Auch andere Fördermaßnahmen der EU außerhalb der Entwicklungsarbeit unterliegen regelmäßig einer Evaluation.

Für die Evaluation von Maßnahmen, die in Deutschland durch den Bund gefördert worden sind, gibt es eine Zusammenstellung von Quellen im Internet.

2.7.2 OECD: Best Practice Guidelines For Evaluation, 1999

Die besondere Funktion, die Evaluation in diesem Kontext übernehmen kann, wird insbesondere von den OECD-Guidelines dargestellt. Sie erörtern Sinn und Zweck der Evaluation, die Abgrenzung zu anderen Instrumenten und formulieren Vorschläge für das Vorgehen bei der Verwendung von Evaluation einschließlich der strategischen Perspektive und der Einbindung in den politischen Handlungsrahmen.

Danach überprüfen Evaluationen zunächst die Ergebnisse politischer Programme, sind also wirkungs-/outcome-orientiert. Im Folgenden einige Auszüge:

"Evaluations are analytical assessments addressing results of public policies, organisations or programmes, that emphasise reliability and usefulness of findings. Their role is to improve information and reduce uncertainty; however, even evaluations based on rigorous methods rely significantly on judgement. A distinction can be made between ex-ante evaluations (or policy reviews) and ex-post evaluations. Many practices discussed in these Guidelines apply equally to both, even if their objectives are different." (S. 6)

 SeitenanfangDie besondere Vorgehensweise wird auf S. 9 wie folgt formuliert:

"Evaluation persuades rather than convinces, argues rather than demonstrates, is credible rather than certain, is variably accepted rather than compelling."

Einen Vergleich mit anderen Bewertungs- und Rückkoppelungsverfahren enthält die folgende Tabelle (übernommen von S. 11):

Difference Between Evaluation and Other Feedback Mechanisms
Scientific studies Evaluations focus on practical use of information
Traditional audits Evaluations study public spending from a wider viewpoint - also questioning whether the objectives of the programme are appropriate and efficiently and effectively achieved (the distinction between audit and evaluation is often somewhat blurred and will be discussed later).
Monitoring Evaluation is often conducted as a single effort and seeks to gain more in-depth information of a programme in question, although the existence of well-functioning, regular monitoring systems is often a necessary basis for successful evaluations.
Performance
measurement
Evaluation strives for more: it tries to find explanations for observed outcomes and understand the logic of public intervention (however, well-designed performance measurement systems are, for example in the USA, often identified as one form of evaluation).
Policy analysis Evaluation focus on ex post assessment. Policy analysis is sometimes defined as ex ante evaluation in studying future policy options.
Quelle: OECD, Public Management Service / Public Management Committee: Improving Evaluation Practices. Best Practice Guidelines for Evaluation and Background Paper. Januar 1999, S. 11. Online-Quelle  Seitenanfang
Evaluation - Online-Verwaltungslexikon Seitenanfang

2.7.3 Normen und Standards der Vereinten Nationen (UN)

Differenziert ausgearbeitet sind auch die Standards der Vereinten Nationen, für die eine eigene Einheit, die United Nations Evaluation Group - UNEG zuständig ist. Siehe bereits oben die Definition, weitere Auszüge aus den Normen für Evaluation im besonderen Beitrag sowie die Quellenangaben unten zu dem Regelwerk aus Normen und Standards.

2.7.4 Andere Standards

Das Joint Committee on Standards for Educational Evaluation hat Standards auch für weitere Arten der Evaluation entwickelt, z. B. Standards der Evaluation im Personalbereich, für Programmevaluation. Sie sind zwar für den Bildungsbereich entwickelt, können jedoch, entsprechend angepasst, auch in anderen Bereichen verwendet werden.

2.7.5 Standards der Bildungsevaluation

Es gibt weithin akzeptierte Standards für die Evaluation im Bildungsbereich, die von kompetenten Organisationen entwickelt worden sind:

  1. Das Original: Joint Committee on Standards for Educational Evaluation, die besonderen "Student Evaluation Standards" sind vom American National Standards Institute anerkannter "American National Standard" (siehe das "factsheet").
  2. Die von der DeGEval adaptierte Fassung der Evaluationsstandards (ohne Hinweis auf die Quelle, die vom Joint Committee entwickelten Standards, und ohne die Fortschreibungen dort)
  3. Die Schweizer Variante der Standards, veröffentlicht von der Schweizerischen Evaluationsgesellschaft (SEVAL).

Siehe den Vergleich der Standards 1 und 2.

Evaluation - Online-Verwaltungslexikon Seitenanfang

2.8 Verwandte Gebiete / Fragestellungen

Evaluation ist verwandt

 SeitenanfangPolitikwissenschaftlich bearbeitet wird schon lange das Thema der Erfolgskontrolle, siehe z. B. Derlien, Hans-Ulrich: Die Erfolgskontrolle staatlicher Planung. Baden-Baden 1976, sowie in diesem Zusammenhang auch die Arbeiten der Gesellschaft für Programmforschung.

3 Quellen

3.1 Evaluation im Hochschul- und Bildungsbereich

3.1.1 Quellenverzeichnis im OlevWiki (aktuelle Monographien und Aufsätze)

3.1.2 Internet-Adressen (Link-Sammlung)

 SeitenanfangEuropäische und internationale Quellen

Siehe die weiteren Angaben im OlevWiki

3.1.3 Literatur zur Evaluation im Hochschul- und Bildungsbereich

 SeitenanfangMaterialien speziell für Verwaltungsfachhochschulen siehe die Evaluations-Website der Expertengruppe Evaluation und Qualität.

3.2 Evaluation allgemein

3.2.1 Internationale und amtliche Quellen

3.2.2 Weitere Quellen zu Evaluation allgemein

3.3 Spezielle Fragen/Bereiche der Evaluation

Evaluation - Online-Verwaltungslexikon  Seitenanfang

Anmerkungen

Zurück zum Text

§ 6 HRG (nicht mehr gültig, siehe oben)
Bewertung der Forschung, Lehre, Förderung des wissenschaftlichen Nachwuchses
und der Gleichstellung der Geschlechter

Die Arbeit der Hochschulen in Forschung und Lehre, bei der Förderung des wissenschaftlichen Nachwuchses sowie der Erfüllung des Gleichstellungsauftrags soll regelmäßig bewertet werden. Die Studierenden sind bei der Bewertung der Qualität der Lehre zu beteiligen. Die Ergebnisse der Bewertungen sollen veröffentlicht werden.

Zurück zum Text Übernommen von der Website Management Sciences for Health am 1. Juli 2004. Die Definition dürfte einem verbreiteten Standard entsprechen.
Zurück zum Text Darauf hat, speziell mit Blick auf Verwaltungsmanagement und auf dem Hintergrund der Erfahrungen mit der Einführung der "Wirkungsorientierten Verwaltungsführung" in der Schweiz, Buschor hingewiesen: Buschor, Der Beitrag der Evaluationen zur wirksameren Verwaltungsführung. In: VuM 1996, 141, 142. Denn Controlling als regelmäßige und standardisierte Berichterstattung muss zwangsläufig vereinfachen. "Evaluationen erlauben eine Beantwortung der Frage, warum etwas geschieht und nicht nur, wie das System "reagiert". Sie geben einen vertieften Einblick in die Zusammenhänge und erlauben es, Behauptungen durch Tatsachen zu ersetzen. Insbesondere die Erfassung von ungewollten Wirkungen oder Nebenwirkungen kann bei herkömmlichen Leistungsindikatoren leicht verloren gehen." (ebd.)
Zurück zum Text Fredersdorf, Frederic / Lehner, Martin: Hochschuldidaktik und Lerntransfer. Bildungscontrolling von FH-Studiengängen. Bielefeld 2004, S. 16
Zurück zum Text vgl. die Ergebnisse der vergleichenden Auswertung der Expertengruppe Evaluation der Fachhochschulen für den öffentlichen Dienst:

"Die Bewertung der Lehrenden ist sowohl vom Interesse am jeweiligen Fach als auch von der Einschätzung der Berufsrelevanz des Faches durch die Studierenden abhängig. Eine undifferenzierte Verwendung von Daten der Lehrevaluation zu Zwecken der Personalbewertung der Lehrenden sollte unter Beachtung dieser Ergebnisse ausgeschlossen werden. Möglich sind bestenfalls Vergleiche der Einschätzungen von Lehrenden innerhalb bestimmter Fächergruppen bzw. einzelner Fächer."

(Zusammenfassung der Ergebnisse, Nr. 7. Ausführliche Ergebnisse im Gesamtbericht 2004 (pdf-Datei, 1,1 MB)).

Aus dem Bericht 2008: Empfehlung 2: Für dienstliche Beurteilung und Leistungsbezahlung ist zu berücksichtigen, dass die Evaluationsergebnisse keinen unmittelbaren Rückschluss auf Leistung und Lehrerfolg im Vergleich zulassen. Sie bedürfen daher einer Einordnung in den Gesamtkontext der fächerbezogenen Lehr-/Lernleistung.

Die Ergebnisse, die dieser Empfehlung zugrunde liegen, werden im Bericht 2008 auf S. 2 f. referiert.

7 Zurück zum Text Die Expertengruppe Evaluation der FHöD hat folgende Reihenfolge der Beliebtheit der Fächer - mit der Folge entsprechend besserer Bewertung durch die Studierenden - gefunden: Polizeifächer / Verwaltungsrecht / Wirtschaftswissenschaften / Psychologie und Methoden sozialwissenschaftlichen Arbeitens. Quellen siehe Fußnote 6.
   Seitenanfang