How to: Großveranstaltungen evaluieren
Kulturelle Großveranstaltungen sind ohne die Unterstützung von Fördereinrichtungen und fördernden Verwaltungen oft nur schwer zu realisieren. Während Kulturinstitutionen den Mehrwert und Erfolg ihrer Veranstaltungen in vorherigen Anträgen und abschließenden Berichten darlegen, haben aber auch Fördereinrichtungen die Möglichkeit, die Durchführung der von ihnen geförderten Veranstaltung reflektierend zu begleiten. Evaluationen ermöglichen dabei eine fundierte Einschätzung darüber, ob gesetzte Förderziele erreicht, welche Wirkungen erzielt und wie effizient die Ressourcen eingesetzt wurden.
Der Guide auf dieser Seite richtet sich an Fördergebende und beschreibt exemplarisch am Beispiel einer Evaluation der CHOR.com, warum eine Evaluation für sie relevant sein könnte, was genau evaluiert wird und welche Methoden sich dafür anbieten.
Der Guide stützt sich auf die wissenschaftlichen Ausarbeitungen der Fachhochschule des Mittelstands (kurz FHM), die in Kooperation mit Musikland Niedersachsen 2024 eine Evaluation der CHOR.com durchgeführt hat. Das Projekt wurde gefördert durch das Niedersächsische Ministerium für Wissenschaft und Kultur und das Kulturbüro der Landeshauptstadt Hannover.
Helge Krückeberg
[Disclaimer: Evaluationen von Großveranstaltungen drehen sich häufig vor allem um die Veranstaltungssicherheit von Seiten der Organisation. Diesen Punkt lassen wir hier aus, da er meist kein Teil der Förderung ist und beziehen uns auf den inhaltlichen Mehrwert der Veranstaltung.]
Warum sollten wir eine von uns geförderte Großveranstaltung evaluieren?
- Wissenstransfer: Erfahrungen aus Planung und Durchführung lassen sich auf Folgeveranstaltungen übertragen.
- Lernprozess: Ergebnisse können notwendige Veränderungen anstoßen
- Legitimation: der nachweisliche Erfolg einer Veranstaltung kann eine erneute Förderung relevant machen
- Wirkungsmessung: der gesellschaftliche und künstlerische Mehrwert (Impact) der Veranstaltung kann sichtbar gemacht werden
--> Beispiel chor.com: Hier stellte sich die Frage, wie sich die Veranstaltung nach drei Ausgaben in Hannover regional etabliert hatte, welche Rolle sie auch für die hannoversche Chorlandschaft spielte und ob die Teilnehmenden den Standort als wichtigen Faktor ihrer Besuchsmotivation einschätzen.
Was genau wird evaluiert?
Die Zielsetzung der Evaluation ist entscheidend. Wenn bestimmte Zielvereinbarungen überprüft werden sollen, stellt sich die Frage, wie die Bestandteile der Zielvereinbarung operationalisiert werden können.
Folgende Ebenen können dabei evaluiert werden:
Einsatz (Input): Wurden die Fördergelder, Sachmittel und zeitlichen Ressourcen effektiv und wie geplant eingesetzt?
Durchführung (Process): Wie verliefen die Arbeitsabläufe, die Kommunikation zwischen den Akteur*innen und die Einbindung der Zielgruppe?
Direkte Ergebnisse (Output): Wie waren die Besucherzahlen, Ticketverkäufe, der Budgetverbrauch oder die Berichterstattung?
Mittelfristige Wirkung (Outcome): Wie war die Zufriedenheit der Besuchenden, gab es Änderungen in ihrem Wissen, ihren Einstellungen oder der Wahrnehmung gegenüber der Veranstaltung?
Langfristige Wirkung (Impact): Kann die Veranstaltung einen Beitrag zu nachhaltigen gesellschaftlichen Veränderungen leisten?
--> Beispiel chor.com: Bei der chor.com wurde die Besuchsmotivation der Teilnehmenden evaluiert. Dabei können ganz unterschiedliche Faktoren wie der Standort innerhalb der Stadt, die Kommunikation vor, während und nach der Veranstaltung, aber natürlich auch das Inhaltliche Programm eine Rolle spielen. Ganz konkret wurde der fachliche und künstlerische Mehrwert der Teilnehmende und die Relevanz der Messe für ihre eigene persönliche & berufliche Entwicklung erfragt. Daraus ergab sich ein differenziertes Bild über die Besuchsmotivation. Es wurde sich also vor allem auf den Outcome und Impact der chor.com bezogen um so planend in die Zukunft zu schauen.
Wer führt die Evaluation durch?
Zunächst sollte die Entscheidung getroffen werden, wer die Evaluation durchführt. Eine externe Evaluation ermöglicht dem Fördermittelgeber mehr Zugriff auf den Prozess und schafft mehr Neutralität.
Helge Krückeberg
Wissenschaftlicher Partner: Gibt es vor Ort eine Hochschule oder Universität, die die Evaluation wissenschaftlich begleiteten kann? Verfügt die Universität über ein für die Fragestellung geeignetes Institut (z.B. Kulturwissenschaften, Empirische Sozialforschung, Eventmanagement).
Helge Krückeberg
Praxispartner: Gibt es einen Praxispartner, der über relevantes Branchenwissen verfügt und der begleitend in die Evaluation mit einbezogen werden kann – beispielsweise zur Identifikation von geeigneten Interviewpartner*innen, zum Einbringen von Fachwissen in das Fragebogen-Design oder zur Durchführung von Befragungen. Je nach Evaluationsziel könnte dies eine hilfreiche Ergänzung sein.
Helge Krückeberg
Projektträger: Bindet den Projektträger von Anfang an in die Evaluation ein. Ihm können die Ergebnisse einer Evaluation ebenso helfen wie dem Fördermittelgeber. Darüber hinaus kann er unter Umständen Daten aus dem Ticketing oder Vorjahresevaluationen beisteuern, die mit einbezogen werden können. Seine Beteiligung ist außerdem relevant, wenn es um die Verbreitung der Evaluation geht (z.B. durch Hinweise im Programmheft, Mailings, Moderationen)
Welche Methoden eignen sich besonders?
Die eingesetzte Methode hängt immer vom Ziel der Evaluation und den dafür vorhandenen Ressourcen ab. Deshalb gibt es hier keine Grundrezept, es bietet sich meist eine Mischung verschiedener Methoden an.
Zahlenbasierte Daten
- Besucherbefragung durch Fragebögen gibt Aufschluss über soziodemografische Daten und Zufriedenheitswerte.
- Besucherzählung zur Ermittlung von Gesamtzahlen.
- Kennzahlensysteme können die Auslastung, Drittmittelquoten oder Produktionskosten pro Besucher Berechnen.
Meinungen und Atmosphäre
- Interviews mit Teilnehmenden geben Einblicke in Motivation zum Besuch und Wahrnehmung der Veranstaltung.
- Diskussionen in Fokusgruppen helfen, Bedarf und Wünsche der Teilnehmenden zu erfassen.
- Beobachtungen der Besucherströme machen die Wirkung von Leitsystemen und die Wirkung von Programmteilen sichtbar.
- kreative Tools wie Post-It-Wände können auch ein schnelles Publikums-Feedback einholen.
Helge Krückeberg
--> Beispiel chor.com: Für die chor.com hat sich das Team der FHM für einen Mixed-Methods-Ansatz entschieden, d.h. es wurden qualitative und quantitative Methoden kombiniert. Zum einen wurden die Teilnehmenden in einer Online-Befragung zu ihrem Besuch gefragt. Der Online-Frageborgen wurde im Programmheft, durch Flyer auf der Veranstaltung und die direkte Ansprache durch Helfende gestreut, um eine möglichst hohe Teilnahmezahl zu gewährleisten. Außerdem wurden Interviews mit Nicht-Teilnehmenden aus dem Chor-Kontext geführt, um auch Gründe für das Fernbleiben einzufangen.
Good to know:
- Die Evaluation sollte bereits in der Planungsphase mitgedacht werden und auch die Durchführung begleiten um am Ende eine umfassende Bilanz ziehen zu können.
- Legt mit den Projektpartner*innen klare, schriftliche Zielvereinbarungen fest, die in der Evaluation überprüft werden können.
- Nicht nur die Veranstaltung selbst, auch die Evaluation benötigt finanzielle und personelle Ressourcen, die vorher geklärt werden sollten.
Was haben wir aus der CHOR.com-Evaluation gelernt?
- Eine Evaluation lebt davon, vorher klar zu definieren, was genau herausgefunden werden soll. Für eine Bedarfsanalyse der Chorszene müssen dann ausführlichere Fragen gestellt werden als für einen bloßen Soll/Ist-Abgleich der Veranstaltungsorganisation
- Die Ergebnisse einer Evaluation mit qualitativen Methoden sind subjektiv und hängen von der Menge an Teilnehmenden ab, die befragt werden. Es ist also wichtig, eine möglichst große Anzahl an Personen zu befragen.
- Kreativität ist Key: Teilnehmende sind motivierter, an einer Umfrage teilzunehmen, wenn sie auf kreative Art angesprochen werden.
Tiefer ins Thema einsteigen? Die ausführliche Publikation der Fachhochschule des Mittelstands zur Evaluation von Großveranstaltungen ist unter diesem Link aufzufinden: https://osf.io/rtydb
| T | 0511 642 792 00 |
|---|
Ergänzende Literatur:
- Bemmé (2020) Kultur-Projektmanagement. Kultur- und Organisationsprojekte erfolgreich managen. Kap.8: Qualität- und Erfolgskontrolle in Kulturprojekten S. 95- 106.
- Birnkraut, Gesa (2024) Evaluation im Kulturbetrieb. Werteorientierung, Wirkungsmessung, Impact.
- Schwickenrath et. al. (2019) Evaluation im Kontext von Großveranstaltungen. In: Groneberg (Hrsg.) Veranstaltungskommunikation. S. 241- 252.
- Wegner (2011) Im Dialog mit Besuchern und Nichtbesuchern: ausgewählte Formen der Evaluation und Besucherforschung. In: Föhl et. al (Hrsg.) Nachhaltige Entwicklung in Kulturmanagement und Kulturpolitik. Ausgewählte Grundlagen und strategische Perspektiven S. 191- 206.