Evaluierungsbericht

Das BMZ empfahl im 2021 eine Ex-post-Evaluierung aller Projekte, die Fambul Tik e.V. und sein sierraleonischer Partner Youth in Action for Development (YAD) im Laufe der Jahre mitfinanziert und durchgeführt haben. Ziel der Evaluierung war es, 1) zu bewerten, wie die von Fambul Tik und YAD mit BMZ-Kofinanzierung durchgeführten Projekte zur nachhaltigen Entwicklung in Sierra Leone beigetragen haben; 2) laufende Projekte aus erster Hand zu bewerten, um ihre Erfolgsaussichten und ihre Replizierbarkeit zu ermitteln und die Evaluierungsberichte als Leitfaden für ihre erfolgreiche Umsetzung anzupassen; und 3) die negativen/positiven Ergebnisse/Wirkungen solcher Projekte zu bewerten und konkrete Empfehlungen auszusprechen, die als Anleitung für laufende und zukünftige Projekte dienen können, die von Fambul Tik und YAD in Sierra Leone mit BMZ-Kofinanzierung durchgeführt werden.

Die folgenden Projekte wurden bewertet:

  • Bau einer Grundschule in Matakan, Sierra Leone/Matakan Community Primary School (2012.1598.7)
  • Bau einer Sekundarschule in Niawa Chiefdom/ Niawa Chiefdom Secondary School (P 2015.5550.7)
  • Mehrzweck Jugendgemeindehaus für Sierra Leone / Multipurpose Youth Resource Centre for Sierra Leone (P1784)
  • Mehrzweck Jugendgemeindehaus für Sierra Leone – Phase II/Multipurpose Youth Resource Centre for Sierra Leone – Phase II (P2972)
  • Gemeinschaftsmarkt und Sozialmobilisierungszentrum für Ngiehun Kojo – Sierra Leone/ Community Market and Social Mobilization Centre (P4032)
  • Kampagne gegen offenen Stuhlgang in Niawa und Langurama Chiefdoms/ Campaign against Open Defecation in Niawa and Langurama Chiefdom (P4945)
  • Gemeindeinitiative gegen Hunger und Armt in Niawa Chiefdom/ (Niawa Initiative against Hunger and Poverty – NIHP (P4995)

Auswahl und Beauftragung des Consultant
DerConsultant wurde im Rahmen eines Ausschreibungsverfahrens ermittelt, das zusammen mit der Leistungsbeschreibung (TOR) des Projekts auf zahlreichen Websites weltweit veröffentlicht wurde.  Viele interessierte Consultant reichten ihre Bewerbungen mit Lebensläufen und Kostenvoranschlägen per E-Mail bei Fambul Tik ein.  Fambul Tik wählte eine gute Anzahl potenzieller Bewerber aus, die die Mindestanforderungen erfüllten, und leitete sie per E-Mail an Bengo weiter. Nach eingehender technischer Prüfung einigten sich Bengo und Fambul Tik e. V. darauf, den Auftrag an die movimentar GmbH mit Sitz in Bremen, Deutschland, zu vergeben. Das Team von movimentar wurde für diese Aufgabe als besonders geeignet befunden, da es bereits Erfahrungen mit ähnlichen Projekten in anderen Teilen der Welt, einschließlich Afrika, gesammelt hat, die Projektdokumente in deutscher Sprache lesen kann und bei anderen Institutionen wie der GIZ, UNICEF, der Europäischen Union und Brot für die Welt glaubwürdig ist.  Die movimentar GmbH unterzeichnete daraufhin einen Vertrag mit Fambul Tik e. V. auf der Grundlage der genehmigten Terms of Reference (ToR).

Der Evaluierungsprozess
Die Evaluierung wurde vom 30. Juni bis zum 30. September 2022 durchgeführt.   Nach der formellen Vertragsunterzeichnung mit der movimentar GmbH übermittelten Fambul e.V. und Bengo alle projektrelevanten Unterlagen an diese.  Nach der Durchsicht aller Projektunterlagen organisierte movimentar eine Auftaktsitzung mit Fambul Tik, Bengo und YAD (Sierra-leonischer Partner), um den Prozess/die Methode der Evaluierung zu besprechen.  Movimentar formulierte dann Fragebögen für Online- und Offline-Interviews.  Movimentar entsandte im August 2022 einen internationalen Evaluator, der mit lokalen Forschungsassistenten zusammenarbeitete, die bei der Verwaltung der Fragebögen und der Übersetzung/Dolmetschung in lokale Dialekte wie Mende und Krio, die in der Projektgemeinschaft weit verbreitet sind, halfen.   Im Anhang finden Sie den vollständigen Evaluierungsbericht.  Movimentar verwendete die Bewertungskriterien der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD), die sich auf die sechs Aspekte der Entwicklungsbewertung konzentrierten, nämlich: Relevanz, Kohärenz, Wirksamkeit, Effizienz, Auswirkungen und Nachhaltigkeit, mit folgendem Benotungssystem:  A=5 (sehr gut), B=4 (gut), C=3 (normal/akzeptabel), D=2 (schlecht), E=1 (sehr schlecht).

Da der gesamte Evaluierungsbericht in englischer Sprache verfasst wurde, haben wir für Sie die folgenden Erkenntnisse, Empfehlungen und Lessons Learn aus dem Bericht von movimentar ins Deutsche übersetzt:

ERGEBNISSE DER EVALUIRUNG

Relevanz und Konzeption (4,6 – “sehr gut”): Die Relevanz der Projekte ist angesichts der Bedürfnisse ihrer Zielgruppen sehr hoch. Die von den Begünstigten genannten Hauptbedürfnisse waren Hunger, wasserbedingte Krankheiten und schlechter Zugang zu Bildung. Dieses Ergebnis steht im Einklang mit den Ergebnissen der Stimmungsanalyse der qualitativen Daten aus den Einzel- und Gruppeninterviews. Auf die Frage nach der Relevanz der Unterstützung im Hinblick auf die Bedürfnisse und Prioritäten der Begünstigten wurden 75 % der von den Befragten verwendeten Schlüsselwörter durch den Algorithmus der Stimmungsanalyse als positiv eingestuft. Die logischen Rahmen der bewerteten Projekte sind klar und zeigen eine kohärente Konzeption und klare Angaben zu den erwarteten Ergebnissen, die erreicht werden sollen. Die Interventionslogiken erläutern die Gründe für das Erreichen der erwarteten Ergebnisse, und die vorgeschlagenen Aktivitäten sind angemessen, praktisch und stehen im Einklang mit den angestrebten Outputs und Ergebnissen. Es gibt Anhaltspunkte dafür, dass bei der Planung und Durchführung aller Projekte die Bedürfnisse und Prioritäten gefährdeter Gruppen wie Frauen, Kinder, Jugendliche, Heranwachsende und ältere Menschen analysiert wurden. Die Projektvorschläge, die Beobachtungen vor Ort und die Antworten der Begünstigten zeigen, dass bei der Durchführung der Projekte ein menschenrechtsbasierter Ansatz und der Grundsatz “niemanden zurückzulassen verfolgt wurden. Obwohl in keinem der Projekte ein spezifischer Aktionsplan für die Gleichstellung der Geschlechter genannt wird, gibt es Hinweise darauf, dass die Gleichstellung der Geschlechter in das Engagementmodell von YAD und Fambul Tik integriert wurde (z. B. die Strategie, die Anzahl der männlichen und weiblichen Akteure in den Projekten nach dem Vorbild der Community Hygiene Monitors (CHMs) auszugleichen). Die Entwicklung eines kulturell sensiblen und an den Kontext angepassten Gender-Mainstreaming-Plans könnte dazu beitragen, den Beitrag zur Gleichstellung der Geschlechter zu verbessern, wobei der Schwerpunkt beispielsweise auf der Förderung von mehr Frauen in Führungspositionen liegt. Auch die Frage der Ausrottung der weiblichen Genitalverstümmelung könnte im Rahmen künftiger Projekte untersucht werden, da sie in den ländlichen Gebieten Sierra Leones, einem der 28 afrikanischen Länder, in denen sie noch praktiziert wird, noch weit verbreitet ist.

Kohärenz (4,4 – “gut”): Das Ausmaß der Synergien zwischen den Projekten und den Maßnahmen der Regierung, den institutionellen Strategien und dem politischen Szenario war sehr hoch. Mehrere vorrangige Bereiche der nationalen Entwicklungspläne Sierra Leones wurden durch die Projekte angesprochen. Die Projektaktivitäten leisteten relevante Beiträge zu den nationalen Politiken und Strategien. Die Einbeziehung lokaler Regierungsbehörden in die Projektdurchführung, z. B. im Distriktrat von Kenema, hat zu konkreten Beiträgen zur Umsetzung nationaler und institutioneller Politiken geführt: die Entwicklungspläne Poverty Reduction Strategy Papers (PRSPs) und die Agenda for Prosperity (A4P, 2013-2018). Es gibt Anzeichen für Synergien mit dem Gesundheits- und dem Bildungsministerium für das COD- bzw. das MCPS- und NCSS-Projekt. Die Ergebnisse zeigen eine gute Ausrichtung der Projekte auf die SDGs 1, 2, 4 und die geplanten Auswirkungen auf die Alphabetisierungsrate von Kindern, die Reduzierung wasserbedingter Krankheiten, die Verringerung des Hungers und die Berufsausbildung von Jugendlichen und Heranwachsenden entsprechen direkt den Zielen der genannten SDGs. Die Ergebnisse deuten darauf hin, dass die Projekte nicht ausreichend komplementär, harmonisiert und mit anderen NROs koordiniert waren. Ein Beispiel dafür war die Partnerschaft mit der NRO SEND für die Durchführung von COD und die Arbeit mit der Welthungerhilfe, die von der Bezirksregierung Kenema in das District Covid Emergency Response Committee (DICOVERC) berufen wurde. Nach Angaben, hat YAD Vertreter für die WASH-Koordinierungssitzungen sowie für die Koordinierungssitzungen für Landwirtschaft und Ernährungssicherheit abgestellt. Das Gleiche gilt für den Rat für technische und berufliche Bildung (TECVOC), und es gibt einen Vertreter für das allgemeine District Development Coordination Committee (DDCC).

Effektivität (4,6 – “sehr gut”): Die geplanten Output- und Ergebnisziele wurden weitgehend erreicht (siehe Anhang mit der Ergebnismatrix des Fortschritts gegenüber den Indikatoren für detaillierte Informationen nach Projekten). Die Mehrzahl der Ergebnis- und Output-Indikatoren wurde erreicht. Allerdings hat sich die Covid-19-Pandemie negativ auf einige der Projektaktivitäten ausgewirkt und einige Indikatoren verzögert. Die Ergebnisse deuten darauf hin, dass die Projekte die vom Geber zur Verfügung gestellten Ressourcen gut genutzt und sich gut an die Folgen angepasst haben, die nicht nur durch Covid-19, sondern auch durch Ebola, die Regenzeiten und die Inflationskrise verursacht wurden. Die Beteiligung der wichtigsten Interessengruppen während der Planungs- und Umsetzungsphasen war hoch. Es fand eine Zusammenarbeit mit den Durchführungsorganisationen, den zuständigen Ministerien und den lokalen Regierungsbehörden statt. Die Begünstigten beteiligten sich an den Projektaktivitäten und übernahmen wichtige Aufgaben. Es gibt deutliche Hinweise darauf, dass die Projekte ihre Ziele erreicht haben, wenn man die Ergebnisse der Primärdatenerhebung betrachtet. In der Online-Umfrage bewertete beispielsweise die Mehrheit der Teilnehmer (82 %, 10 Teilnehmer) positiv, inwieweit die Ziele erreicht worden sind. Die Antworten auf die KIIs/FGDs mit den Begünstigten machten deutlich, dass die erhaltene Unterstützung für ihr Leben hilfreich war.

Effizienz (3,7 – “gut”): Die Gesamteffizienz der Projekte war gut. Die Aktivitäten können als kosteneffizient angesehen werden. Mehrere externe Faktoren wie die Covid-19-Pandemie und die Inflationskrise erschwerten die Finanzverwaltung. Die Aktivitäten im Bereich der Mittelbeschaffung und der Freiwilligenarbeit trugen jedoch wirksam zur Selbsterhaltung der Projekte und Aktivitäten bei. Zu diesen Faktoren gehörten der Ausbruch von Covid-19, eine Inflationskrise und soziale Unruhen, die die Wirtschaftstätigkeit beeinträchtigten. Die Qualität und Effizienz der Projektverwaltung (einschließlich Arbeitsplanung, Beschaffung, Verwaltung der Finanzmittel, Mittelzuweisung und rechtzeitige Ergebnisse) war gut. Dazu haben die hohe Transparenz und die gute Kommunikation beigetragen, wie die Beteiligten berichten. Das Projektmanagementsystem (einschließlich des technischen Fachwissens sowie der Überwachungs-, Planungs- und Berichterstattungssysteme) war mäßig funktionsfähig, ausreichend und zielorientiert. Die wichtigsten Beteiligten äußerten sich positiv über das Projektmanagementsystem. Besonders hervorzuheben sind hier das von YAD implementierte Feedbacksystem und die enge Zusammenarbeit mit Fambul Tik. Die Transparenz und Rechenschaftspflicht sowie die Kommunikation waren zufriedenstellend.

Auswirkungen (4,4 – “gut”): Die Wirkungen der Projekte waren sehr hoch. Sie trugen zur Entwicklung Sierra Leones bei – zur Verringerung wasserbedingter Krankheiten, zur Verbesserung der Bildung und der Wirtschaft in den Dörfern – und waren auf die nationalen Strategien abgestimmt. Das COD-Projekt verbesserte die Gesundheits- und Hygienesituation in verschiedenen Dörfern und reduzierte dadurch wasserbedingte Krankheiten und Verunreinigungen. Durch die Trennung der Toiletten nach Geschlecht, körperlicher Verfassung und Alter wurde den gefährdeten Gruppen mehr Komfort, Sicherheit und Würde geboten. Die Wirkungen der verschiedenen Projekte verstärkten sich gegenseitig. So konnten beispielsweise durch die Verringerung von Krankheiten mehr Kinder die Schulen besuchen. Nach Aussage von Schlüsselinformanten tragen die Schulen zur Alphabetisierung der Gemeinschaften und damit zum wirtschaftlichen Wachstum der Familien bei. Dies wird durch die im MYRC angebotene Ausbildung von Jugendlichen unterstützt, die nun in ihren Gemeinden einen besseren Ruf genießen. Eines der größten Probleme des Landes, der Hunger, wurde durch das NIHP-Projekt angegangen, das es den Begünstigten ermöglichte, ihre landwirtschaftlichen Techniken zu verbessern und so die Nahrungsmittelproduktion zu steigern. Während es mehrere indirekte positive Auswirkungen gab, wurden keine negativen Auswirkungen gemeldet. Einige der ungeplanten Auswirkungen waren beispielsweise die gesteigerte Anerkennung und das Wachstum von YAD sowie das in den Dörfern geschaffene Zusammengehörigkeitsgefühl. Aufgrund der positiven Auswirkungen der Projekte sprachen sich mehrere wichtige Akteure dafür aus, die Projekte auch in anderen Teilen des Landes durchzuführen.

Nachhaltigkeit (5,0 – “sehr gut”): Die Nachhaltigkeit der Projekte ist aufgrund des hohen Maßes an Eigenverantwortung, der langfristigen Ausrichtung der Aktivitäten und des sehr hohen Beitrags zu den institutionellen und Managementkapazitäten der lokalen Partner sehr hoch. Die Mehrheit der Hauptakteure war davon überzeugt, dass die Projekte den Begünstigten auch nach dem Ende der Unterstützung zugute kommen und sogar künftigen Generationen zugute kommen werden. Die Tatsache, dass zum Zeitpunkt der Bewertung alle eingerichteten Projekteinrichtungen und -aktivitäten noch aktiv waren, unterstreicht dies. Es wurden Mechanismen geschaffen, um alle Projektkomponenten aufrechtzuerhalten, wie z. B. gemeinschaftliche Erkenntnisse und Ausschüsse, die für die Überwachung und/oder Wartung und Reparaturen zuständig sind. Das hohe Maß an Eigenverantwortung der Begünstigten führt zu einer hohen Nachhaltigkeit der Projekte. So werden beispielsweise die errichteten Einrichtungen wie die sanitären Anlagen, das MYRC und der Markt als Verantwortung der Gemeinschaft angesehen und sind für alle von Nutzen. Daher sind die Zielgruppen bereit, sich für deren Instandhaltung einzusetzen. Dieses Maß an Eigenverantwortung wurde durch zahlreiche Schulungen und eine gute Einbindung der Begünstigten in die Planung und Umsetzung erreicht. Die institutionellen und Managementkapazitäten der lokalen Partner waren trotz der kurzen Dauer der meisten Projekte sehr hoch. Insbesondere die Maßnahmen zum Kapazitätsaufbau für verschiedene Führungspersönlichkeiten und Consultant spielen eine wichtige Rolle bei der Durchsetzung der Gesetze auf Gemeindeebene.

Schlussfolgerung
Die sieben Projekte waren für den nationalen Kontext und die Bedürfnisse der Zielgruppen von großer Bedeutung. Sie haben zur nachhaltigen Entwicklung Sierra Leones im Einklang mit den Regierungszielen beigetragen. In ihrer Interventionslogik (einschließlich der geplanten Ziele und Ergebnisse) haben die Projekte gefährdeten Gruppen, d. h. Frauen, Kindern, Jugendlichen, älteren Menschen und Menschen mit Behinderungen, Priorität eingeräumt. Ein Beispiel dafür ist das von YAD und Fambul Tik umgesetzte Modell für die gleichberechtigte Beteiligung von Frauen und Männern an den Aktivitäten, die Einbeziehung von Jugendorganisationen zur Unterstützung der Maßnahmen von YAD in Kenema City und die Anpassung der Projektstrukturen und -instrumente an die Bedürfnisse älterer Menschen und Menschen mit Behinderungen. Die in den MYRC-Phasen I und II durchgeführten Aktivitäten waren beispielsweise wichtig, um den Jugendlichen aus Kenema-Stadt und den umliegenden Dörfern einen sicheren Ort für ihre Treffen zu bieten, wo sie auch Workshops zu Konfliktlösungsfragen und Berufsberatung erhielten. Schlüsselinformanten bestätigen, dass die Jugendlichen mit den erbrachten Leistungen zufrieden sind, was durch die Umfrageergebnisse untermauert wird, wonach 91 % der Befragten die Relevanz des Projekts mit “sehr hoch” (73 %) und “hoch” (18 %) bewerteten. Bei der Frage nach ihrer Meinung über die Arbeit von Fambul Tik und YAD waren 89 % der von den Befragten in den Interviews mit den Hauptinformanten verwendeten Schlüsselwörter positiv (in einer Stimmungsanalyse; siehe hierzu Abschnitt 8.1). Hinsichtlich der Relevanz der Unterstützung im Hinblick auf die Bedürfnisse und Prioritäten der Begünstigten waren 75 % der verwendeten Schlüsselwörter positiv.

Die Relevanz der Arbeit ist hoch, wenn man die Bedürfnisse der Begünstigten der anderen Projekte bedenkt, wie z. B. die Beseitigung der Armut (KCM), die Beseitigung des Hungers (NIHP), die Verbesserung der Hygiene (COD) und die Verbesserung der Bildung für Kinder (MCPS und NCSS). Alle diese Projekte gehen auf die von den Begünstigten selbst bei der Planung geäußerten Wünsche ein, da YAD und Fambul Tik bei der Konzeption aller durchgeführten Projekte einen partizipativen Ansatz verfolgten. Trotzdem scheint es bei der Datenerhebung und -verwaltung noch Verbesserungspotenzial zu geben. Das Bewertungsteam erhielt unter den Belegen keine Berichte über Basisstudien oder Erhebungen.

Die Ergebnisse der KIIs und die dokumentarischen Belege deuten darauf hin, dass die Ziele und Ergebnisse angesichts der Herausforderungen von Covid-19 gut erreicht wurden. Die Ergebnisse deuten jedoch darauf hin, dass die im Rahmen von Covid-19 erhaltene Unterstützung in Form von Food-for-Work für die Umsetzung des noch laufenden NIHP fortgesetzt werden sollte. Die einzigen Einschränkungen, die von den Befragten genannt wurden, sind die Einstellung der Projektaktivitäten in den Jahren 2019 und 2020 angesichts der Einschränkungen im Zusammenhang mit Covid-19 sowie während der Ebola-Krise von 2015. Laut den Ergebnissen der Online-Umfrage zur Frage: “Inwieweit entspricht die Konzeption den Erfordernissen im Zusammenhang mit der Covid-19-Pandemie?” antworteten nur 45 % positiv (9 % “sehr gut” und 36 % “gut”), was angesichts der Tatsache, dass die Projekte an den Covid-19-Kontext angepasst werden mussten, zu erwarten war.

Die Auswirkungen der Projekte in den Bereichen Bildung, Gesundheit und Wirtschaft waren hoch. Der Bau von Grund- und Sekundarschulen in den Dörfern Matakan und Gandorhun trug zur Bildung der Kinder und zu ihrer Sicherheit bei, da sie nicht mehr so weit reisen mussten, um zu lernen. Weitere Analysen könnten durchgeführt werden, um die Auswirkungen im Hinblick auf die Verringerung der Kinderarbeit zu bewerten, wenn man den verbesserten Zugang zur Bildung berücksichtigt. Was die Hygiene betrifft, so deuten die primären und dokumentarischen Belege darauf hin, dass COD dazu beigetragen hat, die Zahl der durch Wasser übertragenen Krankheiten zu verringern, wodurch sich die Lebensqualität der gefährdeten Gruppen erhöht hat und sie in der Lage sind, ihre Energie und Zeit in Aktivitäten zu investieren, die zu ihrer eigenen Entwicklung und der ihrer Familien und Gemeinschaften beitragen. Das KCM-Projekt hat die Einkommensgenerierung für Händlerinnen in der Gemeinde Konjo gefördert, da die Frauen nun in der Lage sind, die auf den Feldern geernteten Produkte besser organisiert und regelmäßig zu verkaufen. Die Auswirkungen auf die Beseitigung des Hungers schließlich wurden von den Begünstigten des NIHP-Projekts nachgewiesen, deren Anwendung der im Rahmen des Projekts erlernten landwirtschaftlichen Techniken zu höheren Ernteerträgen führte. Die Bewertung der Auswirkungen auf Haushaltsebene würde eine zusätzliche Haushaltsbefragung erfordern, um die Vorteile z. B. in Bezug auf Einkommen, Beschäftigung, Bildung und Ernährung zu untersuchen. Weitere Analysen von Standardindikatoren für das Wohlbefinden auf Haushaltsebene, wie z. B. der Lebenszufriedenheitsindex, der Lebensmittelverbrauchswert, der Index für Bewältigungsstrategien und der Wert für die Ernährungsvielfalt im Haushalt, könnten dazu beitragen, die Auswirkungen detaillierter zu bewerten. Dennoch gibt es keine Hinweise auf größere indirekte und unerwartete negative Auswirkungen, und die positiven Ergebnisse der Online-Umfrage und der persönlichen Interviews deuten darauf hin, dass die Projekte die wichtigsten von den Begünstigten hervorgehobenen Bedürfnisse ansprachen.

Die gesammelten Belege deuten auf eine positive Bewertung aller Aspekte im Zusammenhang mit dem Gesamtmanagement, der Qualität der Ergebnisse, der Transparenz und der Kommunikation hin. Die Daten über die rechtzeitige Bereitstellung von Inputs deuten jedoch darauf hin, dass Verbesserungen notwendig sind. Ähnlich wie bei den dokumentarischen Belegen und den Ergebnissen der Befragung von Schlüsselpersonen stuften etwa 27 % der Befragten dies als “regelmäßig” ein. Dies könnte auf die unzureichende Budgetierung und die erforderliche Zeit für Projektänderungen zurückzuführen sein, wenn man bedenkt, dass Anträge auf Budgetänderungen hauptsächlich durch die Inflationskrise in Sierra Leone verursacht wurden, die offenbar zur Verzögerung einiger Aktivitäten beigetragen hat.

Die Projekte weisen eine sehr gute Übereinstimmung mit internationalen Zielen auf, insbesondere mit den SDGs 1, 2, 4 und 6. Die Ergebnisse zeigen, dass die Bereiche, die in den Sektoren Bildung, Gesundheit/Hygiene und Wirtschaft behandelt wurden, in hohem Maße mit den bestehenden nationalen Politiken und Strategien übereinstimmen. Der Beitrag zur nachhaltigen Entwicklung von Sierra Leone wurde von den Schlüsselinformanten bestätigt.

Es gibt Hinweise auf Partnerschaften zwischen den Projektträgern und den Behörden der Stadt Kenema, den Ministerien und den Jugendorganisationen. Ebenso deuten die Ergebnisse auf eine aktive Einbeziehung und Beteiligung der Begünstigten an der Planung und Durchführung der einzelnen Projekte hin. Obwohl keines der Projekte einen spezifischen Gender-Aktionsplan nennt, gibt es Hinweise darauf, dass die Gleichstellung der Geschlechter in das Engagementmodell integriert wurde (z. B. die Strategie, die Anzahl der männlichen und weiblichen Akteure in den Projekten auszugleichen, am Beispiel der CHMs). Die Entwicklung eines Gender-Mainstreaming-Plans, der kulturell sensibel und an den jeweiligen Kontext angepasst ist, könnte dazu beitragen, den Beitrag zur Gleichstellung der Geschlechter zu verbessern, wobei der Schwerpunkt beispielsweise auf der Förderung von mehr Frauen in Führungspositionen liegen sollte. Die Abschaffung der weiblichen Genitalverstümmelung könnte im Rahmen künftiger Projekte untersucht werden, da sie in den ländlichen Gebieten Sierra Leones, einem der 28 afrikanischen Länder, in denen sie noch praktiziert wird, immer noch weit verbreitet ist.

Die Ergebnisse legen nahe, dass die Art und Weise, wie Projektindikatoren überwacht und in den internen Berichten des YAD dargestellt werden, verbessert werden muss. Haushaltserhebungen könnten dazu beitragen, dass die Projekte faktenorientierter werden, und gleichzeitig die Regierung und die Entwicklungspartner über politische und andere Maßnahmen informieren. Schulungen zu robusten Überwachungsinstrumenten und -systemen könnten häufiger in die Ausbildung der YAD-Mitglieder aufgenommen werden. Kommerzielle Cloud-basierte Management-Informationssysteme, die das Projektmanagement verbessern, wie z. B. Teamwork Projects, Trello, Asana oder Basecamp, könnten dazu beitragen, sowohl die Umsetzung als auch die Überwachung von Aufgaben auf einer Routinebasis zu verbessern.

Der Aspekt der Nachhaltigkeit wurde von den Schlüsselinformanten am höchsten bewertet. Auch hier trug der partizipatorische Ansatz, den YAD und Fambul Tik umsetzten, dazu bei, bei den begünstigten Gemeinschaften ein Gefühl der Eigenverantwortung zu schaffen. Zusammen mit der Partnerschaft mit lokalen und nationalen Behörden trägt dies dazu bei, die geschaffenen Strukturen langfristig zu erhalten. Von den Beteiligten entwickelte Strategien wie die Umsetzung lokaler Gesetze zur Bestrafung von Personen, die die Projektstrukturen beschädigen, die monatliche Zahlung einer Gebühr auf das Bankkonto des Dorfes im Falle von Reparaturen und die Übertragung der Überwachungsverantwortung an die Dorfbewohner, die den YAD-Mitgliedern Bericht erstatten, sind Beispiele für bewährte Verfahren zur Förderung der Nachhaltigkeit.

Wichtigsten Empfehlungen.
Empfehlung 1:
(Verantwortlich: FT und YAD / Priorität: Hoch) Es wird dringend empfohlen, diesen Bericht zu veröffentlichen und die Ergebnisse der Evaluierung den Begünstigten und anderen wichtigen Interessengruppen vorzustellen und mit ihnen zu diskutieren. Die Diagramme wurden farbig gestaltet, damit die Ergebnisse leicht zu erkennen sind und auch für Menschen mit geringer Lese- und Schreibkompetenz. Wir empfehlen dringend, Zusammenfassungen in den jeweiligen Landessprachen zu erstellen, damit die Begünstigten und andere Beteiligte die wichtigsten Ergebnisse im Detail kennenlernen und gemeinsam Wege für die Zukunft entwickeln können. Dies ist von entscheidender Bedeutung für die Rechenschaftspflicht und Transparenz, die vor allem für zivilgesellschaftliche Organisationen wichtig sind.

Empfehlung 2: (Verantwortlich: FT und YAD / Priorität: Hoch) Wir empfehlen, die Reichweite derselben Projekte auf andere gefährdete Dörfer im Distrikt Kenema auszudehnen, da die Befragten in dieser Bewertung die gleichen Bedürfnisse angeben. Es gibt Anzeichen dafür, dass sich die Bewohner der nicht begünstigten Dörfer ausgegrenzt fühlen, weil sie nicht die gleichen Vorteile wie die anderen erhalten, was zu möglichen Unstimmigkeiten zwischen den begünstigten und den nicht begünstigten Dörfern führen kann. Dies ist wichtig im Hinblick auf das Prinzip desDo-no-harm. Die Abwanderung von Bewohnern aus anderen Dörfern in die begünstigten Dörfer, insbesondere für die Nutzung der Toilettenanlagen, kann ein Risiko für die Instandhaltung dieser Strukturen darstellen. Die Ausweitung dieser Projekte auf andere Gemeinden war einer der am häufigsten genannten Vorschläge in den KIIs und Fokusgruppendiskussionen.

Empfehlung 3: (Verantwortlich: FT und YAD / Priorität: Hoch) Um sicherzustellen, dass der Nutzen der berufsbildenden Kurse der MYRC-Phase II nachhaltig ist, wird empfohlen, in Projekte zu investieren, die den Erwerb von Start-up-Paketen für Hochschulabsolventen erleichtern, einschließlich Finanzbildung und Mentoring für die Unternehmensentwicklung. Die Befragten dieser Studie zeigten Interesse an der Eröffnung eines eigenen Unternehmens und an einer beruflichen Laufbahn im Rahmen des am Zentrum absolvierten Kurses, doch das fehlende Wissen und die fehlenden Ressourcen für Investitionen in eigene Materialien stellen ein Hindernis dar. Einige Teilnehmer schlugen vor, das Spektrum der Berufsausbildungsthemen zu erweitern, z. B. für den Elektrobereich. Zusätzliche Konsultationen mit jungen Menschen, idealerweise unter Einbeziehung von Akteuren des Privatsektors in der Entwurfs- und Planungsphase, können dazu beitragen, die Relevanz der Dienstleistungen für junge Menschen zu maximieren.

Empfehlung 4: (Verantwortlich: FT und YAD / Priorität: Hoch) Wir empfehlen, den Kapazitätsaufbau in den Bereichen Finanzbildung sowie Unternehmensentwicklung/Unternehmertum für die Begünstigten der KCM- und NIHP-Projekte auszuweiten. Die Steigerung der Verkäufe und der Produktion von Gütern aus den landwirtschaftlichen Betrieben der Begünstigten ermöglicht es ihnen, durch den Verkauf der Überschüsse vor Ort ein Einkommen (und Ersparnisse) zu erzielen. Die Eröffnung eines Bankkontos vor Ort und die Lagerung der Waren werden an Wert gewinnen, wenn eine Schulung in Unternehmertum und Finanzwissen angeboten wird.

Empfehlung 5: (Verantwortlich: FT, YAD, BMZ und BENGO / Priorität: Hoch) Schlüsselinformanten schlagen vor, ein besser strukturiertes und digitalisiertes Überwachungssystem für laufende (Echtzeit-)Informationen über Projekte einzuführen. Dies könnte entweder auf YAD/FT-Ebene oder sogar auf Länder- oder globaler Ebene durch Standardformulare mit Mindestangaben zu M&E erfolgen. Wir empfehlen die Erstellung einer Reihe von Formularen unter Verwendung sicherer und frei verfügbarer digitaler Tools (z. B. KoBoToolbox, ONA oder ODK Cloud), um die Daten der Begünstigten und der Umsetzung zu sammeln, zu verwalten und zu archivieren. Dies kann aus folgenden Formularen bestehen: 1) Formular für die Registrierung der Begünstigten; 2) Formular für die Lieferung von Gegenständen; 3) Formular für die Bereitstellung von Unterstützung; 4) Formular für Rückmeldungen und Beschwerden der Begünstigten; und 5) Formular für die Überwachung und Bewertung. Ein separates Formular für die Indikatoren jedes Projekts kann dabei helfen, alle Output-Indikatoren zu erfassen, die nicht durch die obige Struktur mit fünf Formularen abgedeckt sind. Gegenwärtig führen die Mitarbeiter des YAD ihre Aufgaben ohne ein strukturiertes digitales System selbst aus, was zu höheren als den notwendigen Kosten für die Organisation führt und die Wahrscheinlichkeit von Risiken in Bezug auf Datenschutz und -verwaltung erhöht. Künftige Projekte sollten externe Unterstützung für die Einrichtung und den Aufbau von Kapazitäten sowohl bei FT als auch bei YAD im Hinblick auf die Nutzung solcher Tools und die Entwicklung eines operativen Systems für eine bessere Überwachung und Bewertung umfassen.

Empfehlung 6: (Verantwortlich: BMZ und BENGO / Priorität: Hoch) Während der Regenzeit wurde der Mangel an Nahrungsmitteln als größte Herausforderung genannt. Die Bauern ernten normalerweise auf dem Höhepunkt der Trockenzeit im November/Dezember, aber sie verbrauchen die gesamte Ernte in den ersten vier Monaten des Jahres (Januar bis April). Danach sind sie während der Anbausaison, die ab Mai beginnt, mit schwerer Nahrungsmittelknappheit konfrontiert. Obwohl das BMZ offenbar keine Initiativen zur Verteilung von Nahrungsmitteln oder “Food for Work” finanziert, reichten die von YAD während der Ebola- und Covid-19-Ausbrüche bereitgestellten Nahrungsmittel nicht aus, um alle Projektbegünstigten zu ernähren. Die Antworten der Durchführungsorganisationen deuten darauf hin, dass entweder die Politik, keine “Food for Work”-Aktivitäten zu finanzieren, revidiert oder Alternativen zur Bekämpfung der schweren Nahrungsmittelknappheit erörtert werden müssen (z. B. verstärkte Finanzierung der Nahrungsmittelproduktion, Identifizierung und Weiterleitung von Fällen akuter Unterernährung, insbesondere bei Kindern unter 5 Jahren).

Empfehlung 7: (Verantwortlich: FT und YAD / Priorität: Hoch) Laut den Befragten des Projekts NCSS in der Stadt Gandorhun wird ein Hauptquartier für die Lehrer dringend benötigt, um den Fortbestand der Schule und die Bezahlung der Lehrer, einschließlich derer im MCPS-Projekt, zu gewährleisten. Daher empfehlen wir, dass bei künftigen Projekten die lokalen Regierungen stärker in Strategien zur finanziellen Nachhaltigkeit einbezogen werden sollten, z. B. bei der Einstellung qualifizierter Lehrer für die Schulen sowie beim Bau weiterer Klassenräume, um die bestehenden Schulen zu erweitern, da die Zahl der Schüler jedes Jahr steigt.

Empfehlung 8: (Verantwortlich: FT und YAD / Priorität: Hoch) Wir empfehlen, bei künftigen Projekten Wasserbrunnen mit einem ähnlichen Plan wie beim COD einzurichten. Wie von den Befragten berichtet, ist es in der Trockenzeit schwieriger, Wasser für Hygienezwecke zu erhalten. Die Verwendung von Chlortabletten kann eine wichtige Alternative zur Wasseraufbereitung darstellen und sollte in Abstimmung mit UNICEF und anderen Entwicklungspartnern in zukünftigen Projekten berücksichtigt werden (siehe: https://movimentar.eu/research-on-chlorine-tablets/).

Empfehlung 9: (Verantwortlich: FT und YAD / Priorität: Mittel) Wir empfehlen dringend die Durchführung von Haushaltsbefragungen und die Verwendung objektiv überprüfbarer Ergebnisse, um sowohl Dörfer als auch Haushalte zu priorisieren. Strukturierte Gruppeninterviews (gruppenbasierte Befragung von Schlüsselpersonen) können als Teil eines Standardformulars für eine schnelle Bewertung verwendet werden. Solche Studien sollten in der Anfangsphase von Projekten durchgeführt werden, wenn es in den letzten zwei Jahren vor Projektbeginn keine früheren Studien gegeben hat. Obwohl es Belege dafür gibt, dass die Projekte auf den Bedürfnissen vor Ort beruhen, fanden wir keine Belege für Studien (z. B. Bedarfsermittlungen/Durchführbarkeitsstudien, Grundlagenstudien, Monitoring- und Evaluierungsstudien), die Standardentwicklungsindikatoren enthalten (siehe https://www.indikit.net/), die dazu beitragen könnten, Prioritäten für die Bedürftigsten zu setzen und auch die geografische Abdeckung auf der Grundlage objektiv gemessener Gefährdungen zu rechtfertigen (z. B. Food Consumption Score, Household Diet Diversity Score oder Coping Strategy Index). Solche Standardindikatoren sind international anerkannt und werden die Gestaltung der Logframes sowie künftiger Projekte verbessern. Die objektive Bewertung der erfassten Dörfer anhand von Standardindikatoren wird zur Umsetzung des Do-no-harm-Ansatzes beitragen, indem sie den benachbarten Dörfern eine klare Begründung für die Auswahl der Dörfer liefert, die in den Genuss der Förderung kommen. Zu diesem Zweck kann ein Multi-Index-Score (z. B. WASH-, Ernährungssicherheits- und Schutzindikatoren) verwendet werden, der die Dörfer nach ihrer Anfälligkeit einstuft.

Empfehlung 10: (Zuständig: FT und YAD / Priorität: Niedrig) Zusätzlich zu den bereits von Fambul Tik und YAD genutzten Informationssystemen empfehlen wir die Modernisierung der für die Verwaltung der Umsetzung genutzten Informationssysteme und die Einführung von Projektmanagement-Informationssystemen in der Cloud. Schulungen werden eine größere Effizienz und Systematisierung einschließlich der Aufgaben und Zuständigkeiten ermöglichen. Wir empfehlen, sowohl in die Ausbildung des Personals als auch in Projektmanagement-Tools “in der Cloud” wie Teamwork Projects, Asana, T rello oder Basecamp zu investieren. Diese kommerziellen Systeme helfen dabei, sich von den traditionellen E-Mail-zentrierten Prozessen zu lösen, den Nachrichtenfluss zu reduzieren und gleichzeitig die Kommunikation mit den Partnern zu verbessern. Dies kann die Prozesse zur Modernisierung der Verwaltung, Kommunikation und Steuerung gemeinsamer Programme durch automatisierte Erinnerungen und Berichterstellung unterstützen.

Gelernte Lektionen und beste Praktiken
Lektion 1: Die Einführung eines partizipativen Ansatzes für die Begünstigten bei der Durchführung der Projekte ist der Schlüssel zur erfolgreichen Nachhaltigkeit der Projektergebnisse.

Bewährte Praxis 1.1: Die offenen und regelmäßigen lokalen Treffen zwischen der Organisation, die das Projekt durchführt, und allen lokalen Behörden und Dorfbewohnern bieten einen demokratischen Raum, in dem jeder das Recht hat, seine Bedürfnisse zu äußern und mitzuteilen, auf die man sich als Gruppe geeinigt hat. So können sie auf der Grundlage ihrer eigenen Erfahrungen wirksame Lösungen für ihre eigenen Probleme finden.

Bewährte Praxis 1.2: Die Einbeziehung der Begünstigten in die Verwirklichung der Projektziele, z. B. durch den Einsatz ihrer Arbeitskräfte beim Bau von Schulen, Jugendzentren, Märkten und Toiletten, war nicht nur eine wirtschaftliche Art der Finanzierung der Projekte, sondern schuf auch ein Gefühl der Einheit und der Eigenverantwortung in den Gemeinschaften, wie in den meisten Antworten in der Bewertung erwähnt wurde.

Bewährte Praxis 1.3: Die Einrichtung von Vertretern, die die Projekteinrichtungen überwachen, wie die Konjo Youth Development Association (KYDA) für das Community Market and Social Mobilisation Centre und die Community Health Monitors (CHM) in den vom COD-Projekt erfassten Dörfern, förderte die Zusammenarbeit mit den lokalen Behörden, um die Nachhaltigkeit der Projekte zu gewährleisten. Die KYDA-Leiter und die CHM erhielten eine theoretische und praktische Ausbildung, damit sie das Projekt nach der Durchführung weiterführen können. Diese Praxis kann bei künftigen Projekten in verschiedenen Bereichen weiter ausgebaut werden.

Lektion 2: Die Einführung einer Ladeplattform für Mobiltelefone in KCM beschleunigte und erleichterte die Kommunikation zwischen den Begünstigten und den YAD-Mitarbeitern und verbesserte das Geschäft auf dem Markt.

Bewährte Praxis 2.1: Die Energieversorgung durch Sonnenkollektoren in allen von den Projekten realisierten Strukturen trägt zu deren Nachhaltigkeit bei.

Lektion 3: Die Rückmeldungen aus den KIIs/FGDs deuten auf ein starkes und häufiges Kommunikations- und Überwachungsnetz hin, das von den YAD-Mitgliedern mit den Botschaftern (Vertretern) der einzelnen Dörfer eingerichtet wurde. Die Auswahl von Vertretern aus jedem Dorf, die als Hauptverbindungsbrücke zwischen den Einwohnern und den YAD-Mitgliedern fungierten, trug dazu bei, die Aufgaben zu koordinieren und Missverständnisse bei der Durchführung der Aktivitäten zu vermeiden. Nichtsdestotrotz betonten die Ergebnisse, wie wichtig es ist, den Aufbau von Kapazitäten in laufenden und zukünftigen Projekten zu verstärken.

Bewährte Praxis 3.1: Die Auswahl von Vertretern der begünstigten Gruppe für die Durchführung der einzelnen Projekte ist ein Beispiel für eine bewährte Praxis, die die Arbeit der durchführenden Organisation durch die Dezentralisierung der Zuständigkeiten fördert.

To read the complete report in English, please follow this link: