Die ursprüngliche Kennzahl verwendete einen Indikator (Quality of ODA Assessment – QuODA des Center for Global Development und der Brookings Institution), der auf dem ‘ranking’ von 110 Institutionen und 44 Ländern aufbaute. Sie wurde durch die Abweichungen aller Institutionen vom Median gebildet. Der Verfolg der Kennzahl im ersten Jahr des Wirkungsziels zeigte, dass sich durch die Vielzahl der möglichen Veränderungen der Abweichungen jeder Institution vom Median Veränderungen der Abweichung vom Median einer einzelnen beobachteten Institution ergaben, die durch Veränderungen innerhalb dieser Institution weder beeinflussbar noch erklärbar waren. Die Kennzahl war daher vom BMF nicht „ansteuerbar“. Zudem entdeckte das BMF methodologische Ungereimtheiten, die vom Center of Global Development und der Brookings Institution nicht erklärt werden konnten. Daher wurde diese stark relative Kennzahl durch eine absolute Kennzahl ersetzt, die auf den Mechanismen zur Resultatsmessung der für das BMF wichtigsten IFIs aufbaut.
Die ursprünglich im Wirkungsziels vorhandene 2. Kennzahl, die sich auf die Qualität der ODA des BMF bezog, entfällt, da auch sie sich aus demselben relativen Indikator (QuODA) ergab. Die Qualität der ODA des BMF wird nunmehr auch direkt durch die operationelle und institutionelle Qualität der IFIs dargestellt, denn der überwiegende Großteil der ODA des BMF geht an die IFIs und wird somit durch deren ‚Results Frameworks‘ gemessen. Daher wird für die Qualität der IFIs und die Qualität der ODA des BMF dieselbe Kennzahl verwendet.
Die im Wirkungsziel ausgewiesene Kennzahl verwendete einen Indikator (Quality of ODA Assessment – QuODA des Center for Global Development und der Brookings Institution), der auf einer detaillierten Bewertung von 110 Institutionen und 44 Ländern, die Mittel für Entwicklungskooperation ausgeben, aufbaut. Diese Bewertung wird durch die Abweichungen aller Institutionen vom Median gebildet. Der Verfolg der Kennzahl im ersten Jahr des Wirkungsziels zeigte deutlich, dass sich durch die Vielzahl der Veränderungen der Abweichungen jeder einzelnen Institution vom Median sowie durch starke Veränderungen einiger weniger Institutionen äußerst signifikante Schwankungen der Abweichungen vom Median bei einzelnen beobachteten Institution ergaben, die durch Veränderungen innerhalb dieser Institution weder beeinflussbar noch erklärbar waren und im Vergleich zu den Bewertungen des Vorjahres ein in jeder Beziehung irreführendes Bild ergibt. Diese Kennzahl ist daher vom BMF nicht nur absolut nicht „ansteuerbar“.
Zudem zeigten sich bei den 2015 im QuODA-Tool veröffentlichten Werten die methodologische Besonderheit, dass bei einzelnen Subindikatoren und einer bestimmten Kategorie von Institutionen („Miscellaneous“) überaus hohe und stets exakt die gleichen Werte zugeordnet wurden, obwohl sich in den Rohdaten jeweils keine Eintragungen fanden, die den Median zusätzlich extrem verzerrten. Es könnte sich hierbei um einen Systemfehler handeln. Das Center of Global Development und die Brookings Institution bestätigten auf Anfrage des BMF das Vorhandensein eines Problems, konnten es jedoch bislang weder erklären noch beheben.
Ein Vergleich mit den Vorjahresdaten ergibt aus diesen Gründen ein völlig irreführendes Bild, das keine Rückschlüsse auf tatsächliche Entwicklungen innerhalb der Institutionen zulässt, weshalb die Daten für 2014 nicht eingefügt wurden. Daher wurde diese stark relative Kennzahl durch eine absolute Kennzahl ersetzt, die auf den Mechanismen zur Resultatsmessung der für das BMF wichtigsten IFIs aufbaut. Dieser Indikator ist vom BMF ansteuerbar und zeigt direkt Entwicklungen in den vom BMF finanzierten Institutionen an.
