L’un des plus grands changements méthodologiques dans la recherche sur les politiques publiques a été la montée des expériences – « essais contrôlés randomisés » (ECR) – pour mesurer les effets des programmes ou des politiques sociales. Les ECR ont été particulièrement déterminants dans l’économie du développement.

Lorsqu’un chercheur universitaire mène une expérience pour tester une politique, l’objectif est généralement une mesure précise. Le mieux est de créer deux groupes de personnes aussi similaires que possible, dont l’un (le groupe « traitement ») bénéficie du programme et l’autre (le groupe « témoin ») n’en bénéficie pas. Un ECR peut répondre à la question suivante : ce programme a-t-il un effet significatif et quel est exactement cet effet ?

Mais lorsqu’un gouvernement ou une ONG mène une expérience, la mesure n’est pas toujours son premier objectif. Au lieu de cela, ils s’intéressent plus souvent au fait de trouver rapidement la meilleure option de programme possible parmi plusieurs possibilités disponibles.

Ils peuvent vouloir savoir, par exemple, quel type de soutien est le plus efficace pour aider les réfugiés à trouver du travail dans leur pays d’accueil, ou quelle forme de sensibilisation est la plus susceptible de faire participer les parents aux travaux scolaires de leurs enfants. En d’autres termes, ils aimeraient répondre à la question suivante : quelle version du programme aura le plus d’effet et devrait donc être mise en œuvre ?

Prenons l’exemple de Precision Agriculture for Development (PAD), qui fournit un service de vulgarisation agricole gratuit pour les petits exploitants agricoles. Pour une campagne d’inscription en Inde avec un million d’agriculteurs, PAD souhaitait apprendre le plus rapidement possible comment effectuer efficacement les appels d’inscription, afin que les agriculteurs ne filtrent pas les appels sans en savoir plus sur le service. D’autre part, PAD n’avait pas besoin d’estimer précisément les taux d’inscription à partir de leurs appels.

Notre recherche a fourni une solution au problème de PAD en menant une expérience « adaptative ». L’idée étant de réaliser l’expérience en plusieurs vagues et d’adapter la méthodologie après chaque vague, afin que l’objectif soit atteint le plus rapidement possible.

Dans la première vague, l’expérience pour PAD ressemblait à un ECR non adaptatif. Mais à partir de la deuxième vague, l’algorithme que nous avons utilisé, l’« échantillonnage d’exploration », a commencé à se concentrer sur les méthodes d’appel avec des taux de réponse plus élevés, afin d’en apprendre le plus possible sur les méthodologies les plus susceptibles d’être mises en œuvre.

L’idée de l’échantillonnage adaptatif est presque aussi ancienne que celle des expériences randomisées. Les modèles adaptatifs ont été utilisés dans les essais cliniques ainsi que pour le ciblage des publicités en ligne.

L’objectif de PAD était d’identifier la méthode d’inscription avec le taux de réussite le plus élevé pour la mise en œuvre à grande échelle de l’expérience. Mais les algorithmes pour l’expérimentation adaptative peuvent répondre à de nombreux objectifs différents.

Par exemple, dans le cas d’un programme de soutien à la recherche d’emploi pour les réfugiés en Jordanie, mis en place par le Comité international de secours (IRC), l’objectif était d’en apprendre le plus possible sur les différentes interventions – ici, fournir des sessions d’information, des conseils ou un soutien financier – mais en même temps, l’IRC voulait que le meilleur volet du programme profite au plus grand nombre de réfugiés possible. Les chercheurs ont donc mis en œuvre un algorithme adaptatif hybride qui permet d’obtenir de meilleurs résultats de traitement qu’un ECR pur (en affectant plus de sujets aux groupes de traitement qui fonctionnent bien) mais qui permet également d’en apprendre plus sur chaque groupe avec une grande précision.

Dans le cas du PAD, nous avons montré que l’algorithme d’échantillonnage exploratoire conduit à des recommandations toujours meilleures sur la politique à mettre en œuvre qu’un ECR standard. PAD a réalisé un échantillonnage d’exploration avec les numéros de téléphone de 10 000 agriculteurs en juin 2019. Ils ont testé six méthodes d’appels différentes : passer des appels le matin ou le soir, et alerter l’agriculteur par SMS à différents moments.

La figure 2 montre la part des appels réussis dans les six groupes de traitement à la fin de l’expérience. La figure 3 illustre les parts de chaque vague attribuées aux différents groupes de traitement au fil du temps.

1.      Part des appels réussis dans chaque groupe de traitement (sur 1).

2.      Part des numéros de téléphone (observations) attribués aux groupes de traitement au fil du temps. Les parts s’additionnent à 1 à chaque date.

Malgré des variations considérables, l’appel à 10 heures du matin avec un SMS une heure à l’avance s’est avéré être le processus le plus efficace au début de l’expérience. Par conséquent, une plus grande part de chaque vague a été attribuée à cette option d’appel. À la fin, près de 4 000 des 10 000 numéros de téléphone ont été attribués à cette méthodologie – comme le montrent les parts d’attribution globales dans la figure 4.

3.     Nombre total d’observations (numéros de téléphone) attribuées à chaque groupe de traitement à la fin de l’expérience. Près de 4 000 numéros de téléphone ont été attribués à la branche qui avait le taux de réponse le plus élevé : appel à 10 heures du matin avec un message texte envoyé une heure à l’avance.

L’idée clé de l’expérimentation adaptative est que la division de l’échantillon en groupes de traitement et de contrôle de taille égale, comme le fait un ECR standard, n’est pas toujours la meilleure chose à faire, une fois que nous en avons appris un peu plus sur les différents groupes de traitement. Cette méthode offre un grand potentiel d’amélioration de la façon dont les expériences sont réalisées dans la pratique.

Une caractéristique intéressante de nombreuses procédures adaptatives est qu’un plus grand nombre de participants bénéficient des meilleures options de traitement, ce qui facilite la conduite éthique des expériences en matière de développement et de recherche politique. En outre, le processus d’apprentissage est plus rapide et les échantillons sont plus petits. En même temps, l’utilisation d’un algorithme adaptatif pour l’apprentissage garantit que la décision politique qui en résulte est toujours reproductible et pleinement justifiée sur le plan pratique.

The post Expériences adaptatives pour la recherche politique appeared first on Globaldev Blog.