When evaluators disagree: Perplexities and perspectives

It is often held that one function served by evaluation in the fields of education and social policy generally is to assist the administrator in the making of rational decisions. If, under these circumstances, several evaluators come to different conclusions about a research proposal or a pilot social program, on what basis can the administrator make his decision? He can hardly be expected to resolve any technical dispute between the experts who are his advisors. After discussing the various functions of the evaluation process, and analyzing some of the factors that may lead to such lack of consensus amongst experts, the paper recommends that if the administrator is concerned solely with making a rationally defensible decision, then he should select his evaluating panel so that all members share the same theoretical orientation.     

The bureaucracy and public policy: Canadian merger policy and the Combines Branch, 1960–71

Abstract. This paper investigates the implications for public policy in general and merger sections of the Combines Act in particular of the hypothesis that bureaus, when carrying out their administrative duties, attempt to maximize their private utility functions rather than the social utility function expressed in the legislation. The analytical procedure, given alternative utility goals of power, prestige, convenience, and security and the appropriate constraints, is to predict the behaviour of the Combines Branch (from 1960–71) and to test these predictions against actual Branch behaviour. The evidence on the Branch's behaviour (all cases prosecuted and discontinued) suggests that its conduct can be better explained by security maximization than by any alternative private or altruistic goal. However, it is not clear that this was a bad thing for public policy because it can be argued that the Branch's behaviour brought public policy in this area closer to the social welfare function implied in the legislation than would have been the case if the government had successfully maximized its private utility function. Sommaire. L'auteur de cet exposé enquête sur les implications, pour la politique publique en général et les articles sur le fusionnement de la loi sur les coalitions en particulier, de l'hypothèse suivant laquelle es bureaux, dans l'exercice de leurs responsabilités administratives, essaient de maximiser leurs fonctions privées plutôt que leur fonction sociale, telle qu'elle est indiquée dans la législation. La procédure analytique, étant donné le choix des buts: pouvoirs, prestige, commodité et sécurité, avec Ies limites appropriées, consiste à prédire le comportement du service chargé des coalitions (de 1965 à 1971) et à vérifier ces prédictions à la lumière de son comportement réel. Les faits relatifs au comportement de ce service (tous les cas amenés en justice et ceux qui ont été abondonnés) indiquent qu'il s'explique plus par une maximisation de la sécurité que par tout autre motif privé ou altruiste. Il ne semble pas cependant que cela ait été néfaste à la politique publique parce que l'on peut argumenter que le comportement du service a fait jouer à la politique publique un rôle plus orienté vers le bien-être social, comme cela était sous-entendu dam la législation, que ce n'aurait été le cas si le gouvernement avait maximisé avec succès sa fonction privée.