Mario Schettino Valente; Dawisson Belém Lopes
Rev. Carta Inter., Belo Horizonte, v. 17, n. 2, e1254, 2022
1-23
Por uma política externa baseada
em evidência: política externa como
política pública integral e a avaliação
como abordagem de pesquisa
For an evidence-based foreign policy:
foreign policy as a public policy in full
and evaluation as a research approach
Por una política exterior basada en
evidencia: política exterior como una
política pública integral y la evaluación
como enfoque de investigación
DOI: 10.21530/ci.v17n2.2022.1254
Mario Schettino Valente
1
Dawisson Belém Lopes
2
Resumo
Uma das maiores deficiências da Análise de Política Externa
é escassez de estudos sobre os resultados. Soma-se, ainda, o
entendimento, no Brasil, de que a política externa, ainda que
seja uma política pública, conservaria características de política
de Estado. Essa noção não aporta benefícios heurísticos, por não
1 Doutor em Ciência Política pela UFMG. Professor de Relações Internacionais
no Ibmec, Minas Gerais, Brasil. (mario.s.valente@gmail.com).
ORCID: https://orcid.org/0000-0003-0187-882X.
2 Doutor em Ciência Política pela UERJ. Professor de Política Internacional e
Comparada na UFMG, Minas Gerais, Brasil. (dawisson@ufmg.br).
ORCID: https://orcid.org/0000-0002-1949-1001.
Este artigo é baseado na seção 2.1 da tese de doutorado do autor Mario
Schettino Valente, orientada pelo autor Dawisson Belém Lopes, intitulada
“Política Externa e Desenvolvimento no Brasil (1985-2018): os efeitos da ação
externa do estado brasileiro sobre comércio exterior”.
Artigo submetido em 14/02/2022 e aprovado em 08/08/2022.
ASSOCIAÇÃO BRASILEIRA DE
RELAÇÕES INTERNACIONAIS
ISSN 2526-9038
Copyright:
• This is an open-access
article distributed under
the terms of a Creative
Commons Attribution
License, which permits
unrestricted use,
distribution, and
reproduction in any
medium, provided that
the original author and
source are credited.
• Este é um artigo
publicado em acesso aberto
e distribuído sob os termos
da Licença de Atribuição
Creative Commons,
que permite uso irrestrito,
distribuição e reprodução
em qualquer meio, desde
que o autor e a fonte
originais sejam creditados.
Por uma política externa baseada em evidência [...]
Rev. Carta Inter., Belo Horizonte, v. 17, n. 2, e1254, 2022
2-23
representar a dinâmica política, e obstaculiza a produção da política externa a partir de
evidência. Este artigo, via revisões bibliográficas, contribui para o campo em duas frentes:
apresentando um conceito de política pública que abarca integralmente a política externa,
e debatendo os principais modelos e a validade da avaliação como abordagem de pesquisa.
Palavras-Chave: Política Externa; Política Pública; Avaliação.
Abstract
One of the greatest shortcomings in Foreign Policy Analysis is the paucity of studies on policy
output. Moreover, there is an understanding in Brazil that foreign policy, despite a public
policy, would preserve some characteristics of State policy. This notion has no heuristic
benefits, as it does not represent the political dynamics and hampers the production of an
evidence-based foreign policy. This paper, via literature reviews, contributes to the field on
two fronts: by presenting a concept of public policy that fully encompasses foreign policy,
and by discussing the main models and the validity of evaluation as a research approach.
Keywords: Foreign Policy; Public Policy; Evaluation.
Resumen
Una de las grandes deficiencias del Análisis de Política Exterior es la escasez de estudios
sobre los resultados. Además, existe una comprensión, en Brasil, de que la política exterior,
aunque sea una política pública, conservaría características de política de Estado. Esta
noción no aporta beneficios heurísticos pues no representa las dinámicas políticas y
obstaculiza la producción de una política exterior basada en evidencia. Este paper, via
revisiones bibliográficas, contribuye para el campo en dos frentes: presentando un concepto
de política pública que abarca plenamente la política exterior, y debatiendo los principales
modelos y validez de la evaluación como enfoque de investigación.
Palabras clave: Política Exterior; Política Pública; Evaluación.
Mario Schettino Valente; Dawisson Belém Lopes
Rev. Carta Inter., Belo Horizonte, v. 17, n. 2, e1254, 2022
3-23
Introdução
Uma das maiores deficiências da Análise de Política Externa (APE) é uma
excessiva “concentração no processo de produção da política e uma negligência
de seus resultados” (Cohen & Scott 1975 apud Baldwin 2000, 167 — tradução
nossa).3 Essa crítica, formulada em 1975, ainda é atual, conforme mostram sua
recorrência em Baldwin (2000, 167) e Faria (2018, 80).
Há uma série de dificuldades metodológicas e empíricas para pesquisas sobre
os resultados, nomeadamente a avaliação, que podem ser comuns a todas as
políticas públicas (Bovens, Hart & Kuipers 2006; Wollmann 2007.) ou exclusivas
à política externa (Baldwin 2000; Faria 2018). Contudo, há também, no Brasil,
um resquício normativo que permeia setores da sociedade, incluindo a elite
política e a academia, de que a política externa, embora uma política pública,
conservaria características de política de Estado, com um enfoque em soberania
e interesse nacional (Lopes 2011; 2014, Milani 2015). Sob esse entendimento,
a política externa não estaria sob o escrutínio de parte dos instrumentos de
controle público, e seria insulada de disputas políticas, pois estaria imbuída da
“razão de Estado” (Bourdieu 1997; Lopes 2011). Essa noção não traz benefícios
heurísticos. Assim como outras políticas públicas, a política externa brasileira
(PEB) é objeto de demandas de setores da sociedade (Lima 2000; Faria 2008;
Pinheiro & Milani 2011) que geram pressões sobre a burocracia diplomática
(Lopes 2014) e em disputas entre agências estatais para canalizar, formular
e implementar diferentes ramos dessa política (Faria 2012; Burges 2017).
Nesse sentido, este artigo visa a contribuir para uma política externa baseada
em evidência por intermédio do robustecimento de duas fragilidades dentro das
produções recentes sobre a política externa como política pública, que trazem
debates teóricos importantes, como Lima (2000; 2013), Faria (2008; 2012; 2018),
Lopes (2011; 2014), Pinheiro e Milani (2011), Milani e Pinheiro (2013; 2017) e
Milani (2015).
A primeira fragilidade trata da ausência de um conceito de política pública
com valor heurístico na literatura sobre a PEB. Cunnigham (1963, 229 — tradução
nossa) aborda com humor a dificuldade de delimitar o fenômeno da política
pública, que seria “como o elefante — você o reconhece quando o vê, mas
3 “[T]he concentration on policy process and the neglet of policy output” (Cohen & Scott 1975 apud Baldwin
2000, 167).
Por uma política externa baseada em evidência [...]
Rev. Carta Inter., Belo Horizonte, v. 17, n. 2, e1254, 2022
4-23
não consegue facilmente defini-lo.”.
4
Essa dificuldade manifesta-se nos estudos
supracitados, visto que somente Milani (2015, 70) apresenta de forma expressa
um conceito de política pública — “é aquilo que o governo decide ou não fazer”
(Dye 1972, 2). Essa definição, embora tenha seus méritos, não aborda algumas
características analíticas (Howlett, Ramesh & Pearl 2013). Por conseguinte,
este artigo realiza uma revisão da literatura para delimitar um conjunto de
características essenciais e formular um conceito de política pública em que a
política externa esteja incluída integralmente.
Ao compreender a política externa como qualquer outra política pública,
retiram-se entraves argumentativos para avaliá-la, dado que é desejável que as
políticas públicas, sobretudo em contextos democráticos, estejam sobre constante
escrutínio de mecanismos de avaliação. Esses mecanismos permitem informar
tomadores de decisão e atores interessados em seus ciclos de produção, reforçando
a qualidade dos gastos públicos e oportunizando a gestão pública baseada em
evidência (Ramos & Schabbach 2012; Jannuzzi 2016; Faria 2018).
A segunda fragilidade é a escassez de debate sobre a avaliação como uma
das abordagens de Análise de Políticas Públicas (APP) que são aplicáveis à PEB.
O silêncio em esforços de sintetizar o campo, como Milani e Pinheiro (2013; 2017)
e Casarões (2019), ilustram essa escassez. Os primeiros, ao proporem avanços para
a agenda de pesquisa sobre a PEB, indicam três caminhos analíticos principais:
(i) estudar as transformações institucionais resultantes das relações entre
burocracia diplomática, outras instituições políticas e atores da sociedade;
(ii) investigar as formas de agregação de interesses para a produção da
política externa em um contexto de perda de centralidade do Ministério
das Relações Exteriores;
(iii) promover a comparação do caso brasileiro com outros, sobretudo países
emergentes e do Sul Global, como forma de robustecer a compreensão
da produção de política externa.
Por sua vez, Casarões (2019), ao sistematizar a produção acadêmica sobre
a PEB, identifica um conjunto de trabalhos que utiliza o ferramental de APP.
4 “[P]olicy is rather like the elephant — you recognize it when you see it but cannot easily define it.” (Cunningham
1963, 229).
Mario Schettino Valente; Dawisson Belém Lopes
Rev. Carta Inter., Belo Horizonte, v. 17, n. 2, e1254, 2022
5-23
Esse autor colaciona estudos sobre a dinâmica política entre atores não estatais e
burocracias, sobre opinião pública e sobre partidos políticos. Entretanto, Casarões
(2019) não indica nenhuma produção que realize avaliação da PEB.
Somente Faria (2018) aponta a avaliação como uma possiblidade de APE, e
debate algumas de suas implicações teóricas, empíricas e normativas, bem como
mostra os esforços de outros estados para incorporar órgãos especializados para
essas atividades em suas estruturas. Portanto, este artigo busca complementar
a discussão iniciada por Faria (2018) por meio da apresentação dos principais
modelos, tempos e focos da avaliação.
Para além do debate acadêmico, a promoção da avaliação como agenda
de pesquisa justifica-se pelas recentes transformações nas dinâmicas da PEB,
e pelo papel que a academia exerce na solução de problemas públicos. Nota-
se, no debate público, um reconhecimento da avaliação como instrumento
para o aprimoramento das políticas públicas, incluindo a política externa,
desde o monitoramento e a verificação dos resultados até a elaboração de
novas políticas públicas a partir de experiências anteriores e alhures, como
ilustram a proposta de emenda constitucional para criação de um sistema de
avaliação e monitoramento de políticas públicas dos três poderes (Brasil 2017)
e a instituição do sistema de planejamento estratégico das relações exteriores
(Brasil 2018). Dado que frequentemente as burocracias resistem às avaliações
(Wildavsky 2018), incluindo a burocracia diplomática brasileira (Faria 2018), é
salutar que a academia contribua para o debate público por meio do controle, da
verificação de resultados e da elaboração de ferramentas para avaliar e planejar
a política externa, como ocorre em outras políticas públicas (Jannuzzi 2016;
Faria 2018).
Em termos metodológicos, este artigo realiza, em suas seções, revisões
bibliográficas que utilizam como base textos nacionais e estrangeiros que promovem
sínteses dos debates teóricos, e recorre às obras centrais do campo para superar
imprecisões e contradições.
Organiza-se este texto em outras três seções. Na primeira, produz-se uma
revisão sobre as principais características de política pública para delimitar um
conceito desse fenômeno e argumenta-se como a política externa está contemplada
por este conceito. A segunda apresenta os principais modelos de avaliação de
política pública. Por fim, procedem-se às considerações finais.
Por uma política externa baseada em evidência [...]
Rev. Carta Inter., Belo Horizonte, v. 17, n. 2, e1254, 2022
6-23
Política externa: integralmente uma política pública
O debate sobre o conceito de política pública estende-se desde o início
da APP, em meados do século XX, e envolve uma profusão de definições, que
partem de diferentes ângulos do fenômeno (Zittoun 2014; Birkland 2015). Com
vistas a sistematizar a literatura, Secchi (2013) identifica três principais debates
sobre o conceito de política pública. O primeiro discute o que define uma política
como pública a partir dos entes que a produzem. O segundo aborda a omissão
como componente integrante da política pública. O terceiro trata dos níveis da
política pública.
O primeiro debate opõe as abordagens estadocêntrica e multicêntrica (ou
policêntrica). A abordagem estadocêntrica entende o Estado como ente central
em termos de decisão e de implementação. Nesta abordagem, admite-se a
atuação de atores não estatais, mas sempre mediada pelo Estado. Por outro
lado, a abordagem multicêntrica entende que os atores não estatais também são
protagonistas na produção de política pública. Essa perspectiva entende que há
diversos centros de tomada de decisão e implementação para além do aparato
institucional do Estado que visam a enfrentar problemas públicos (Secchi 2013;
Howlett, Ramesh & Pearl 2013).
No cerne da distinção entre as abordagens estadocêntrica e multicêntrica,
encontra-se a divergência sobre o que determina se uma política é ou não
“pública”. Para a abordagem estadocêntrica, a natureza pública de uma política
emana da autoridade do Estado, que possui exclusividade na produção de normas
legais, na mobilização de recursos por meio de tributos, além do monopólio
do uso legítimo da força para garantir o cumprimento de suas determinações.
Por sua vez, para a abordagem multicêntrica, a natureza pública de uma
política advém da natureza do problema que se enfrenta. Se o problema é
público, esta abordagem entende que as medidas adotadas para enfrentá-lo
constituem uma política pública, independentemente dos atores envolvidos
(Secchi 2013).
Nesses termos, a abordagem estadocêntrica mostra-se adequada para
delimitar uma política como pública a partir dos atores envolvidos. A partir de
sua exclusividade na produção do ordenamento jurídico, na arrecadação, e na
execução de decisões — ainda que por delegação — o Estado delimita como os
Mario Schettino Valente; Dawisson Belém Lopes
Rev. Carta Inter., Belo Horizonte, v. 17, n. 2, e1254, 2022
7-23
atores não estatais atuam no ciclo de política pública.5 Isso ocorre porque o Estado
determina não somente as atuações formais dos atores não estatais, por meio de
regulamentação, mas também as informais, uma vez que esses atores atuam nos
espaços não regulamentados, e se orientam conforme a estrutura estatal, como
a distribuição de competências entre os poderes ou pela forma de organização
do Estado e de seu sistema político (Thomas 2004; Klüber & Maillard 2009;
Howlett, Ramesh & Pearl 2013). Destaca-se que, não obstante a possibilidade de
os atores não estatais tomarem decisões que afetem a produção da política pública
e executarem medidas para equacionar um problema coletivo, suas decisões e
ações constituem políticas públicas somente quando são intermediadas pelo
Estado, pois somente este ator possui autoridade para agir em nome de toda a
sociedade (Klüber & Maillard 2009; Howlett, Ramesh & Pearl 2013).
Outro debate busca determinar se a omissão do Estado, além da ação, integra
a política pública. Argumenta-se que essa omissão somente constitui uma política
pública a partir da inação do Estado após a inclusão de determinado problema
na agenda estatal.
6
Sob esta ótica, a omissão do Estado sobre problemas alheios
à essa agenda não são políticas públicas (Secchi 2013). Contudo, a decisão
negativa e a não decisão sobre a inclusão de um tema na agenda estatal são
políticas, pois são tomadas por agentes públicos — com ou sem mandato eletivo
— e hierarquizam os diversos interesses da sociedade. Assim, entende-se que
a omissão também integra a política pública (Howlett, Ramesh & Pearl 2013).
O último debate de Secchi (2013) trata dos níveis da política pública, se
esta corresponderia somente ao nível estratégico (diretrizes estruturantes) ou
5 O ciclo de política pública compreende a produção dessa como uma sequência de fases. Essa sequência não
é apenas linear e voltada para a produção da política pública, mas incorpora as ações de avaliação e controle
daquelas em execução ou já executadas, que retroalimentam a produção em um processo contínuo e cíclico (Jann
& Wegrich 2007). As fases do ciclo de política pública variam ligeiramente conforme o autor, mas possuem ao
menos as seguintes: (i) definição de agenda, (ii) formulação, (iii) decisão, (iv) implementação, e (v) avaliação
e controle (cf. Frey 2000). A principal crítica à utilização da estrutura do ciclo reside na artificialidade de sua
compartimentalização, visto que podem ocorrer interpenetrações que dificultariam ou impossibilitariam a
distinção de cada fase ao se realizar a observação empírica ou na falsa impressão de que as fases acontecem,
necessariamente, na mesma ordem. Contudo, o ciclo de política pública é um importante recurso heurístico, pois
permite sistematizar e comparar diversos processos de produção política pública em termos de sua estrutura
formal, de distribuições de competência e de participação dos atores (Jann & Wegrich 2007).
6 No campo de APP, conceitua-se agenda como um conjunto de problemas que chamam a atenção de grupos
da sociedade e dos agentes públicos, incluindo interpretações sobre suas origens, sobre suas simbologias e
sobre suas soluções. A agenda está presente em todos os níveis do Estado e pode se manifestar de maneira
concreta — como um conjunto de projetos de lei a serem debatidos pelo poder legislativo em um período — ou
de maneira abstrata — como entendimentos e interpretações sobre a existência, sobre a abrangência, e sobre
a maneira que os setores público e privado devem abordar os problemas públicos (Birkland 2007).
Por uma política externa baseada em evidência [...]
Rev. Carta Inter., Belo Horizonte, v. 17, n. 2, e1254, 2022
8-23
se abarcaria também os níveis intermediário e operacional. Há autores, como
Comparato (apud Secchi 2013) e Massa-Arzabe (apud Secchi 2013), que limitam
o entendimento de política pública ao conjunto estruturante das intervenções
do Estado em determinada área. Nessa interpretação, os outros níveis são
componentes de execução, não podendo ser compreendidos isoladamente como
um elemento da política pública. Entretanto, essa restrição ao nível estratégico
omite a pluralidade de questões que afetam a política pública nos outros níveis
(Klüber & Maillard 2009; Secchi 2013). Em cada nível, há diversas decisões e
alocações de recursos em razão de diferentes interpretações das diretrizes, que
ensejam disputas de interesses e envolvem distintos atores (Klüber & Maillard
2009; Giuliani apud Secchi 2013). A noção ampliada de política pública permite
capturar essa pluralidade, e cabe ao pesquisador escolher o nível de análise mais
adequado para enfrentar o seu problema de pesquisa (Secchi 2013).
Nota-se que os debates identificados por Secchi (2013) têm características
subjacentes. Percebe-se, no primeiro debate, que os atores estatais produzem a
política pública a partir de interação, em maior ou menor grau, com interesses
organizados (Saravia 2006; Birkland 2015; Dagnino et al. 2016).7 Utiliza-se
o termo “interesses organizados”, em vez de somente “atores não estatais”,
para incluir os atores estatais com participação por meios informais no ciclo
da política pública, fora de suas prerrogativas legais, conforme Thomas (2004)
sugere teoricamente, e Lopes e Valente (2016) mostram empiricamente em relação
à burocracia diplomática brasileira na Assembleia Constituinte de 1987. Essa
interação, que pode ocorrer ao longo de todo ciclo de política pública, varia
conforme a abertura deste ciclo à sociedade civil, que pode ser determinada por
vários fatores, como o reconhecimento de legitimidade de atores a participar
de certo tema e etapa do ciclo, e o grau de institucionalização dos canais de
participação (Thomas 2004). Assim, as interações, em maior ou menor intensidade,
entre atores estatais e interesses organizados constituem uma característica
essencial da política pública (Saravia 2006; Birkland 2015; Dagnino et al. 2016).
Outra característica subjacente aos debates de Secchi (2013) é a possibilidade
de os atores envolvidos em cada nível da política pública terem interpretações
7 Uma das formas dos interesses se organizarem é por meio de grupos de interesses. “Um grupo de interesse é
uma associação de indivíduos ou organizações públicas ou privadas, ou uma instituição pública ou privada,
que, com base em um ou mais preferências compartilhadas, busca influenciar a política pública em seu favor.”
(Thomas 2004, 4 — tradução nossa). “An interest group is an association of individuals or organizations or
a public or private institution that, on the basis of one or more shared concerns, attempts to inf luence public
policy in its favor.” (Thomas 2004, 4).
Mario Schettino Valente; Dawisson Belém Lopes
Rev. Carta Inter., Belo Horizonte, v. 17, n. 2, e1254, 2022
9-23
distintas sobre as diretrizes estruturantes, afetando a implementação. Essas
interpretações podem ocorrer, conforme apontam os problemas de principal-
agência, em razão de assimetria informacional ou de interesses conflitantes
(Holmstrom & Milgrom 1991; Stiglitz 2018). As distintas interpretações dos atores
envolvidos podem acarretar incongruências entre objetivos e execuções, em
diversas formas de implementação de uma mesma política pública em diferentes
regiões, e produzir resultados distintos daqueles delimitados no nível estratégico
(Birkland 2015; Howlett, Ramesh & Pearl 2013; Dagnino et al. 2016).
A última característica subjacente aos debates delimitados por Secchi (2013)
trata da multiplicidade de decisões inter-relacionadas que constituem a produção
da política pública. Esse conjunto de decisões tomadas por atores estatais e não
estatais, dentro e fora dos canais institucionais, contribuem cumulativamente
para a produção da política pública. Destaca-se que essas decisões ocorrem por
todo o ciclo. Portanto, não se limitam à escolha de diretrizes e dos meios, mas
também incluem o processo de interpretação e hierarquização de problemas a
serem enfrentados, da formulação e apresentação de alternativas, da alocação
dos recursos na implementação, bem como das formas de avaliação e controle.
Esse conjunto de decisões — que envolve diversos atores estatais e não estatais
em distintas interpretações, fases e níveis da política pública — pode constituir
vários subsistemas políticos, formando processos dinâmicos de competição,
coordenação ou cooperação entre estes subsistemas (Saravia 2006; Birkland
2015; Howlett, Ramesh & Pearl 2013).
Por fim, Howlett, Ramesh e Pearl (2013) apontam uma característica que
não permeia os debates supramencionados. Esses autores argumentam que há
instituições, nacionais e internacionais, que constrangem as tomadas de decisão
dos atores estatais e não estatais na produção da política pública, como limitações
eleitorais, orçamentárias, técnicas e culturais, e obrigações derivadas de acordos
internacionais. Essas instituições afetam a política pública ao comporem um
conjunto de pressões que são interpretadas pelos atores, moldando e orientando
suas ações, e podem contribuir para o sucesso ou fracasso dessas (North 1991).8
Em sentindo similar, Putnam (1988) argumenta que as pressões internacionais
8 “Instituições são constrangimentos humanamente produzidos que estruturam as interações políticas, econômicas
e sociais. Elas consistem tanto em constrangimentos informais (sanções, tabus, costumes, tradições e códigos
de conduta), quanto em regras formais (constituições, leis, direitos de propriedade).” (North 1991, 92 —
tradução nossa). “Institutions are the humanly devised constraints that structure political, economic and social
interaction. They consist of both informal constraints (sanctions, taboos, customs, traditions, and codes of
conduct), and formal rules (constitutions, laws, property rights).” (North 1991, 92).
Por uma política externa baseada em evidência [...]
Rev. Carta Inter., Belo Horizonte, v. 17, n. 2, e1254, 2022
10-23
não produzem efeitos internos se não houver reverberação entre os atores
no plano nacional. Dessa forma, este artigo compreende que as tomadas de
decisão na produção de política pública ocorrem em um contexto permeado
de constrangimentos institucionais, nacionais e internacionais, em que as
percepções dos atores estatais e não estatais podem eventualmente canalizar
esses constrangimentos para a política pública.
A partir dessas características centrais, percebe-se que o conceito de Dye
utilizado por Milani (2015, 70) — “política pública é aquilo que o governo decide
ou não fazer” — embora atenda a três dos debates identificados por Secchi
(2013), pois permite inferir que a política pública emana de autoridade estatal,
engloba ação e omissão, e abarca os três níveis — estratégico, intermediário e
operacional — é insuficiente para descrever os outros aspectos centrais, tornando
limitada a sua aplicação.
Dye (1972) recorre a essa formulação sintética por entender que o debate
sobre o conceito de política pública se degenera em um jogo de palavras em
que a inclusão de outras características pouco contribui para descrever o
fenômeno (Dye 1972). Esse autor argumenta que somente as ações e omissões
do Estado são empiricamente inferidas em todos os casos, não sendo possível
identificar, de forma consistente, as outras características. Ressalta-se que a
definição de Dye (1972) é útil para estudar as decisões estatais deliberadas, mas
é inadequada para outras dimensões da política pública, pois impossibilita a
distinção entre este fenômeno e outras atividades de governo, conferindo “o mesmo
tratamento de política pública a todo e qualquer comportamento governamental,
desde comprar ou não clipes de papel até travar ou não uma guerra nuclear.”
(Howlett, Ramesh & Pearl 2013, 6).
Em razão da limitação do conceito de Dye (1972) para fins heurísticos,
apresenta-se um conceito de política pública, que integra as formulações de
outros autores, nomeadamente Saravia (2006) e Jenkins (apud Howlett, Ramesh
& Pearl 2013), bem como incorpora as outras características supradebatidas.
Recorre-se a Saravia (2006) para esclarecer que a política pública tanto pode se
destinar a um ou mais setores, como educação, renda e produtividade, quanto
pode ser preventiva ou corretiva, i.e. evitar o surgimento de um problema público
ou alterar uma realidade entendida como problemática. Por sua vez, Jenkins
(apud Howlett, Ramesh & Pearl 2013) explicita a cadeia de decisões que compõe
a política pública.
Mario Schettino Valente; Dawisson Belém Lopes
Rev. Carta Inter., Belo Horizonte, v. 17, n. 2, e1254, 2022
11-23
Dessa forma, conceitua-se política pública como um conjunto de decisões
inter-relacionadas tomadas por grupos de atores, estatais ou mediados pelo
Estado, a partir de interações formais e informais com interesses organizados,
sob constrangimentos internos e externos, que define objetivos, estratégias de
atuação, escolha de meios e de alocação de recursos, com vistas a produzir ações
ou omissões, preventivas ou corretivas, destinadas a manter ou a modificar a
realidade de um ou de vários setores da vida social.
Acerca de a política externa ser uma política pública, há argumentos que
buscam distingui-la pelo seu caráter “sui generis” (Milani 2015, 60) — i.e. uma
política pública única, peculiar, singular. Esses argumentos defendem que a
política externa diferencia-se de outras políticas públicas em razão de algumas
especificidades. Primeiramente, a política externa teria uma continuidade no
tempo, sobretudo no tocante às diretrizes estruturantes, que, em certa medida,
demandaria uma decisão dos líderes políticos sem a interferência de interesses
mais imediatos, o que ensejaria sua caracterização, ainda que parcial, como
política de Estado (Tokatlian & Merke 2014; Milani 2015). Ainda, a política
externa, devido à baixa institucionalização de canais de participação para os
interesses organizados (Pomeroy 2016), e de sua especificidade, complexidade e
confidencialidade (Badie 2008), estaria impedida do efetivo exercício da democracia
em sua produção e controle (Badie 2008; Milani 2015; Pomeroy 2016).
Contudo, produções teóricas e empíricas mostram que a política externa não
se diferencia de outras políticas públicas a partir desses argumentos. As políticas
públicas, incluindo a política externa, marcam-se pela tensão entre interesses
individuais e coletivos de curto e longo prazo, assim como são relativamente
estáveis no tempo, alterando-se pontualmente, quando há uma confluência entre
opinião pública e mobilização política (Baumgartner & Jones 1993; Lima 2000).
Nesse sentido, Lima (2000) argumenta que, para o caso brasileiro, à medida que
diversos setores da sociedade passam a perceber os efeitos distributivos da PEB,
intensificam-se as pressões para expandir e formalizar os canais de influência
sobre essa política pública.
Ressalta-se que os interesses organizados buscam influenciar a produção
da política pública por diversos meios, para além dos canais formais, como por
intermédio de relações informais com agentes públicos e pela opinião pública
(Thomas 2004; Souza 2009; Lopes & Valente 2016; Pomeroy 2016). Ainda, nota-se
empiricamente que a política pública prescinde do contexto democrático
(Lima 2000; Milani & Pinheiro 2017), visto que regimes autoritários legitimam
Por uma política externa baseada em evidência [...]
Rev. Carta Inter., Belo Horizonte, v. 17, n. 2, e1254, 2022
12-23
sua autoridade e agregam interesses por meios não necessariamente semelhantes
aos da democracia (Thomas 2004).
Por outro lado, conforme expõe Rosenau (1964), a delimitação de área
temática de uma política pública ressalta algumas especificidades em contraste
com outras áreas ou com o conceito geral. As especificidades da política externa
em relação às suas congêneres devem-se à projeção desta política pública para fora
das fronteiras do território do Estado. Assim, enquanto outras políticas públicas
agem na sociedade e no espaço de soberania do Estado, a política externa atua
também na sociedade internacional, junto a outros entes soberanos e atores
internacionais, com vistas a manter ou modificar a realidade de um ou vários
setores da vida social de seus nacionais em território próprio ou alhures (Neack
2008; Headley & Wyk 2012). Essa projeção para fora do território nacional tende
a atrair maiores interesses de atores internacionais, estatais ou não estatais,
que também mobilizam recursos para promover seus interesses. Dessa forma,
a política externa tem seus resultados afetados por dinâmicas de competição,
coordenação ou cooperação entre entes de capacidades, por vezes, assimétricas
(Neack 2008; Milani 2015; Hill 2016).
Outra especificidade da política externa deriva de dinâmicas de outras
políticas públicas e da expansão da agenda internacional que engendram a
internacionalização das políticas públicas, em que áreas não tradicionais da
política externa, como educação, saúde e meio ambiente, passam a interagir
com a sociedade internacional (Pinheiro & Milani 2011; Faria 2012; Hill 2016;
Milani & Pinheiro 2017). A internacionalização incrementa o caráter transversal
da política externa e a torna parte de outras políticas públicas, ensejando, no
Brasil, a horizontalização da PEB — i.e. a dispersão da produção de política
externa em várias burocracias do poder executivo federal (Silva, Spécie & Vitale
2010; Pinheiro & Milani 2011; Faria 2012; Milani & Pinheiro 2017). Em sentido
similar, conclui Burges (2017, 14-15 — tradução nossa):
Em termos práticos, a política externa é simplesmente outra área de política
pública condicionada por estruturas institucionais e práticas que reagem
às possibilidades e limitações inerentes ao contexto político, econômico,
social e de segurança, [nos planos] nacional e internacional. (...) A gama de
campos de ação com implicações de política externa e de atores envolvidos
está crescendo rapidamente para além das questões militares, comerciais,
de segurança e da política internacional, que tradicionalmente ocupam
os diplomatas. Mesmo decisões políticas aparentemente inócuas sobre a
promoção da cultura nacional, sobre o desenvolvimento de protocolos de
Mario Schettino Valente; Dawisson Belém Lopes
Rev. Carta Inter., Belo Horizonte, v. 17, n. 2, e1254, 2022
13-23
saúde ou sobre investigações em áreas especializadas, como regulamentações
fitossanitárias e padrões de televisão digital, podem discretamente afetar
o “soft power” de um país e influenciar outros atores internacionais.
9
Percebe-se que essas especificidades da política externa são formas qualificadas
das características presentes no conceito de política pública devido à aproximação
temática. Conforme exposto, essas especificidades não se mostram contraditórias
ao conceito de política pública supra-apresentado, mas se encontram contempladas
neste. Portanto, afirma-se que a política externa é, integralmente, uma política
pública, e que pelas razões expostas, não é necessário acrescentar nenhum outro
rótulo. Ao se conceber a política externa como uma política pública como as
demais, sem ser singularizada sobre o pretenso isolamento da razão de Estado,
torna-se desejável que esta política pública — como ocorre com suas congêneres
— seja objeto de escrutínio sobre seus resultados.
Avaliação como abordagem de pesquisa
A avaliação de política pública refere-se às atividades realizadas por atores
estatais e não estatais para verificar e sistematizar os resultados
10
de determinada
política pública, no tocante às transformações na sociedade, com o intuito de
monitorá-la, de julgar o seu mérito, bem como de estimar o seu desempenho
no futuro. A avaliação fornece dados para que atores estatais e outras partes
interessadas atuem de maneira informada para escolher, reforçar, adequar ou
encerrar determinada política pública (Vedung 2006; 2013; Wollmann 2007;
Jannuzzi 2016). Assim, a pesquisa acadêmica, ao promover a avaliação, encontra-se
na interseção entre a análise de política pública e a análise para política pública,
9 “In practical terms, foreign policy is simply another area of public policy conditioned by institutional structures
and practices reacting to the possibilities and limitations inherent in the domestic and international political,
economic, security, and social context (Belém Lopes 2013a; Patriota 2013a). (...) The range of fields of action
with foreign policy implications and the actors involved is rapidly growing beyond the military, trade, security
and international political issues that have traditionally occupied diplomats. Even seemingly innocuous policy
decisions about the promotion of national culture, the development of health protocols, or investigations into
specialist areas such as phytosanitary regulations and digital television standards can quietly impact a country's
'soft power' and bring influence to bear upon other international actors.” (Burges 2017, 14-15).
10 Os resultados da política pública compõem-se de produtos e efeitos. Os produtos são atos que partem dos
atores que implementam a política pública, como a edição de leis e normas, as proibições, os impostos, os
subsídios, os serviços, as mercadorias. Por sua vez, os efeitos ou impactos são um subgrupo do produto e
representam a porção produzida pela intervenção na realidade. Assim, uma política pública pode ter como
produto a concessão de determinado subsídio a um setor da economia, ao passo que os efeitos são as
modificações que ocorrem neste setor e na dinâmica econômica a partir deste subsídio (Vedung 2006).
Por uma política externa baseada em evidência [...]
Rev. Carta Inter., Belo Horizonte, v. 17, n. 2, e1254, 2022
14-23
buscando produzir evidências para compreender melhor o fenômeno, mostrar
entraves, e redefinir problemas coletivos para permitir melhorias na qualidade
do gasto público (Ramos & Schabbach 2012; Dagnino et al. 2016).
Ressalta-se que a política pública baseada em evidência não significa
uma supremacia da produção técnocientífica sobre a política. Primeiramente,
porque as evidências não são determinantes para a produção de política pública.
O ciclo de política pública, conforme exposto, permeia-se de interesses, e de
constrangimentos internos e externos. As evidências buscam informar os tomadores
de decisão e os atores interessados acerca dos resultados de políticas já adotadas,
ou das diferentes soluções, seus custos e resultados esperados dentre diferentes
alternativas a serem adotadas (Jannuzzi 2016; Pinheiro 2018). Ainda, a produção
tecnocientífica é permeada de escolhas epistemológicas, teóricas e metodológicas,
e produzem resultados passíveis de contestação a partir de novas investigações.
Conforme destaca Jannuzzi (2016, 12): “a falibilidade do conhecimento científico
e técnico é antes uma virtude do que uma fragilidade”, e robustecem a gestão
pública baseada em evidência.
Percebe-se que a avaliação possui um caráter normativo, pois se baseia,
para além da produção e análise de dados, na aplicação de critérios valorativos
com vistas a apreciar o mérito de determinada política pública (Vedung 2006;
Jannuzzi 2016). Segundo Vedung (2006), a partir dos diferentes tipos de critérios,
pode se organizar a avaliação em nove modelos. Os primeiros três compõem-se
de critérios sobre os efeitos da política pública sobre a realidade: modelos de
(i) alcance de metas, (ii) efeitos colaterais e (iii) relevância. Outros três modelos
constituem-se de critérios baseados nas percepções de indivíduos e de agentes
envolvidos na política pública: modelo (iv) orientado para o público-alvo,
(v) das partes interessadas e (vi) colegiado. Os últimos modelos fundamentam-se
em critérios econômicos: modelos de (vii) economia, (viii) produtividade e
(ix) eficiência (Vedung 2006; 2013).
O modelo de alcance de metas consiste em identificar os objetivos propostos
na produção da política pública, transformando-os em indicadores, e em verificar
em que medida a política pública executada promove ou obstaculiza o que fora
proposto. As deficiências desse modelo advêm de incertezas sobre os objetivos e
de sua inadequação para mensurar efeitos colaterais inadvertidos — i.e. aqueles
que ocorrem fora das áreas-alvo da política pública. Essas incertezas ocorrem
quando a administração pública adota um catálogo de metas — i.e referências
não hierarquizadas — ou quando não há previsão expressa sobre os objetivos,
Mario Schettino Valente; Dawisson Belém Lopes
Rev. Carta Inter., Belo Horizonte, v. 17, n. 2, e1254, 2022
15-23
e documentos oficiais e discursos dos atores envolvidos são ambíguos ou
contraditórios. Ambas as situações dificultam a avaliação, seja pela profusão de
metas, que impedem a identificação dos pontos centrais, seja pela imprecisão e
impossibilidade de delimitar os objetivos. O modelo de alcance de metas, quando
bem sucedido em delimitá-las, tende a produzir uma avaliação enviesada para
as áreas-alvo, ignorando efeitos colaterais inadvertidos (Vedung 2006; 2013).
O modelo de efeitos colaterais consiste na expansão do modelo de alcance
de metas para além das áreas-alvo da política pública. Assim, contrastam-se os
efeitos da política pública com os objetivos propostos, bem como se mapeiam
potenciais áreas afetadas, visando a identificar os efeitos colaterais não previstos
na formulação e avaliando-os a partir de parâmetros estabelecidos após a execução
dessa política. A análise dos efeitos colaterais apresenta vantagens por produzir
juízo de mérito abrangente sobre a política pública e por indicar áreas em que
esses efeitos devem ser mitigados, melhorando a qualidade da intervenção
pública (Vedung 2006; 2013).
O modelo de relevância concentra-se sobre o problema fundamental da
política pública. Dessa forma, a avaliação recai sobre os resultados relevantes para
equacionar o problema fundamental, sendo a política pública considerada bem
sucedida quando soluciona, parcial ou totalmente, este problema. Duas questões
são centrais neste modelo: a definição do problema fundamental e a circunscrição
do que seria relevante para avaliar sua solução. Para a primeira, recorre-se aos
documentos, aos discursos e às intervenções para identificar o cerne da situação
que a política pública busca equacionar. Para a segunda, delimita-se o conjunto
relevante de forma prévia à execução, utilizando referências científicas para
analisar se os produtos propostos são adequados, ou a posteriori, verificando os
efeitos da política pública sobre o problema fundamental (Vedung 2006; 2013).
Este modelo distingue-se dos anteriores por avaliar os efeitos sobre o problema
fundamental. Conforme exemplifica Vedung (2013, 392 — tradução nossa):
O objetivo de uma campanha de informação pode ser reduzir as compras
de bebidas alcoólicas, enquanto o problema fundamental é reduzir a
prevalência de doenças relacionadas ao álcool. Mas as compras podem
diminuir, enquanto as doenças relacionadas ao álcool podem aumentar
devido ao aumento das compras no exterior.
11
11 “The goal of an information campaign may be to reduce purchases of alcoholic beverages while the underlying
problem is to reduce prevalence of alcohol-related illnesses. But purchases may be down while alcohol-related
illnesses are up due to increased purchases abroad.” (Vedung 2013, 392).
Por uma política externa baseada em evidência [...]
Rev. Carta Inter., Belo Horizonte, v. 17, n. 2, e1254, 2022
16-23
O modelo orientado para o público-alvo julga o mérito da política pública
a partir das percepções de seus destinatários. Este modelo justifica-se para
além da noção de cidadão como mero consumidor-cliente de bens e serviços
públicos, fundando-se nas noções de participação e deliberação. Nesses termos,
os cidadãos devem expressar suas reclamações e vontades para o poder público
com o objetivo de convergir a política pública para as suas expectativas, em um
processo de aprendizagem entre agentes públicos e cidadãos, em que aqueles
se tornam mais conscientes das necessidades destes, e estes mais conscientes
dos direitos e deveres da cidadania. A avaliação orientada para o público-alvo
pode recair sobre o conteúdo, a produção da política pública, a prestação do
serviço em si, a percepção dos efeitos dos bens e serviços sobre a realidade, e a
resposta do poder público a avaliações prévias. Este modelo permite a melhoria
da política pública em pontos sensíveis para seus destinatários, o que pode
reforçar sua legitimidade. Contudo, há uma tendência deste modelo receber mais
reclamações e de ser dominado por alguns interesses organizados em detrimento
da totalidade de seus destinatários. Para evitar distorções, recomenda-se combinar
este modelo com outro baseado em critérios sobre os efeitos da política pública
(Vedung 2006; 2013).
O modelo das partes interessadas avalia a política pública baseado nas
percepções de grupos de atores ou indivíduos que possuem algum interesse nesta,
não somente os seus destinatários. Destaca-se que as partes interessadas têm,
potencialmente, distintas convicções sobre a política pública — por exemplo,
acerca das assimetrias e deficiências no seu processo de produção, das barreiras
complexas que dificultariam a sua execução, e dos efeitos colaterais inadvertidos.
Este modelo permite a captura de distintas perspectivas e a ampliação dos tópicos
a serem investigados, contribuindo para a qualidade das conclusões da avaliação.
Por outro lado, devem se sopesar as percepções capturadas com os interesses dos
grupos entrevistados. Assim, indica-se também combinar este modelo com outro
que parta de critérios sobre os efeitos da política pública (Vedung 2006; 2013).
No modelo colegiado, funcionários de uma agência encarregam-se de
avaliar a política pública desempenhada por seus colegas ou por colegas de
agências similares, a partir de critérios profissionais de mérito e qualidade. Este
modelo subdivide-se em duas abordagens: revisão por pares e autoavaliação. Na
primeira, realiza-se a avaliação por um comitê externo composto, idealmente,
por especialistas na área em análise; enquanto, na segunda, o indivíduo ou
a agência julga o seu próprio mérito. Este modelo parece distante da arena
Mario Schettino Valente; Dawisson Belém Lopes
Rev. Carta Inter., Belo Horizonte, v. 17, n. 2, e1254, 2022
17-23
pública e da investigação científica, entretanto ele se justifica em contextos de
complexidade e especificidade da política avaliada, que demandam conhecimento
técnico atualizado para julgar adequadamente seus méritos. Nesse sentido,
o modelo colegiado é mais comum na área acadêmica, como no ensino superior
e nas pesquisas, bem como nos órgãos e autarquias de regulação profissional,
como engenheiros, médicos, advogados, e em carreiras do poder judiciário.
As dificuldades deste modelo encontram-se na tensão entre padronização e
atualização dos parâmetros de avaliação, e no espírito de corpo, dada a tendência
dos avaliadores serem complascentes com seus pares. Novamente, este modelo
produz melhores resultados quando associado a outro fundado em critérios sobre
os efeitos da política pública (Vedung 2006; 2013).
Por sua vez, o modelo de economia tem como único critério o custo monetário,
em que se calculam as quantidades e os preços dos insumos da política pública.
Dessa forma, verifica-se a possibilidade de redução de seus custos monetários,
bem como a comparação de custos entre potenciais alternativas. Ressalta-se
que este modelo é adequado para estabelecer uma linha de base dos custos
para se usar em outras avaliações fundadas em critérios econômicos, ou para
robustecer conclusões de modelos baseados em outros critérios (Vedung 2006;
Wu et al. 2014).
O modelo de produtividade usa como critério a razão entre produtos e
custos. Assim, quantificam-se os produtos, sobretudo os que se expressam em
termos físicos, como quantidade de pacientes, de alunos, de missões comerciais
(v.g. Canada 2017), e calculam-se os custos pelo seu valor monetário ou pelas
horas trabalhadas. Utiliza-se este modelo para identificar o desempenho ao longo
do tempo em relação aos custos e mostrar gargalos a serem superados. Contudo,
a produtividade, isoladamente, não é um critério ideal para avaliar a política
pública, por não medir os seus impactos na realidade, sendo necessário associá-la
a outro modelo fundado na análise de efeitos (Vedung 2006; Wu et al. 2014).
O último modelo sopesa custos, resultados e impactos, produzindo análises de
custo-efetividade e de custo-benefício, e denomina-se modelo de eficiência. Para
tanto, mensuram-se os efeitos da política pública, utilizando um dos três primeiros
modelos apresentados, e computam-se os custos pelos preços dos insumos ou
por horas trabalhadas. Na análise de custo-efetividade, contrastam-se alcance de
metas ou o equacionamento do problema fundamental da política pública, e os
custos de implementação — v.g. porcentagem da população alfabetizada em idade
adulta em comparação com os custos desse programa de alfabetização. Por sua
Por uma política externa baseada em evidência [...]
Rev. Carta Inter., Belo Horizonte, v. 17, n. 2, e1254, 2022
18-23
vez, na análise de custo-efetividade, monetizam-se os efeitos da política pública
para apresentar os resultados em uma razão entre os valores monetários dos
efeitos e dos custos — v.g. a expressão monetária da porcentagem da população
alfabetizada em idade adulta dividida pelos custos desse programa de alfabetização.
A principal dificuldade deste modelo, para além daquelas comuns à delimitação
e mensuração dos efeitos da política pública, é a conversão de bens imateriais,
como bens e serviços públicos, em valores monetários. Entretanto, percebe-se que
este modelo, ao incorporar os efeitos em sua análise, equaciona as deficiências
dos outros modelos econômicos (Vedung 2006).
Destaca-se que a avaliação ocorre em distintas relações temporais e funcionais.
A avaliação ex ante realiza-se durante a formulação e a decisão da política
pública, e sua função é estimar os custos, os efeitos e as consequências das
alternativas a serem apreciadas. A avaliação contínua acontece no decorrer
da implementação da política pública, e destina-se a identificar os resultados
produzidos, incluindo os efeitos, com o objetivo de fornecer informações para
reforçar, corrigir ou redirecionar a implementação, incluindo as interpretações
e as decisões dos atores envolvidos. O monitoramento é uma modalidade da
avaliação contínua que produz uma análise descritiva da política pública por meio
de indicadores que mensuram seus processos de implementação e seus efeitos ao
longo do período de execução, permitindo a comparação de diferentes momentos
e circunscrições territoriais, bem como a identificação de problemas pontuais.
A avaliação ex-post realiza-se após a execução da política pública e concentra-se
sobre os resultados, com vistas a verificar se as metas foram atendidas, por vezes
incorporando um critério econômico, e a examinar a existência de relação causal
entre a política pública implementada e os efeitos mensurados (Wollmann 2007;
Jannuzzi 2016).
Percebe-se que a avaliação pode recair sobre o processo e sobre os resultados.
A avaliação sobre o processo examina a formulação, a decisão ou a implementação
da política pública. A avaliação sobre a formulação e a decisão tem como
objeto as dinâmicas políticas e institucionais, e verifica questões relacionadas
à participação, e à intervenção de atores estatais e não estatais na produção da
política pública, visando a contribuir para reforçar a legitimidade desta a partir
de sua responsividade às demandas de parcelas da sociedade. A avaliação sobre
o processo de implementação incide sobre os métodos organizacionais, as regras
e os procedimentos operacionais, com vistas a melhorar a execução em termos
econômicos, reduzindo custos, ou em relação às expectativas dos indivíduos e
Mario Schettino Valente; Dawisson Belém Lopes
Rev. Carta Inter., Belo Horizonte, v. 17, n. 2, e1254, 2022
19-23
agentes envolvidos na política pública, concorrendo também para incrementar a
sua legitimidade. Por seu turno, a avaliação sobre os resultados debruça-se sobre
os produtos da política pública, como a qualidade dos bens e serviços públicos,
seus efeitos, bem como seus aspectos econômicos, como os custos totais e as
relações de custo-benefício (Pierre 2006; Wu et al. 2014).
Dessa forma, delimitam-se nove modelos, três tempos e os dois focos sobre
a avaliação de política pública, que constituem tipos ideais sobre seus diversos
aspectos. Destaca-se que há outras tipologias possíveis para além das que se
apresentam neste artigo, como sobre o agente que realiza a avaliação e sobre a
natureza do produto de pesquisa (c.f. Ramos & Schabbach 2012; Jannuzzi 2016).
Ressalta-se, ainda, que a metodologia de avaliação deve-se moldar conforme
as demandas para produção dos conhecimentos almejados, combinando-se
modelos, tempos e focos, com uma gama de técnicas qualitativas e quantitativas
que podem ser empregadas na avaliação, da etnografia aos experimentos (Jannuzzi
2016). Contudo, deve-se ter em vista que, à medida que se alarga o escopo da
avaliação, aumentam-se as dificuldades para realizá-la, pois se somam eventuais
contradições entre critérios, demandas por recursos e obstáculos para produção
de dados (Bovens, Hart & Kuipers 2006; Wollmann 2007).
Considerações finais
Ao delimitar as características centrais da política pública, apresentar um
conceito deste fenômeno e proceder considerações sobre a aplicação deste à
política externa, este artigo contribui para a compreensão da complexidade do
fenômeno da política externa, ao mesmo tempo em que o sintetiza em um conceito
parcimonioso, que permite distinguir a política pública de outras atividades da
administração pública, sem se degenerar em um jogo de palavras, conforme receia
Dye (1972). Cumpre-se, ainda, o objetivo de produzir um conceito de política
pública que possua valor heurístico, posto que apresenta suas características
centrais, que são aplicáveis ao fenômeno da política externa. Ao sintetizar os
modelos mais comuns de avaliação, apresentar as possibilidades de avaliação
ao longo do tempo e os possíveis focos, este artigo contribui para a difusão da
avaliação de política pública como uma abordagem possível para analisar a PEB.
A importância dessa difusão deve-se ao papel da academia na sociedade.
Há uma emergência da avaliação de política pública no debate público com
Por uma política externa baseada em evidência [...]
Rev. Carta Inter., Belo Horizonte, v. 17, n. 2, e1254, 2022
20-23
expressões na estrutura institucional do Estado brasileiro (Brasil 2017; 2018).
Não obstante a importância de a própria burocracia monitorar e avaliar a política
pública, é comum a ocorrência de resistências no corpo burocrático ao controle
de suas atividades, sobretudo frente a resultados não satisfatórios (Faria 2018;
Wildavsky 2018). Nesse sentido, a avaliação como abordagem de pesquisa,
por meio da produção empírica de conhecimento, permite à academia mostrar
entraves e repensar problemas coletivos que oportunizem melhorias na política
pública, bem como contrapor interesses organizados na sociedade civil e no
Estado, sobretudo a partir de desenho de pesquisa autônomo e de financiamento
independente das partes interessadas (Bovens, Hart & Kuipers 2006; Wollmann
2007; Dagnino et al. 2016).
Por fim, nota-se que a avaliação como abordagem de pesquisa em APE não
é trivial e demanda robustas capacidades teórica e metodológica. Não obstante
os esforços de intesificação de treinamento (Albuquerque, Lima & Brito 2020),
a capacidade metodológica ainda não se manifesta nas produções de Relações
Internacionais. Carvalho et al. (2020), ao analisar os dois principais periódicos
brasileiros da área, mostram que mais de 50% das publicações não explicitam os
métodos adotados. Isso sugere que o treinamento metodológico é, atualmente,
o principal desafio para a avaliação como abordagem de pesquisa e para uma
política externa baseada em evidência.
Referências
Albuquerque, R.; Lima, R., & Brito, R. 2020. “Obscuridade metodológica: um mapeamento
da formação em métodos na pós-graduação em Relações Internacionais e áreas
afins na América do Sul”. In: Anais do 12º Encontro da ABCP.
Badie, B. 2008. Le diplomatie et l’intrus. Fayard.
Baldwin, D. 2000. “Success and Failure in Foreign Policy”. Annual Review of Political
Science, 3:167-182.
Baumgartner, F. & Jones, B. 1993. Agendas and Instability in American Politics. University
of Chicago Press.
Birkland, T. 2007. “Agenda Setting in Public Policy”. In: Handbook of Public Policy
Analysis, edited by Frank Fischer, Gerald J. Miller & Mara S. Sidney. CRC.63-78.
Birkland, T. 2015. An Introduction to the Policy Process: Theories, Concepts, and Models
of Public Policy Making. 3rd ed. Routledge.
Mario Schettino Valente; Dawisson Belém Lopes
Rev. Carta Inter., Belo Horizonte, v. 17, n. 2, e1254, 2022
21-23
Bovens, M., Hart, Paul’T & Kuipers, Sanneke. 2006. “The Politics of Policy Evalutation”.
In: The Oxford Handbook of Public Policy, edited by Michael Moran, Martin Rein,
Robert E. Goodin, 319-335, OUP.
Bourdieu, P. 1997. “De la maison du roi à la raison d’État: un modèle de la genèse du
champ bureaucratique”. Acte de la Recherche en Sciences Sociales, 118:55-68.
Brasil. Senado Federal. 2017. Proposta de Emenda à Constituição n° 26 de 2017. Diário
do Senado Federal 93, 30 jun.
Brasil. Ministério das Relações Exteriores. 2018. Portaria nº 375 de 2018. Estabelece
o sistema de planejamento estratégico das relações exteriores (SISPREX). Diário
Oficial da União, Brasília, 3 mai. e retificado 8 mai.
Burges, S. 2017. Brazil in the World: the international relations of a South American
giant. Manchester University Press.
Canada. Global Affairs. 2017. Deparmental Results Report. Catalogue Number:
FR2-25E-PDF.
Casarões, G. 2019. “The evolution of Brazilian foreign policy studies: four perspectives”. In:
Routledge Handbook of Brazilian Politics, edited by Barry Ames, 406-429. Routledge.
Carvalho, T. et al. 2020. “Mind the gap! Assessing differences in methodological approaches
between Brazilian and mainstream IR journals”. In: Anais do 12º Encontro da ABCP.
Cunnigham, C. 1963. Policy and Practice. Public Administration, 41: 229-238.
Dagnino, R. Thomas, H., Costa, G. & Gomes, E. 2016. “Metodologia de análise de
políticas”. In: Gestão Estratégica Pública, editado por Renato Dagnino, Paula Arcoverde
Cavalcanti e Greiner Costa, 185-263. Editora Fundação Perseu Abramo.
Dye, T. 1972. Understanding public policy. Prentice-Hall.
Faria, C. de. 2008. “Opinião pública e política externa: insulamento, politização e
reforma na produção da política exterior do Brasil”. Revista Brasileira de Política
Internacional, 51(2):80-97.
Faria, C. de. 2012. “O Itamaraty e a política externa brasileira: do insulamento à
busca de coordenação dos atores governamentais e de cooperação com os agentes
societários”. Contexto Internacional, 34(1):311-355.
Faria, C. de. 2018. “Desencapsulamento, politização e necessidade de (re)legitimação
da política externa brasileira: razões e percalços para o seu monitoramento e a sua
avaliação”. Revista Tempo do Mundo, 4(1):65-93.
Frey, K. 2000. “Políticas Públicas: um debate conceitual e reflexões referentes à prática
da Análise de Políticas Públicas no Brasil”. Planejamento e Políticas Públicas, 21.
Headley, J. & Wyk, J. 2012. “Debating the Public’s Role in Foreign Policy”. In: Public
Participation in Foreign Policy, edited by James Headley, Andreas Reitzig, and Joe
Burton, 3-20. Palgrave Macmillan.
Por uma política externa baseada em evidência [...]
Rev. Carta Inter., Belo Horizonte, v. 17, n. 2, e1254, 2022
22-23
Hill, C. 2016. Foreign Policy in the Twenty-First Century. Palgrave Macmillan.
Holmstrom, B., & Milgrom, P. 1991. “Multitask Principal-Agent Analyses: Incentive
Contracts, Asset Ownership, and Job Design”. Journal of Law, Economics, &
Organization, 7:24-52.
Howlett, M., Ramesh, M. & Pearl, A. 2013. Política Pública: seus ciclos e subsistemas.
Elsevier.
Jann, W.; Wegrich, K. 2007. “Theories of the Policy Cycle”. In: Handbook of Public Policy
Analysis, edited by Frank Fischer, Gerald J. Miller & Mara S. Sidney. CRC. 393-402.
Jannuzzi, P. 2016. Monitoramento e avaliação de programas sociais: uma introdução
aos conceitos e técnicas. Alínea.
Klüber, D. & Maillard, J. 2009. Analyser les politiques publiques. Presses Universitaires
de Grenoble.
Lima, M. 2000. “Instituições Democráticas e Política Exterior”. Contexto Internacional,
2(2):265-303.
Lima, M. 2013. “Relações Internacionais e Políticas Públicas: A Contribuição da Análise
de Política Externa”. In: A Política Pública como Campo Interdisciplinar, editado
por Eduardo Marques & Carlos de Faria, 127-153. Editora UNESP.
Lopes, D. 2011. “A política externa brasileira e a ‘circunstância democrática’”. Revista
Brasileira de Política Internacional, 54:67-86.
Lopes, D. 2014. “Da razão de estado ao republicanismo mitigado: uma narrativa Faoriana
sobre a produção da Política Externa Brasileira”. Dados, 57(2):481-516.
Lopes, D. & Valente, M. 2016. “A Construção Social dos Princípios Conformadores e
das Normas Programáticas de Política Externa Brasileira na Constituição Federal
de 1988”. Dados, 59(4): 995-1054.
Milani, C. 2015. “Política Externa é Política Pública?”. Insight Inteligência, 18:56-75.
Milani, C. & Pinheiro, L. 2013. “Política externa brasileira: os desafios de sua caracterização
como política pública”. Contexto Internacional, 35:11-41.
Milani, C. & Pinheiro, L. 2017. “The Politics of Brazilian Foreign Policy and Its Analytical
Challenges”. Foreign Policy Analysis, 13:278-296.
Neack, L. 2008. The New Foreign Policy: power seeking in a globalized era. Rowman
& Littlefield.
North, D. 1991. “Institutions”. The Journal of Economic Perspectives, 5(1):97-112.
Pierre, J. 2006. “Disciplinary Perspectives”. In: Handbook of Public Policy, edited by
Guy Peters & Jon Pierre, 481-492. Sage Publications.
Pinheiro, L. & Milani, C.(orgs.). 2011 . Política Externa Brasileira: as práticas da política
e a política das práticas. Fundação Getúlio Vargas.
Pomeroy, M. 2016. “Civil Society Participation in Brazilian Foreign Policy: an Analysis
of its Democratic Quality”. Contexto Internacional, 38(2):711-729.
Mario Schettino Valente; Dawisson Belém Lopes
Rev. Carta Inter., Belo Horizonte, v. 17, n. 2, e1254, 2022
23-23
Putnam, R. 1988. “Diplomacy and Domestic Politics: The Logic of Two-Level Games”.
International Organization, 42(3):427-460.
Ramos, M. & Schabbach, L. 2012. “O estado da arte da avaliação de políticas públicas:
conceituação e exemplos de avaliação no Brasil”. Revista de Administração Pública,
46(5):1271-1294.
Rosenau, J. 1964. “Foreign Policy as an Issue-Area”. In: Domestic Sources of Foreign
Policy, edited by James Rosenau, 11-50. The Free Press.
Saravia, E. 2006. “Introdução à Teoria da Política Pública”. In: Políticas Públicas:
coletânea, editado por Enrique Saravia & Elisabete Ferrarezi, 21-42. ENAP.
Secchi, L. 2013. Políticas Públicas: Conceitos, esquemas de análise, casos práticos.
Cengage Learning Edições.
Silva, E., Spécie, P. & Vitale, D. 2010. “Atual arranjo institucional da política externa
brasileira”. IPEA Texto para Discussão, 1.489.
Souza, A. 2009. A Agenda Internacional do Brasil: a política externa de FHC a Lula.
Elsevier.
Stiglitz, J. 2018. Principal and Agent (ii). In: The New Palgrave Dictionary of Economics,
3rd ed., 10737-10747. Palgrave.
Thomas, C. 2004. Research Guide to U.S. and International Interest Groups. Praeger
Publishers.
Tokatlian, J. & Merke, F. 2014. “Instituciones y actores de la política exterior como
política pública”. In: Dilemas del Estado Argentino: política exterior, económica y de
infraestructura en el siglo XXI, editado por Carlos Acuña, 245-293. Siglo Veintiuno.
Vedung, E. 2006. “Evaluation Research”. In: Handbook of Public Policy, edited by Guy
Peters & Jon Pierre, 397-416. Sage Publications.
Vedung, E. 2013. “Six models of evaluation”. In: Routledge Handbook of Public Policy,
edited by Eduardo Araral Jr et al., 387-400. Routledge.
Wildavsky, A. 2018. The art and craft of policy analysis. Palgrave Macmillan.
Wollmann, H. 2007. “Policy Evaluation and Evaluation Research”. In: Handbook of
Public Policy Analysis, edited by Frank Fischer, Gerald J. Miller & Mara S. Sidney,
393-402. CRC.
Wu, X., Ramesh, M., Howlett, M. & Fritzen, S. 2014. Guia de políticas públicas: gerenciando
processos. Enap.
Zittoun, P. 2014. The Political Process of Policymaking: a Pragmatic Approach to Public
Policy. Palgrave Macmillan.
