{"id":883,"date":"2019-05-22T10:16:13","date_gmt":"2019-05-22T10:16:13","guid":{"rendered":"http:\/\/mribeirodantas.xyz\/blog\/?p=883"},"modified":"2019-07-23T00:19:39","modified_gmt":"2019-07-23T00:19:39","slug":"web-scraping-com-r-e-os-decretos-do-bolsonaro","status":"publish","type":"post","link":"https:\/\/mribeirodantas.xyz\/blog\/index.php\/2019\/05\/22\/web-scraping-com-r-e-os-decretos-do-bolsonaro\/","title":{"rendered":"Web Scraping, visualiza\u00e7\u00e3o de dados com R e os decretos do Bolsonaro"},"content":{"rendered":"Reading time: <\/span> 13<\/span> minutes<\/b><\/span><\/span>\n

Como o atual presidente do Brasil se compara em termos de n\u00famero de decretos com seus predecessores?<\/em><\/p>\n\n\n\n

\"\"\/
Estaria o presidente “governando por decreto”?<\/figcaption><\/figure><\/div>\n\n\n\n\n\n\n\n

O que s\u00e3o os decretos?<\/h3>\n\n\n\n

De acordo com a Presid\u00eancia da Rep\u00fablica<\/a>, [decretos s\u00e3o] Editados pelo Presidente da Rep\u00fablica, regulamentam as leis e disp\u00f5em sobre a organiza\u00e7\u00e3o da administra\u00e7\u00e3o p\u00fablica<\/em>. A Wikipedia<\/a> complementa dizendo:<\/p>\n\n\n\n

No sistema jur\u00eddico brasileiro, os decretos s\u00e3o atos administrativos da compet\u00eancia dos chefes dos poderes executivos (presidente, governadores e prefeitos).

Um decreto \u00e9 usualmente utilizado pelo chefe do poder executivo para fazer nomea\u00e7\u00f5es e regulamenta\u00e7\u00f5es de leis (como para lhes dar cumprimento efetivo, por exemplo), entre outras coisas. Decreto \u00e9 a forma de que se revestem dos atos individuais ou gerais, emanados dos chefes do Poder Executivo (Presidente da Rep\u00fablica, Governador e Prefeito). Pode subdividir-se em decreto geral e decreto individual – este a pessoa ou grupo e aquele a pessoas que se encontram em mesma situa\u00e7\u00e3o.

O decreto tem efeitos regulamentar ou de execu\u00e7\u00e3o, expedido com base no artigo 84, IV da CF, para fiel execu\u00e7\u00e3o da lei, ou seja, o decreto detalha a lei. N\u00e3o podendo ir contra a lei ou al\u00e9m dela.<\/em><\/p>Wikipedia Lus\u00f3fona.<\/cite><\/blockquote>\n\n\n\n

Diferente do decreto, mas tamb\u00e9m de iniciativa do l\u00edder do poder executivo, existe a Medida Provis\u00f3ria (MP)<\/a>.<\/p>\n\n\n\n

No \u00e2mbito do direito constitucional brasileiro, Medida Provis\u00f3ria (MP) \u00e9 um ato unipessoal do presidente da Rep\u00fablica, com for\u00e7a imediata de lei, sem a participa\u00e7\u00e3o do Poder Legislativo, que somente ser\u00e1 chamado a discuti-la e aprov\u00e1-la em momento posterior. O pressuposto da MP, de acordo com o artigo 62 da Constitui\u00e7\u00e3o Federal \u00e9 urg\u00eancia e relev\u00e2ncia, cumulativamente. Nem sempre o Executivo respeita esse crit\u00e9rio de relev\u00e2ncia e urg\u00eancia quando edita uma MP.<\/p>Wikipedia Lus\u00f3fona.<\/cite><\/blockquote>\n\n\n\n

Ao longo desse texto, eu irei disponibilizar os scripts<\/em> que escrevi para fazer essa an\u00e1lise. Sinta-se bastante \u00e0 vontade para adaptar meus scripts<\/em> para suas an\u00e1lises (os scripts<\/em> contidos nesse post<\/em> est\u00e3o licenciados pelos termos da GNU GPLv2+<\/a>, ou seja, s\u00e3o software livre<\/a>!). Est\u00e1 sem ideias? Que tal replicar o que eu fiz com Medidas Provis\u00f3rias, em vez de decretos? \ud83d\ude42<\/p>\n\n\n\n

E o que \u00e9 Web Scraping?<\/h3>\n\n\n\n

Web Scraping<\/em>, em Portugu\u00eas coleta de dados ou raspagem de dados, \u00e9 uma forma de se extrair dados de uma p\u00e1gina Web<\/em> (seja ela uma p\u00e1gina simples ou parte de um sistema Web<\/em>). Em casos mais simples, voc\u00ea poderia escrever um programa de computador que buscasse quem s\u00e3o os atores mais comuns nos 100 filmes mais bem avaliados no IMDb<\/a>, ou em casos mais complexos voc\u00ea poderia escrever um programa de computador que interagisse com um sistema Web que gera dados sob demanda, e a partir dessa intera\u00e7\u00e3o extrair os dados (fiz algo nessa linha em 2014 para obter os gastos dos deputados da Assembleia Legislativa do Rio Grande do Norte<\/a>). Existem p\u00e1ginas que s\u00e3o feitas propositalmente para dificultar o nosso trabalho, seja gerando documentos em formatos mais chatinhos de se extrair informa\u00e7\u00e3o (como tabelas em PDF) ou exigindo muitas intera\u00e7\u00f5es com o mouse para se gerar os dados. Na pr\u00e1tica, funciona como uma cerca el\u00e9trica: Amadores podem at\u00e9 desistir, mas n\u00e3o impede um profissional de obter os dados (vide Selenium)<\/a>. Sobre os sites e sistemas do governo facilitarem ou dificultarem o Web Scraping.. Hm.. Vamos dizer que \u00e9 uma rela\u00e7\u00e3o de amor e \u00f3dio :-\/.<\/p>\n\n\n\n

Por que raspar o site do Planalto?<\/h3>\n\n\n\n

Eu tenho estado um pouco desconectado de v\u00e1rias coisas que tem acontecido no Brasil. Estar fora do Brasil n\u00e3o ajuda, e esses \u00faltimos meses tem sido bastante atarefados. Enquanto isso, quase que a totalidade dos dados que eu analiso no trabalho e durante o doutorado hoje em dia s\u00e3o de institui\u00e7\u00f5es estrangeiras, de outros pa\u00edses que n\u00e3o o Brasil ou de indiv\u00edduos n\u00e3o-Brasileiros. Tudo isso combinado acaba sendo uma pulga atr\u00e1s da orelha me fazendo pular em cima de qualquer oportunidade de dar uma olhada em dados brasileiros. Infelizmente, muitas vezes o tempo aperta e acabo deixando de lado (como quando comecei a analisar as atas das sess\u00f5es administrativas do STF que recentemente foram liberadas<\/a>, atrav\u00e9s de requerimento de um amigo do Turicas, \u00c1lvaro Justen,<\/a> grande defensor do movimento por dados abertos no Brasil). Quando n\u00e3o \u00e9 falta de tempo, acabo topando com falta de dados (como quando fui analisar pre\u00e7os de transporte p\u00fablico em Natal mas n\u00e3o consegui encontrar todos os pre\u00e7os em um per\u00edodo relativamente pequeno de tempo), ou de dados confi\u00e1veis.<\/p>\n\n\n\n

Entre uma conversa e outra, sempre no intuito de tentar me reconectar ao que tem ocorrido no Brasil, alguns colegas mencionaram as edi\u00e7\u00f5es de decretos por parte do atual presidente (Bolsonaro). Buscando algumas fontes na internet sobre o assunto, vi men\u00e7\u00f5es a “governar por decreto”, dentre afirma\u00e7\u00f5es similares. Ao menos naquele instante, isso foi suficiente para despertar a centelha da curiosidade que me levou ao site do planalto onde podemos ver todos os decretos presidenciais<\/a>. Enfim, dessa vez comecei e consegui chegar at\u00e9 um est\u00e1gio aceit\u00e1vel, embora ainda inicial. Ao menos aceit\u00e1vel o suficiente para compartilhar aqui \ud83d\ude09<\/p>\n\n\n\n

Vamos raspar!<\/h3>\n\n\n\n

Tecnologias<\/h4>\n\n\n\n

Eu irei utilizar a linguagem de programa\u00e7\u00e3o R<\/a> e a interface de desenvolvimento RStudio<\/a>. No R, utilizarei os seguintes pacotes:<\/p>\n\n\n\n