Um arquivo digital online pode ser uma caixa negra, ou não!

As fontes históricas disponíveis na Internet são cada vez mais e por vezes um arquivo digital novo pode trazer informação e usos inesperados. Foi o que aconteceu esta semana. Numa pesquisa sobre um tema em nada relacionado, dei com este arquivo digital (http://mmi.t-t.pt/) que me parece uma pequena pérola. É sobre as campanhas de pesca do bacalhau, tendo informação de cerca de 20 mil fichas de homens que se inscreveram no Grémio dos Armadores de Navios da Pesca do Bacalhau, entre 1929 e 1976. Tem também dados sobre os navios e as campanhas de pesca. Depois de uma breve pesquisa e vendo o tipo de informação disponibilizada, para além de outros aproveitamentos, apeteceu-me logo fazer um mapa! O projecto foi coordenado por Álvaro Garrido, da Universidade de Coimbra. Parece ser algo muito “fresco”, de 2016.

Mas porquê um “mapa”? Que uso pode isso ter? Normalmente este tipo de arquivos são pensados como repositórios finais de um projecto de investigação que já decorreu, já realizou as suas análises, obteve os seus resultados e publicou-os em livro ou artigos. É este o destino de grande parte dos projectos financiados pela FCT ou outras entidades. Quando é assim, quando o “site” é pensado apenas como uma montra do esforço de investigação e recolha de dados levada a cabo, por vezes, durante vários anos, normalmente o resultado final é pobre. Não me entendam mal, este site em particular, e muitos outros, é excelente e tornar público, pesquisável e reutilizável a informação de base, a “big data” em “open access”, como agora se diz é só por si de louvar e um resultado académico em si mesmo de valorizar. Contudo, por vezes, essas três premissas de que falei, publicar, pesquisar e reutilizar, nem sempre estão presentes, pois apesar de estarem públicos, na Internet, os dados nem sempre estão pesquisáveis e menos vezes ainda são possíveis de reutilização.

É aqui que entram os mapas e este site em particular. A forma como está organizado permite uma pesquisa simples sobre os conteúdos ou uma navegação relativamente simples e bem estruturada pelas diversas secções e dados específicos. Contudo, há outro aspecto que se deve destacar, que está presente neste site, embora muito provavelmente não de forma consciente por quem o pensou e estruturou: a facilidade de descarregar os dados do site em grandes volumes ou mesmo na sua totalidade e num formato que seja passível de reutilização. As questões de investigação, as problemáticas levantadas por quem utilizou esta informação inicialmente podem e devem ser expandidas com outros contributos, novas questões, novas perspectivas. Para isso, é necessário ter acesso aos dados. Será essa, na minha perspectiva, a principal justificação e mais-valia de produzir e colocar online um arquivo como este. Possibilitar que outros possam colocar outras questões, tratar os dados de outro modo.

Se é certo que não consegui encontrar no site um link para fazer o download dos dados, integral ou em parte, também é certo que esses mesmos dados não estão totalmente fechados atrás de uma estrutura de base de dados, uma caixa negra de difícil acesso. Acedendo ao código base de cada uma das páginas disponibilizadas no directório (o site tem essa funcionalidade, a que normalmente acedemos através do menu do botão do lado direito do rato, bloqueada), usando a função “Developer” do menu do navegador Firefox, é possível verificar que a estrutura do site e dos dados é relativamente simples e, mais do que isso, sempre consistente. Isto quer dizer que com um bocado de paciência, mesmo não existindo um link de download, é possível aceder aos dados, descarregá-los e usá-los, por exemplo, para fazer uma cartografia dos homens que participaram na pesca do bacalhau (algo que ficou a faltar no site original e que daria uma outra perspectiva sobre os dados).

Deixo aqui algumas pistas para o fazer. Não se trata de pirataria, de nos transformarmos em “hackers”, mas sim de aproveitar ferramentas e pequenos truques para aceder de forma mais intuitiva e fácil a conteúdos que estão no domínio público (sim, sou defensor da ideia de que se algo está acessível na Internet é do domínio público e logo pode ser usado por todos, desde que com fins legais e desde que garantida e reconhecida a autoria dos dados de origem, como procurei fazer logo no início deste texto). O objectivo, como referi, era fazer um mapa que pudesse dar algumas pistas extra para uma análise dos dados disponibilizados “em bruto” no site. Obviamente, podia sempre ir procurar os livros e artigos do colega Álvaro Garrido, em particular o que diz respeito à pesca do bacalhau no Estado Novo, e obter essa informação. Mas posso também partir dos dados e através da sua georreferenciação (da atribuição de coordenadas geográficas aos endereços ou outras informações de localização presentes nos dados) procurar perspectivas novas, um olhar novo.

Para isso recorri a alguns conhecimentos que obtive através de um site que recomendo a todos os que quiserem usar as linguagens de programação informática para o uso da investigação em História: o The Programming Historian. Online desde 2012, nesse mesmo ano começou a disponibilizar um manual de Python, uma linguagem de programação que permite fazer algumas “maravilhas” com a informação disponível online e não só. Como é frequente nestas coisas, rapidamente me entusiasmei e quando dei por mim estava a “testar” os meus conhecimentos no site dos Debates Parlamentares (que entretanto mudou a sua estrutura e complicou a vida a quem já tinha uma ferramenta de pesquisa e “leitura” dos debates feita em Python!!!).

Depois de olhar com atenção para o código da página do Museu Marítimo de Ílhavo e recorrendo aos meus escassos conhecimentos de Python, bem como às sempre úteis respostas a dúvidas disponibilizadas no site Stack Overflow (ajuda preciosa para quem, como eu, não percebe nada de programação, mas finge que sim!), foi possível fazer um mapa com os dados do site “Homens e Navios do Bacalhau”. Fiz o download apenas dos primeiros 200 registos, para testar e poder apresentar o potencial da reutilização destes dados na Internet. Depois de descarregados, os dados, em formato texto e estruturados em linhas, com as colunas separadas por ponto e vírgula, foram importados pelo Excel, onde foi possível fazer agregações e selecções. Desses 200 registos de homens que tinham participado nas campanhas do bacalhau, existia informação sobre o local de nascimento para 174 (87%). Foram esses que usei para fazer o mapa.

Foi possível identificar 173 localizações (99,4%) usando o BatchGeo (um site que produz mapas a partir de tabelas com informação geográfica). Feitas algumas configurações básicas e escolhido o mapa de base, o resultado está disponível online. Os pinos no mapa representam o local de nascimento dos homens. A cor de cada pino representa o porto onde o homem obteve a cédula que lhe permitia fazer-se ao mar. Nesta amostra, é possível ver que mais de 2/3 dos homens que andavam na pesca do bacalhau eram de Ílhavo (67,8%), conclusão se calhar natural, tendo em conta a origem do arquivo e a escassa dimensão da amostra, num total de 20920 fichas de pescadores disponibilizadas. Já mais interessante foi perceber que também a esmagadora maioria dos indivíduos obtinha a cédula que lhes permitia exercer a actividade num porto perto ou mesmo na própria localidade onde tinham nascido. De referir igualmente, embora isso não seja visível com o mapa, que nesta amostra, pelo menos, a idade média de acesso à cédula, ou seja de início de uma vida como profissional das pescas, era muito baixa, rondado os 13/14 anos (não tratei estes dados, são apenas impressões de uma passagem de olhos).

mapa_bacalhau

Do resultado obtido, com pouco esforço e tempo investido, é possível dizer duas ou três coisas no final. Primeiro, é necessário esclarecer que a minha área de investigação não são as pescas e muito menos no Estado Novo. Contudo, a experiência serviu para demonstrar, numa perspectiva prática, de aplicação concreta, o que são e podem valer as Humanidades na sua versão Digital e isso sim já é algo que me interessa. Segundo, os dados obtidos não são fiáveis, não só por a amostra ser muito baixa, como também porque foram obtidos sem qualquer controlo de qualidade, sem a necessária crítica às fontes e aos métodos usados que seria obrigatória numa utilização mais centrada na produção de conhecimento histórico. Só como exemplo, uma rápida pesquisa pelo mapa permitirá detectar uma meia dúzia de localizações provavelmente erradas. Problema de se fazer uma utilização acrítica de algoritmos informáticos que não dominamos por completo, como é o caso do BatchGeo, e chamada de atenção para o necessário envolvimento do historiador não só na elaboração das questões historiográficas, mas igualmente no domínio dos métodos e metodologias empregues para lhes dar resposta, sejam esses métodos digitais ou não (esta foi mais para os meus alunos a quem vou “pedir” que leiam o blogue!!!). Por fim, procurei com este exemplo e com as indicações que aqui deixei, contribuir com um manual, com falhas certamente, para o aproveitamento ou reaproveitamento do muito que por essa Internet fora abunda de fontes e arquivos históricos que podem ser bem mais do que meras montras ou repositórios de informação. Se está em formato digital, é possível transformar, manipular, reescrever no sentido positivo que esses termos devem ter, o de criar novo conhecimento.


2 thoughts on “Um arquivo digital online pode ser uma caixa negra, ou não!

  1. Caro Daniel Alves,

    Li com atenção e proveito o post que aqui deixou. As suas ideias e o exercício que partilhou foram vistas com atenção pela equipa que gere o projecto no Museu Marítimo de Ílhavo.
    Quero apenas lembrar que este projecto de construção de uma Base de Dados sobre Homens e Navios do Bacalhau, que em breve resultará num Portal, foi imaginado essencialmente como um lugar de memória para as comunidades marítimas, em especial para os homens e mulheres que viveram, directa ou indirectamente, as viagens ao bacalhau.
    Assim, o uso desta base de dados e do futuro portal para fins de investigação em Ciências Sociais – nomeadamente para estudos sobre a composição sociodemografica ou geosocial do recrutamento, questão fundamental na grande pesca – não é uma finalidade prioritária do projecto. O que é fundamental para um Museu que assenta todo o seu projecto cultural num conceito de memória social inclusiva é partilhar publicamente este Arquivo com finalidades de construção memorial e identitária. Na verdade, trata-se de uma “pérola”, na medida em que todo o rasto social e humano da pesca do bacalhau durante o Estado Novo se encontra nesta imensa colecção de fichas de inscrição no antigo Grémio dos Armadores de Navios de Pesca do Bacalhau e porque este espólio pertence exclusivamente ao Museu Marítimo de Ílhavo.

    Nesse sentido, a produção de mapas com base nos dados não fez parte das intenções prioritárias do projecto, deixando-se essa iniciativa a investigadores criativos, nomeadamente das humanidades digitais, em necessária cooperação com o Museu (que dispõe dos dados em back-office, podendo fornecê-los para projectos que reconheça).

    Seria muito interessante avançarmos para estudos de memória social assentes na utilização de bases de dados como esta, mas partindo do pressuposto epistemológico de que estes big data não são apenas fontes históricas mas um recurso patrimonial em si mesmo. Para isso, as fronteiras entre investigação académica e projectos museológicos precisam de ser quebradas, como parece estar a acontecer.

    Álvaro Garrido
    Historiador

    • Caro Álvaro Garrido,
      Muito obrigado pelo seu comentário. Como referi no artigo, o objectivo foi mais explorar as potencialidades de uma abordagem aos dados através de ferramentas digitais e processamento automático, do que fazer um uso para investigação de todo o manancial ali arquivado.
      Os meus parabéns pelo trabalho e pelo facto de o arquivo estar tão bem organizado e em acesso aberto, o que nem sempre ocorre neste tipo de projectos.
      Desta forma, o projecto e o portal cumprem três objectivos, o de investigação e memória que o Álvaro referiu, mas também o de preservação digital, seja através da forma como o portal está pensado, seja indirectamente pela reutilização dos dados que possibilita.
      Os meus cumprimentos

Leave a Reply

Your email address will not be published. Required fields are marked *