paint-brush
Uma Breve História da Computação e Análise de Dados – Dos Cartões Perfurados à “Pilha de Dados Moderna”por@benscholtz
264 leituras

Uma Breve História da Computação e Análise de Dados – Dos Cartões Perfurados à “Pilha de Dados Moderna”

por Benjamin Scholtz3m2024/02/01
Read on Terminal Reader

Muito longo; Para ler

Uma jornada desde as origens da computação e da análise de dados até o que hoje chamamos de "Pilha de Dados Moderna". O que vem depois?
featured image - Uma Breve História da Computação e Análise de Dados – Dos Cartões Perfurados à “Pilha de Dados Moderna”
Benjamin Scholtz HackerNoon profile picture


Uma jornada desde as origens da computação e da análise de dados até o que hoje chamamos de "Pilha de Dados Moderna". O que vem depois?

As origens da computação e da análise de dados

As origens da computação e da análise de dados começaram em meados da década de 1950 e começaram a tomar forma com a introdução do SQL em 1970:


  • 1954: Processamento de Linguagem Natural (PNL) - “ Experimento Georgetown-IBM ”, tradução automática de russo para inglês.


Este arquivo é proveniente da Wikimedia e licenciado sob a licença Creative Commons Attribution 2.0 Generic.

Este arquivo é proveniente da Wikimedia e licenciado sob a licença Creative Commons Attribution 2.0 Generic.



  • 1960: Cartões Perfurados


Este arquivo é proveniente da Wikimedia e licenciado sob a licença Creative Commons Attribution 2.0 Generic.



  • 1970: Linguagem de Consulta Estruturada (SQL)
  • Década de 1970: Sistemas Interativos de Planejamento Financeiro - Criar uma linguagem para “permitir que os executivos construam modelos sem intermediários”
  • 1972: C, LUNAR - Uma das primeiras aplicações da computação moderna, um sistema de recuperação de informações em linguagem natural, ajudou os geólogos a acessar, comparar e avaliar dados de análise química sobre rochas lunares e composição do solo
  • 1975: Express - O primeiro sistema de Processamento Analítico Online (OLAP), destinado a analisar dados de negócios de diferentes pontos de vista
  • 1979: VisiCalc - O primeiro programa de planilha eletrônica



Este arquivo é proveniente da Wikimedia e licenciado sob a licença Creative Commons Attribution 2.0 Generic.


  • Década de 1980: Sistemas de Apoio à Decisão em Grupo - “Sistema Informatizado de Trabalho Colaborativo”


A “pilha de dados moderna”

A "Modern Data Stack" é um conjunto de tecnologias e ferramentas usadas para coletar, armazenar, processar, analisar e visualizar dados em uma plataforma bem integrada baseada em nuvem. Embora o QlikView fosse pré-nuvem, é o exemplo mais antigo do que a maioria reconheceria como um painel analítico usado por plataformas modernas como Tableau e PowerBI:


  • 1994: QlikView - “Análise baseada em painel”


Este arquivo é proveniente da Wikimedia e licenciado sob a licença Creative Commons Attribution 2.0 Generic.


  • 2003: Quadro
  • 2009: Wolfram Alpha - “Mecanismo de busca computacional”
  • 2015: Power BI
  • 2017: ThoughtSpot - “Análise baseada em pesquisa”

Papel, linguagens de consulta, planilhas, painéis, pesquisa, o que vem a seguir?

Algumas das aplicações analíticas mais inovadoras, pelo menos em termos de experiência do usuário, convertem a linguagem humana em alguma saída computacional:


  • Texto para SQL: uma história tão antiga quanto o tempo, o LUNAR foi desenvolvido pela primeira vez na década de 70 para ajudar os geólogos a acessar, comparar e avaliar dados de análises químicas usando linguagem natural. O Salesforce WikiSQL introduziu o primeiro extenso compêndio de dados criado para o caso de uso de texto para SQL, mas continha apenas consultas SQL simples. O conjunto de dados Yale Spider introduziu um benchmark para consultas mais complexas e, mais recentemente, o BIRD introduziu consultas “sujas” do mundo real e pontuações de eficiência para criar um benchmark adequado para aplicativos de texto para SQL.
  • Texto para linguagem computacional: Wolfram Alpha, ThoughtSpot
  • Texto para código: análise avançada de dados ChatGPT


A "análise de dados baseada em conversas" é uma evolução natural?


  • A UX de interfaces analíticas modernas, como pesquisa e chat, está evoluindo , tornando-se mais intuitiva, possibilitada por PNL e LLMs
  • As interfaces analíticas têm origem na capacitação dos tomadores de decisão, mas os tomadores de decisão ainda dependem em grande parte dos analistas de dados
  • Muitas consultas dos tomadores de decisão são ad-hoc , mais adequadas para “análises descartáveis”
  • A geração de insights é um processo criativo onde muitos insights são obtidos em conversas sobre dados, possivelmente com colegas
  • O fluxo de trabalho da análise de dados é desarticulado , desde a imaginação da análise até a apresentação dos resultados

Agradecimentos

Datas para a seção "As Origens da Computação e Análise de Dados" graças a https://web.paristech.com/hs-fs/file-2487731396.pdf e http://dssresources.com/history/dsshistoryv28.html .


Também publicado aqui.