コンピューティングとデータ分析の歴史 - パンチカードから「最新のデータスタック」まで

コンピューティングとデータ分析の起源から、現在「モダン データ スタック」と呼ばれるものまでの旅。次はなにかな？

コンピューティングとデータ分析の起源

コンピューティングとデータ分析の起源は 1950 年代半ばに始まり、1970 年の SQL の導入によって具体化し始めました。

• 1954:自然言語処理 (NLP) - 「ジョージタウンと IBM の実験」、ロシア語から英語への機械翻訳。

• 1960年:パンチカード

• 1970:構造化照会言語 (SQL)
• 1970 年代:インタラクティブな財務計画システム- 「幹部が仲介者なしでモデルを構築できる」言語を作成
• 1972: C、LUNAR - 現代コンピューティングの初期のアプリケーションの 1 つである自然言語情報検索システムは、地質学者が月の岩石と土壌の組成に関する化学分析データにアクセスし、比較し、評価するのに役立ちました。
• 1975: Express - ビジネス データをさまざまな観点から分析することを目的とした、最初のオンライン分析処理 (OLAP) システム
• 1979: VisiCalc - 最初のスプレッドシート コンピューター プログラム

• 1980年代:グループ意思決定支援システム- 「コンピュータ化された共同作業システム」

「最新のデータスタック」

「モダン データ スタック」は、適切に統合されたクラウドベースのプラットフォームでデータを収集、保存、処理、分析、視覚化するために使用される一連のテクノロジーとツールです。 QlikView はクラウド以前のものでしたが、Tableau や PowerBI などの最新のプラットフォームで使用される分析ダッシュボードとしてほとんどの人が認識しているものの最初の例です。

• 1994: QlikView - 「ダッシュボード主導の分析」

• 2003:タブロー
• 2009: Wolfram Alpha - 「計算検索エンジン」
• 2015: PowerBI
• 2017: ThoughtSpot - 「検索主導型分析」

論文、クエリ言語、スプレッドシート、ダッシュボード、検索、次は何でしょうか?

少なくともユーザー エクスペリエンスの観点から見て、最も革新的な分析アプリケーションの一部は、人間の言語を何らかの計算出力に変換します。

• Text-to-SQL:古い話ですが、LUNAR は、地質学者が自然言語を使用して化学分析データにアクセス、比較、評価できるようにするために 70 年代に初めて開発されました。 Salesforce WikiSQL は、テキストから SQL へのユースケース向けに構築された、初めての広範なデータの概要を導入しましたが、含まれているのは単純な SQL クエリのみでした。 Yale Spider データセットは、より複雑なクエリのベンチマークを導入し、最近では、BIRD が現実世界の「ダーティ」クエリと効率スコアを導入して、テキストから SQL へのアプリケーションの適切なベンチマークを作成しました。
• テキストから計算言語へ: Wolfram Alpha、ThoughtSpot
• テキストからコードへ: ChatGPT 高度なデータ分析

「会話主導型データ分析」は自然な進化なのでしょうか?

• 検索やチャットなどの最新の分析インターフェイスの UX は進化し、NLP や LLM によってより直感的になりました
• 分析インターフェースの起源は意思決定者を支援することにありますが、意思決定者は依然としてデータ アナリストに大きく依存しています。
• 意思決定者のクエリの多くはアドホックであり、「使い捨て分析」に最適です。
• インサイト生成は、おそらく同僚とのデータに関する会話から多くのインサイトが得られる創造的なプロセスです。
• データ分析のワークフローは、分析の想像から結果の提示までバラバラです

謝辞

「コンピューティングとデータ分析の起源」セクションの日付はhttps://web.paristech.com/hs-fs/file-2487731396.pdfおよびhttp://dssresources.com/history/dsshistoryv28.htmlに感謝します。