『大数据』一词怎么来的？

2001 年高德纳分析师道格·莱尼用『3V』（量 Volume、速 Velocity、类 Variety）描述数据挑战；2010 年前后随 Hadoop 与社交/传感器数据爆发成为热词。

Hadoop 解决了什么问题？

开源的分布式存储（HDFS）与计算（MapReduce）框架让廉价机器集群可处理 PB 级数据，大幅降低大数据处理门槛。

数据要素是指什么？

2020 年前后多国将数据列为与土地、劳动力、资本并列的生产要素，强调数据确权、流通与收益分配，数据交易与治理成为新议题。

大数据和 AI 什么关系？

深度学习依赖海量标注与行为数据训练，大数据提供『燃料』，AI 提供『提炼』，二者相辅相成，近年大模型更凸显数据规模的重要性。

隐私计算为什么重要？

在『数据可用不可见』需求下，联邦学习、多方安全计算、隐私计算技术让数据可在不泄露原始信息前提下联合建模，平衡利用与合规。

大数据发展史时间线

2001

3V 概念提出

高德纳提出数据量、速度、多样性三维挑战，为『大数据』奠定描述框架。

milestone

2003

Google 三驾马车论文

谷歌陆续发表 GFS、MapReduce、BigTable 论文，给出大规模数据处理的工程范式。

breakthrough

2006

Hadoop 开源

基于谷歌论文的 Hadoop 由雅虎等推动开源，成为大数据处理事实标准。

product

2008

《自然》大数据专刊

《自然》杂志推出大数据专刊，学术界与产业界广泛聚焦数据科学。

milestone

2009

NoSQL 与实时分析

HBase、Cassandra 等 NoSQL 数据库兴起，应对半结构化与高并发场景。

product

2012

Spark 提速内存计算

UC 伯克利 AMPLab 的 Spark 以内存计算大幅加快迭代算法，补充 Hadoop 生态。

breakthrough

2014

数据科学岗位兴起

『数据科学家』成为热门职业，企业设数据中台，数据驱动决策理念普及。

milestone

2016

实时流处理成熟

Flink、Kafka 等支撑实时流处理，风控、推荐走向毫秒级响应。

product

2019

数据合规收紧

各国加强隐私立法（如 GDPR 效应外溢），数据采集合规与治理成为硬约束。

policy

2020

数据列为生产要素

中国提出培育数据要素市场，数据确权与交易进入政策议程。

policy

2022

湖仓一体与隐私计算

数据湖与数据仓库融合（Lakehouse），联邦学习等隐私计算在跨机构场景落地。

milestone

2024

大模型驱动数据需求

训练大模型对高质量语料需求暴增，数据清洗、合成与确权成为焦点。

milestone

大数据发展史时间线 - 52tool

❓ 常见问题

大数据发展史时间线 - 52tool

🔗 相关内容

❓ 常见问题

🔗 相关工具