大数据的典型应用

魔法师LQ

问题

  • 存储
  • 分析
  • 利用

原则

  • 所有的东西都是不可靠的,包括用户的需求
  • Greedy:make full use of all the resources
  • adaptable

驱动

  • 问题驱动
  • 价值驱动
  • 应用驱动

应用

  • 谷歌预测流感
  • IBM/Google人机对抗
  • 微软预测奥斯卡奖
  • “增兵减灶”
  • 林彪查找司令部

What do we do with the data

  • Aggregation and Statistics
    • Data warehouse
  • Indexing, Searching and Querying
    • Keyword based search
    • Pattern matching
  • Knowledge discovery
    • Data Mining, Statistical Modeling
  • Intelligence
    • Data-driven AI

不讲和讲的东西

不讲:

  • 数学理论和基础
  • 算法设计和数据结构

要讲的

  • 数据采集,组织(处理丢失)
  • 数据转换
  • 数据存储
  • 数据处理:并行计算

收获:

  • 知道
    • 大数据系统如何工作
    • 局限性
    • 性能评估
    • 潜在的性能提升
  • 工程:
    • 实现
    • 应用

实验

  • 阿里云
  • AWS
  • 实验室集群

作业

  • x4编程作业

  • 期末大作业和报告

  • Paper Survey
    • 和助教讨论
    • 调查和论文阅读