week13-conclusion

本周介绍学习了 Spark 计算引擎和生态系统，然后是对比批处理系统，介绍了流计算，包括 Storm、Spark Streaming 和 Flink。流计算不是真正的纯实时，只是时间窗口非常短的批处理计算，因为数据量相对很小，计算很快，所以有实时的效果。

针对大数据 Hadoop 生态上的系统，Intel 贡献了一个 HiBench 工具，可以方便地进行 benchmark 测试，用于验证我们分布式系统的性能和设置是否合理。