关于大数据技术的几点感悟

1、为什么hdfs越来越重要？

简单的理解是，大数据技术的核心是数据，所谓“巧妇难为无米之炊”，没有数据，MapReduce、spart等计算引擎也就没有用武之地。由于一开始大数据就沉淀在hdfs，后来发展起来的各种计算引擎都需要兼容hdfs，被依赖得越多，自然它的地位也就越来越重要了。



引申：一个人在组织架构中的地位其实跟自己被组织依赖的程度有着直接的关系。



2、移动计算比移动数据更有效

这种理念跟大数据的特点是息息相关的，面对海量数据，传统的移动数据方式成本大到离谱。我们现在会觉得“移动计算”这个理念顺理成章，但不得不说，这个理念非常的巧妙，这种逆向思维非常值得学习。



引申：当我们在面对挑战时，如果在一个方向上无论如何也难以突破的时候，意味着我们需要回到原点重新理解问题的本质，从根本上解决问题。这往往需要逆向思维。



3、怎样提升大数据计算的易用性？

相对于编写MapReduce程序，编写sql来进行数据计算、分析对数据分析等人员来说更加友好。这种友好性、易用性非常有价值，可以大大提升使用人员的工作效率，也让大数据计算更加地普及，发挥更大的社会价值。这也是为什么Hive会被开发出来的一个重要原因。



引申：在编程领域，易用性是一个非常重要的系统指标，在设计接口、产品功能等方面，我们都需要非常关注用户的体验。当我们关注用户体验时，我们就会更加主动地去理解用户的需求以及系统的非功能需求，从而开发出更好的系统和产品。