架构师训练营第十四周

大数据平台

3个步骤 + 任务调度

数据采集

1）用sqoop导入导出数据库数据 （批处理）



2）用Canal实时导入MySQL数据 (实时同步数据）

把自己伪装成slave, 直接同步binlog

3）用Flume从日志导入数据

4）前端埋点采集数据



数据处理

案例



区块链

数字货币的挑战：

• 如何相信数字货币是有价值的，发行安全。

• 如何相信货币交易是安全的。



比特币的解决方案：

• 构建一个无中心，去信任的交易系统。

• 一个点对点的电子现金系统

交易

记账者可以使用发起者的公钥对签名进行验证，保证交易是真正发起者提交的，而不是其他人伪造的交易。



将交易放入区块，将区块构成单项链表，及区块链，以避免双花。



比特币要求计算出来的区块hash值必须具有一定的难度，比如Hash值的前几位必须是0。具体做法是在区块头部引入一个随机数nonce值，记账者通过修改这个nonce值，不断碰撞计算区块Hash值，直到算出的Hash值满足难度要求。



Hash值很难改，即使改了，下一个区块就指不到这个区块了。区块链就断了。