求爷爷告奶奶,阿里大佬才甩出这份 Spark+Hadoop+ 中台实战 pdf
Spark 大数据分析实战
1、Spark 简介
初识 Spark
Sp ark 生态系统 BDAS
Sp ark 架构与运行逻辑
弹性分布式数据集
2、Spark 开发与环境配置
Spark 应用开发环境 2 置
使用 Intelli i 开发 Spark
远程调试 Spark 程序
Spark 编译
配置 Spark 源码阅读环境
3、BDAS 简介
SQL on Spark
Spark Streaming
Gr aphX
MIlib
4、Lamda 架构日志分析流水线
日志分析概述
日志分析指标
Lamda 架构
构建日志分析数据流水线
5、基于云平台和用户日志的推荐系统
Azure 云平台简介
系统架构
构建 Node. js 应用
数据收集与预处理
Spark Str eamine 实时分析用户日志
MLlib 离线训练模型
6、Twi ter 情感分析
系统架构
Twitter 数据收集
数据预处理与 Cassandr a 存储
Spark Streami ng 热点 Twitter 分析
Spark Str eaming 在线情感分析
Spark SQL 进行 Twi tter 分析
Twitter 可视化
7、热点新闻分析系统
新闻数据分析
系统架构
爬虫抓取网络信息
新闻文本数据预处理
新闻聚类
Spark Elastic Sear ch 构建全文检索引擎
8、构建分布式的协同过滤推荐系统
推荐系统简介
协同过滤介绍
基于 Spark 的矩阵运算实现协同过滤算法
基于 Spark 的 MI1ib 实现协同过滤算法
案例:使用 MLlib 协同过滤实现电影推荐
9、基于 Spark 的社交网络分析
社交网络介绍
社交网络中社团挖掘算法
Spark 中的 K 均值算法
案例:基于 Sp ark 的 F acebook 社团挖掘
社交网络中的链路预测算法
Spark MLlib 中的 Logistic 回归
案例:基于 Spark 的链路预测算法
10、基于 Spark 的大规模新闻主题分析
主题模型简介
主题模型 LDA
Spark 中的 LDA 模型
案例:Newse oups 新闻的主题分析
11、构建分布式的搜索引擎
搜索引擎简介
搜索排序概述
查询无关模型 P ageRank
基于 Spark 的分布式 P ageRank 实现
案例: Google"eb Graph 的 PageR: ank 计算
查询相关模型 Ranking SVM
Spark 中支持向童机的实现
案例:基于 MSLR 数据集的查询排序
阿里巴巴中台战略思想与架构实战(含内部实施手册)
本书讲述了阿里巴巴的技术发展史,同时也是一部互联网技术架构的实践与发展史。
【有需要的可以--> 点击这里即获取我的资料笔记 <--- 即可】
第一部分
第 1 章阿里巴巴集团中台战略引发的思考
1.1 阿里巴巴共享业务事业部的发展史
1.2 企业信息中心发展的症结
第 2 章构建业务中台的基共享服务体系
2.1 回归 SOA 的本质一服务重用
2.2 服务需要不断的业务滋养
2.3 共享服务体系是培育业务创新的土壤
2.4 赋予业务快速创新和试错能力
2.5 为真正发挥大数据威力做好储备
2.6 改变组织阵型会带来组织效能的提升
第二部分共享服务体系搭建
第 3 章分布式服务框架的选择
3.1 淘宝平台"服务化”历程
3.2 "中心化"与"去中心化"服务框架的对比
3.3 阿里巴巴分布式服务框架 HSF
3.4 关于微服务
第 4 章共享服务中心建设原则
4.1 淘宝的共享服务中心概貌
4.2 什么是服务中心
4.3 服务中心的划分原则
第 5 章数据拆分实现数据库能力线性扩展
5.1 数据库瓶颈阻碍业务的持续发展
5.2 数据库分库分表的实践
第 6 章异步化与缓存原则
6.1 业务流程异步化
6.2 数据库事务异步化
6.3 事务与柔性事务
6.4 大促秒杀活动催生缓存技术的高度使用
第 7 章打造数字化运营能力
7.1 业务 服务化带来的问题
7.2 鹰眼平台的架构
7.3 埋点和输出日志
7.4 海量日志分布式处理平台
7.5 日志收集控制
7.6 典型业务场景
第 8 章打造平台稳定性能力
8.1 限流和降级
8.2 流量调度
8.3 业务开关
8.4 容量压测及评估规划
8.5 全链路压测平台
8.6 业务-致性平台
第 9 章共享服务中心对内和对外的协作共享
9.1 服务化建设野蛮发展带来的问题
9.2 共享服务平台的建设思路
9.3 共享服务平台与业务方协作
9.4 业务中台与前端应用协作
9.5 业务中台绩效考核
9.6 能力开放是构建生态的基础
第三部分阿里巴巴能力输出与案例
第 10 章大型央企互联网转型
10.1 项目背景
10.2 项目实施
10.3 客户收益
10.4 笔者感想
10.5 项目后记
第 11 章时尚行业品牌公司互联网转型
11.1 项目背景
11.2 供应链的改造
11.3 基于 SCRM 的全渠道整合营销
Hadoop 实战实践
【有需要的可以--> 点击这里即获取我的资料笔记 <--- 即可】
1、Hadoop 简介
什么是 Hadoop
Hadoop 项目及其结构
Hadoop 的体系结构
Hadoop 与分布式开发
Hadoop 计算模型一- MapRedue
Hadoop 的数据管理
2、Hadoop 的安装与配置
在 Linux.上安装与配置 Hadoop
在 windows.上安装与配置 Hadoop
安装和配置 Hadoop 集群
日志分析及几个小技巧
3、Hadoop 应用案例分析
Hadoop 在 Yahoo!的应用
Hadoop 在 eBay 的应用
Hadoop 在百度的应用
Hadoop 在 F acebook 的应用
Hadoop 平台上的海里数据排序
4、MapReduce 计算模型
为什么要用 MapReduce
MapReduce 计算模型
MapReduce 任务的优化
Hadoop 流
Hadoop Pipes
5、开发 MapReduce 应用程序
系统参数的配置
配置开发环境
编写 MapReduce 程序
本地测试
运行 MapReduce 程序
网络用户界面
性能调优
MapReduce 工作流
6、MapReduce 应用案例
单词计数
数据去重
排序
单表关联
多表关联
7、MapReduce 工作机制
MapRe duce 作业的执行流程
错误处理机制
作业调度机制
shuffle 和排序
任务执行
8、Hadoop I/0 操作
I/0 操作中的数据检查
数据的压缩
数据的 I/0 中序列化操作
针对 MapReduce 的文件类
9、HDFS 详解
Hadoop 的文件系统
HDFS 简介
HDFS 体系结构
HDFS 的基本操作
HDFS 常用 Java API 详解
HDFS 总得读些数据流
HDFS 命令详解
10、Hadoop 的管理
HDFS 文件结构
Hadoop 的状态监视和管理工具
Hadoop 集群的维护
11、Hive 详解
Hive 简介
Hive 的基本操作
HiveQL 详解
Hive 的网络(WebUI) 接口
Hive 的 JDBC 接口
Hive 的优化
12、HBase 详解
HBase 简介
HBase 的基本操作
HBase 体系结构
HBase 数据模型
HBase 与 RDBMS
HBase 与 HDFS
HBase 客户端
Jave API
HBase 编程实例之 M apReduce
模式设计
13、Mahout 详解
Mahout 简介
Mahout 的安装和置
Mathout API 简介
Mathout 中的聚类和分类
Mahout 应用:建立一个推荐引擎
14、Pig 详解
PIg 简介
Pi e 的安装和 2 置
Pig Latin 语言
用户定义函数
Pia 实例
Pie 进阶
15、ZooKeeper 详解
Zoeeper 简介
ZooKeeper 的安装和配置
ZooKeeper 的简单操作
Zookeeper 的特性
Zookeeper 的 leader 选举
Zookeeper 锁服务
使用 Zookeep er 创建应用程序
17、Avro 详解
Avro 简介
Avr 0 的 C/C++实验
Avr 0 的 Java 实现
GenAro (AwTo IDL) 语言
Avro SASI 概述
18、Chulkwa 详解
Chulxwa 简介
Chulkw a 架构
可靠性
Chulkw a 集群搭建
Chulkw a 数据流的处理
Chulkw a 与其他监控系统比较
19、Hadoop 的常用插件与开发
Hadoop Studi o 简介和使用
Hadoop Eclipse 简介和使用
Hadoop Stre aming 简介和使
Hadoop Li bhdfs 简介和使用
评论