?? 注册 登陆
会员服务
我要上传
联系我们
首  页 hg25888 经营管理 人力资源 培训大全 人资培训专区 制度表格 咨询顾问资料 管理专题 行业资料
今日最新 行业资料专区 仓储管理 生产作业 采购管理 生产制造专区 物流管理 产品研发技术 现场与5S 保险资料
地产资料专区 财贸金融专区 商务贸易 财务下载 投资金融 商务资料专区 营销工具 邮址黄页下载 地产报告 地产策划
工程物业专区 企划营销专区 企划方案 营销下载 品牌管理 信息技术专区 创业资料 工程物业建装 营销策划 地产营销
文献论文专区 品质资料专区 金牌资料 行业辅助 论文辅助 视频资料专区 资料DVD 报告方案杂志 知识库 培训资讯
课程首页 会员登录 免费课程发布 最新发布课程 培训/咨询公司 培训师/顾问师
北京曼顿管理咨询公司——Hadoop大数据平台开发与案例分析高级
培训地区: 上海 课程类别: E化及IT类
课程名称: Hadoop大数据平台开发与案例分析高级 上课地址: 上海
培训时间: 2020-1-9 授课讲师: 张老师
详细内容

Hadoop大数据平台开发与案例分析高级工程师实战培训班(上海,1月9-11日)

【举办单位】北京曼顿培训网 www.mdpxb.com   中国培训资讯网 www.e71edu.com

【咨询电话】4006820825   010-56133998  13810210257

【培训日期】2020年1月9-11日

【培训地点】上海

【培训对象】各地企事业单位大数据产业相关人员,运营商 IT信息化和运维工程师相关人员,金融业信息化相关人员,或对大数据感兴趣的相关人员。

【课程背景】

1.需求理解

Hadoop 设计之初的目标就定位于高可靠性、高可拓展性、高容错性和高效性,正是这些设计上与生俱来的优点,才使得Hadoop 一出现就受到众多大公司的青睐,同时也引起了研究界的普遍关注。

对电信运营商而言,用户上网日志包含了大量用户个性化需求、喜好信息,对其进行分析和挖掘,能更好地了解客户需求。传统经营分析系统小型机加关系型数据库的架构无法满足对海量非结构化数据的处理需求,搭建基于X86的Hadoop 平台,引入大数据处理技术的方式,实现高效率、低成本、易扩展的经营分析系统混搭架构成为电信运营商最为倾向的选择。本课程将全面介绍Hadoop平台开发和运维的各项技术,对学员使用该项技术具有很高的应用价值。

【课程架构与设计思路】

(1)培训架构:

本课程分为三个主要部分:

第一部分:重点讲述大数据技术在的应用,使学员对大数据技术的广泛应用有清晰的认识,在这环节当中会重点介绍Hadoop技术在整个大数据技术应用中的重要地位和应用情况。

第二部分:具体对hadoop技术进行模块化分拆,从大数据文件存储系统技术和分布式文件系统平台及其应用谈起,介绍Hadoop技术各主要应用工具和方法,以及在运维维护当中的主流做法,使学员全面了解和掌握Hadoop技术的精华。

第三部分:重点剖析大数据的应用案例,使学员在案例当中对该项技术有更深入的感观印象

(2)设计思路:

本课程采用模块化教学方法,以案例分析为主线,由浅入深、循序渐进、由理论到实践操作进行设计。

(3)与企业的贴合点:

本课程结合企业转型发展及大数据发展战略,围绕企业大数据业务及行业应用市场拓展发展目标,重点讲授Hadoop的应用技术,提升企业IT技术人员的开发和运维能力,有很强的贴合度。

【培训目标】

掌握大数据处理平台(Hadoop、Spark、Storm)技术架构、以及平台的安装部署、运维配置、应用开发;掌握主流大数据Hadoop平台和Spark实时处理平台的技术架构和实际应用;利用Hadoop+Spark对行业大数据进行存储管理和分析挖掘的技术应用;讲解Hadoop生态系统组件,包括Storm,HDFS,MapReduce,HIVE,HBase,Spark,GraphX,MLib,Shark, ElasticSearch等大数据存储管理、分布式数据库、大型数据仓库、大数据查询与搜索、大数据分析挖掘与分布式处理技术

【课程大纲】

第一天 上午

第一部分:移动互联网、大数据、云计算相关技术介绍

第二部分:大数据的挑战和发展方向

理论讲授+案例分析

 

下午

第三部分:大数据文件存储系统技术和分布式文件系统平台及其应用

第四部分:Hadoop文件系统HDFS最佳实战

理论讲授+案例分析+小组讨论

第二天

上午

第五部分:Hadoop运维管理与性能调优

第六部分:NOSQL数据库Hbase与Redis

理论讲授+案例分析+实战演练

下午

第七部分:类SQL语句工具——Hive

第八部分:数据挖掘SPARK建模基础介绍

理论讲授+案例分析+实战演练

第三天

上午

第九部分:Kafka基础介绍

第十部分:大数据典型应用与开发案例分析:互联网数据运营 理论讲授+案例分析

 

下午

第十一部分:当前数据中心的改造和转换分析-以国内外运营商、互联网公司为例

第十二部分:课程总结与问题答疑

评估培训

理论讲授+案例分析+小组讨论

模块一 移动互联网、大数据、云计算相关技术介绍

1、数据中心与云计算技术应用

2、智慧城市与云计算技术应用

3、移动互联网、大数据与云计算关联技术

4、移动云计算的生态系统及产业链

5、大数据技术在运营商、金融业、银行业、电子商务行业、零售业、制造业、政务信息化、互联网、教育信息化等行业中的应用实践

6、国内外主流的大数据解决方案介绍

7、当前大数据解决方案与传统数据库方案的剖析比较

8、Cloudera Hadoop 大数据平台方案剖析

9、开源的大数据生态系统平台剖析

模块二 大数据的挑战和发展方向

1、大数据时代的挑战

■战略决策能力

■技术开发和数据处理能力

■组织和运营能力

2、大数据时代的发展方向

■云计算是基础设施架构

■大数据是灵魂资产

■分析、挖掘是手段

■发现和预测是最终目标

3、大数据挖掘在各行业应用情况

■电信行业应用及案例分析

■互联网行业应用及案例分析

■金融行业应用及案例研究

■销售行业应用案例分析

课程模块 课程主题 主要内容及案例和演示

模块一 移动互联网、大数据、云计算相关技术介绍 1、数据中心与云计算技术应用

2、智慧城市与云计算技术应用

3、移动互联网、大数据与云计算关联技术

4、移动云计算的生态系统及产业链

5、大数据技术在运营商、金融业、银行业、电子商务行业、零售业、制造业、政务信息化、互联网、教育信息化等行业中的应用实践

6、国内外主流的大数据解决方案介绍

7、当前大数据解决方案与传统数据库方案的剖析比较

8、Cloudera Hadoop 大数据平台方案剖析

9、开源的大数据生态系统平台剖析

模块二 大数据的挑战和发展方向 1、大数据时代的挑战

■战略决策能力

■技术开发和数据处理能力

■组织和运营能力

2、大数据时代的发展方向

■云计算是基础设施架构

■大数据是灵魂资产

■分析、挖掘是手段

■发现和预测是最终目标

3、大数据挖掘在各行业应用情况

■电信行业应用及案例分析

■互联网行业应用及案例分析

■金融行业应用及案例研究

■销售行业应用案例分析

模块三 大数据文件存储系统技术和分布式文件系统平台及其应用 1、Hadoop的发展历程

■Hadoop大数据平台架构

■基于Hadoop平台的PB级大数据存储管理与分析处理的工作原理与机制

■Hadoop 的核心组件剖析

2、分布式文件系统HDFS

■概述、功能、作用、优势

■应用范畴、应用现状

■发展趋势

3、分布式文件系统HDFS架构及原理

■核心关键技术

■设计精髓

■基本工作原理

■系统架构

■文件存储模式

■工作机制

■存储扩容与吞吐性能扩展

4、分布式文件系统HDFS操作

■SHELL命令操作

■I/O流式操作

■文件数据读取、写入、追加、删除

■文件状态查询

■数据块分布机制

■数据同步与一致性

■元数据管理技术

■主节点与从节点工作机制

■大数据负载均衡技术

■HDFS大数据存储集群管理技术

5、Hadoop生态系统组件

■Storm

■HDFS

■MapReduce

■HIVE

■HBase

■Spark

■GraphX

■MLib

■Shark

模块四 Hadoop文件系统HDFS最佳实战

1、HDFS的设计

2、HDFS的概念

■数据块

■namenode和datanode

■联邦HDFS

■HDFS的高可用性

3、命令行接口

4、Hadoop文件系统

5、Java接口

■从Hadoop URL读取数据

■通过FileSystem API读取数据

■写入数据

■目录

■查询文件系统

■删除数据

6、数据流

■剖析文件读取

■剖析文件写入

■一致模型

7、通过Flume和Sqoop导入数据

8、通过distcp并行复制

9、Hadoop存档

■使用Hadoop存档工具

■不足

模块五 Hadoop运维管理与性能调优

1、第二代大数据处理框架

■Yarn的工作原理及

■DAG并行执行机制

■Yarn大数据分析处理案例分析

■Yarn 框架并行应用程序实践

2、集群配置管理

■Hadoop集群配置

■Hadoop性能调优与参数配置

■Hadoop机架感知策略与配置

■Hadoop压缩机制

■Hadoop任务负载均衡

■Hadoop 集群维护

■Hadoop监控管理

3、HDFS的静态调优技巧

■HDFS 的高吞吐量I/O性能调优技巧

■MapReduce/Yarn的并行处理性能调优技巧

■Hadoop集群的运行故障剖析,以及解决方案

■基于Hadoop大数据应用程序的性能瓶颈剖析与提

■Hadoop 大数据运维监控管理系统 HUE 平台的安装部署与应用配置

■Hadoop运维管理监控系统Ambari平台的安装部配置

■Hadoop 集群运维系统 Ganglia, Nagios的安装部署与应用配置

模块六 NOSQL数据库Hbase与Redis

1、NOSQL基础

■CAP理论

■Base与ACID

■NOSQL数据库存储类型

键值存储

列存储

文档存储

图形存储

2、HBase分布式数据基础

3、安装Hbase

4、Hbase应用

■HBase的逻辑数据模型,HBase的表、行、列族、列、单元格、版本、row key排序

■HBase的物理模型,命名空间(表空间)、表模式(Schema)的设计法则

■HBase 主节点HMaster的工作原理,HMaster的高可用配置,以及性能调优

■HBase 从节点RegionServer(分区服务节点)的工作原理,表分区及存储I/O高并发配置,以及性能调优

■HBase的存储引擎工作原理,以及HBase表数据的键值存储结构,以及HFile存储结构剖析

■HBase表设计与数据操作以及数据库管理操作

■HBase集群的安装部署、参数配置和性能优化

5、HBase分布式数据库简介、发展历程、应用场景、工作原理、以及应用优势与不足之处

■HBase分布式数据库集群的主从式平台架构和关键技术剖析

■HBase伪分布式和物理集群分布式的控制与运行配置

■HBase从节点RegionServer(分区服务节点)的工作原理,表分区及存储I/O高并发配置,以及性能调优

■HBase的存储引擎工作原理,以及HBase表数据的键值存储结构,以及HFile存储结构剖析

■HBase表设计与数据操作以及数据库管理操作

■HBase集群的安装部署、参数配置和性能优化

■ZooKeeper分布式协调服务系统的工作原理、平台架构、集群部署应用实战

■ZooKeeper集群的原理架构,以及应用配置

6、Redis内存数据库介绍,以及业界应用案例

■Redis内存数据库集群架构以及核心技术剖析

■Redis 集群的安装部署与应用开发实战

模块七 类SQL语句工具——Hive

1、安装Hive

2、示例

3、运行Hive

■配置Hive

■Hive服务

■Metastore

4、Hive与传统数据库相比

■读时模式vs.写时模式

■更新、事务和索引

5、HiveQL

■数据类型

■操作与函数

6、表

■托管表和外部表

■分区和桶

■存储格式

■导入数据

■表的修改

■表的丢弃

7、查询数据

■排序和聚集

■MapReduce脚本

■连接

■子查询

■视图

8、用户定义函数

■写UDF

■写UDAF

模块八 数据挖掘SPARK建模基础介绍

 1、Spark简介

■Spark是什么

■Spark生态系统BDAS

2、Spark架构

■Spark分布式架构与单机多核架构的异同

3、Spark集群的安装与部署

■Spark的安装与部署

■Spark集群初试

4、Spark硬件配置

■Spark硬件

■Spark硬件配置流程

模块九 Kafka基础介绍

1、Kafka介绍

2、kafka体系结构

3、kafka设计理念简介

4、kafka通信协议

5、kafka的伪分布安装、集群安装

6、kafka的shell操作、java操作

7、kafka设计理念*

8、kafka producer和consumer开发

9、Kafka分布式消息订阅系统的应用介绍、平台架构、集群部署与配置应用实战

10、Flume-NG数据采集系统的数据流模型、平台架构、集群部署与配置应用实战

11、Hadoop与DBMS之间数据交互工具Sqoop的应用实践,

12、Sqoop导入导出数据以及Sqoop集群部署与配置

13、Kettle 集群的平台架构、核心技术、部署配置和应用实战

14、利用Sqoop实现 MySQL 与 Hadoop 集群之间

模块十 大数据典型应用与开发案例分析:互联网数据运营

1、案例1:贵州数据交易中心

■交易所交易形式:电子交易

■交易所服务:大数据交易、大数据清洗建模分析、大数据定向采购、大数据平台技术开发

■大数据交易安全性探讨分析

■数据交易中心商业模式探讨分析

2、案例2:大数据应用案例:公共交通线路的智能规划

■UrbanInsights:为公交公司提供基于订阅访问的大数据工具以及大数据咨询服务

■Urban Insights数据源、数据收集、数据仓库、数据分析——设计运营线路

■Urban Insights通过互联网数据的运营

3、讨论:浙江移动大数据应用与开发方向

模块十一 当前数据中心的改造和转换分析-以国内外运营商、互联网公司为例 1、流商业大数据解决方案比较

2、主流开源云计算系统比较?

3、国内外代表性大数据平台比较?

4、各厂商最新的大数据产品介绍

5、案例分析

■Facebook的SNS平台应用

■Google的搜索引擎应用

■Rackspace的日志处理

■Verizon成立精准市场营销部

■TelefonicaDynamicInsights推出的名为"智慧足迹"的商业服务

■中国联通的"移动通信用户上网记录集中查询与分析支撑系统"

【讲师介绍】

  张老师,曼顿培训网(www.mdpxb.com )资深讲师。 阿里大数据高级专家,国内资深的Spark、Hadoop技术专家、虚拟化专家,对HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态系统中的技术进行了多年的深入的研究,更主要的是这些技术在大量的实际项目中得到广泛的应用,因此在Hadoop开发和运维方面积累了丰富的项目实施经验。近年主要典型的项目有:某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等。 

【费用及报名】

1、费用:培训费6800元(含培训费、讲义费);如需食宿,会务组可统一安排,费用自理。

2、报名咨询:4006820825  010-56133998  56028090  13810210257   鲍老师

3、报名流程:电话登记-->填写报名表-->发出培训确认函

4、备注:如课程已过期,请访问我们的网站,查询最新课程

5、详细资料请访问北京曼顿培训网:www.mdpxb.com (每月在全国开设四百多门公开课,欢迎报名学习)



北京曼顿管理咨询公司简介
地区:北京市 地址:北京市海淀区 邮编:
联系人:鲍老师 电话:010-56133998 传真:
电邮:2694243330@qq.com 网站:
简介:

北京曼顿企业管理咨询有限公司(以下简称北京曼顿咨询)成立于2005年,旗下网站为中国培训资讯网(www.e71edu.com),是国内较早一批专业的综合性的培训单位之一。是总部位于美国的国际职业认证标准联合会在北京地区授权的培训考试及认证单位[认证号:IOCL086132],同时也是香港培训认证中心授权的培训认证机构[认证号:HKTCC(GZ)A10-11221]。本单位主要从事企业管理、项目管理、市场营销和和人力资源管理方面的咨询培训服务。历经多年的发展,已经为近千家企业提供过各种形式的咨询培训服务,客户涵盖了电子电器、通讯、计算机IT行业、金融保险、建材、化工、食品、机械、服装/鞋业、礼品包装、塑胶五金/模具、电线电缆等十几个行业领域,在业界具有广泛的权威和影响力。本单位师资由资深顾问以及业界知名专家组成,顾问师2/3为硕士研究(MBA)以上学历。我们的专家团队基本都来自于财富500企业,具有丰富的实战经验和系统全面的理论知识。

公开课方面,北京曼顿咨询每年在上海、天津、北京、广州、深圳、杭州、苏州、宁波、南京、青岛、合肥、武汉、长沙等城市定期举办公开课程,每年有上千期公开课程成功举办,学员来自各行各业,遍布全国各区域。每年在国内的公开课数量在同类公司中也高居前列,为企业、职业经理人以及爱学习人士提供了有力的培训信息保障。

企业内训方面,自成立以来,一直致力于开发适合中国企业的运营管理实务内训课程,我们已开展了数百场的内训课程。通过多年的探索与实践,我们的内训课程更加体现个性化需求,内训解决方案更科学合理,具有极强实战性与可操作性。本公司已为世界500强企业中的120多家企业提供过内训实施及信息服务,典型客户包括工商分行、东风雪铁龙、可口可乐、本田、上汽、3M、三洋、中石油、中石化、西门子、波音、大众汽车、通用汽车等,满意度高达95%以上。

?
版权所有:企业管理资源网 ? 2005-2019 客服电话:(+86 0411)-88895936 15566933248 Fax:0411-88895936
E-mail:76395700@qq.com(假日/晚上:15566933248)??QQ:76395700?605057861
辽ICP备14017218号-1??辽公网安备 21021102000022号