您当前所在的位置:首页 > 解决方案

大数据实验室
      恒电大数据实训室建设方案从数据采集、数据清洗、数据存储、数据挖掘、数据分析、数据可视化六个方面完成大数据分析的整个流程。通过典型的大数据应用场景与案例对学生进行的综合训练,从而实现大数据技术与应用专业实验教学。

大数据一体机简介

恒华大数据一体机集成了计算单元、存储单元、交换单元、管理单元等硬件模块和数据采集、数据预处理、数据清洗、数据存储、数据挖掘、数据分析、数据可视化等软件功能,为大数据处理分析提供了完整的工具链。采用完全分布式大数据架构进行设计,它具备水平扩展的能力,能很好地应对数据量的增长和业务的扩展。支持集中交付和管理,开箱即用,简化配置流程,降低使用的门槛,是教育行业用户的理想选择。

大数据实训平台硬件架构


大数据实验室由资源存储计算区、教师教学区和学生实训区三个区域组成:
资源存储计算区采用6台大数据一体机进行实现。在大数据一体机中,包含实验所需的硬件和软件,做到开箱即用。大数据一体机实现了服务器虚拟化,在一体机的虚拟化平台上,部署了多个虚拟机,由17个虚拟机组成一个集群,其中6个虚拟机完成Hadoop大数据处理技术的实验,3个虚拟机完成Spark大数据分析技术实验,1个虚拟机完成基本数据统计和R语言编程、数据可视化的实验,5台虚拟机完成数据爬虫技术、数据预处理技术的实验,2台虚拟机完成NoSQL数据库技术实验。
学生实训区的虚拟终端设备有60个点,通过虚拟终端访问的方式进行实验。
教师教学区采用虚拟桌面的方式连到大数据一体机的虚拟机中进行教学和实验。

大数据一体机平台架构
恒华大数据实训平台由数据采集模块、数据存储模块、数据分析模块、数据展现模块、数据管控模块、数据安全模块组成,这六个模块能够完成大数据分析的整个流程。下图是恒华大数据功能模块架构
  恒华大数据功能模块架构如下。

 
 
数据采集模块:大数据采集模块拥有完善的数据采集工具,能完成结构化数据和非结构化数据的采集和格式化处理。集成Flume、Sqoop等组件,能对日志数据、数据库数据、工作流数据的采集。
数据存储模块:大数据存储模块主要包括分布式文件系统HDFS和大规模并行数据库Greenplum,帮助用户将结构化数据和非结构化数据存储起来,同时具有内存数据库Gemfire,解决实时数据的存储问题。它支持Hadoop和Spark生态圈的产品,支持HDFS、Yarn、MapReduce、Yarn、Zookeeper、Hbase、Hive、Mahout、Spark Core、Spark SQL、Spark Streaming等组件,保证了海量文件的存储。
数据分析模块:数据分析模块中拥有完善的分析函数,用户能在该模块中利用集成的函数模型分析数据的规律,并具有自定义函数功能,满足用户对函数库扩展的需求。该模块同时还支持Java、Python、Scala等多种编程语言,支持使用MapReduce、Mahout、Spark等工具进行大数据分析。
数据展示模块:大数据展现模块支持D3.js,将数据的价值图文并茂地展示出来,将大数据分析发挥到它的极致。同时还拥有世界上最完善的图表工具库Echarts,帮助用户进行更加复杂的图形可视化展示。
数据管控模块:数据管控模块集成Ambari,用户可一键安装大数据所需套件,集成Metrics,能够随时监控大数据平台的运行情况。
数据安全模块:数据安全模块集成Knox,保证大数据环境的安全。
 
大数据实训平台软件
恒华大数据平台有管理员、教师、学生三个角色组成,系统登录后,不同角色有不同的权限。
管理员有权限对课程进行管理,对教师手动添加所开设的课程。
教师可查看自己任教的课程。教师可在该平台上发布和修改实验要求,可查看学生的实验报告,并批改学生实验报告,期末可统计学生的实验成绩。
学生可以查看到自己选修的课程,并登录到课程平台学习,完成实验和报告编写。学生可以查看到自己选修的课程的实验报告,并可查看教师批改的情况和成绩。



(五)大数据APP在线学习平台
知识重温模块将每一门课程的重要的知识点进行归纳,已达到在线学习的效果。使用APP客户端软件,学生可以随时随地进行在线的复习,巩固大数据技术的基础知识。
在线测试模块分成练习模式、闯关模式和考试模式三种模式,学习可以在手机客户端完成作业和考试,已达到检验的目的。
知识串讲模块将每本教材的内容打散,采用微课的方式进行串讲,学生通过在线的视频学习能够加深在课堂上听不懂的知识点的理解,达到预习和复习的效果。


在线教学实训管理平台
恒电在线教学实训管理平台主要涉及教师的教学和学生的学习两个方面,通过该平台,教师可以发布下达实训任务、修改作业、答疑解惑等,学生可以在线观看教学实训视频、提交作业、提交疑问等,各系统功能相互独立又相互关联,数据完全共享,教师根据自己的职责范围,运用相应的系统完成日常教学实训工作,学生进行知识的学习,实现线上线下相结合的方式,达到了师生互动效果。

一个专业可以分为5级信息关联:
其中一个专业的课程分为多个学期授课,每个学期教授不同的课程,每个课程分为多个学习阶段,而每个阶段下面,拥有多个课时(45分钟),学习资料以课时为单位整理,每一个课时拥有五类核心资源:PPT资料、视频资料、课堂练习、课后作业、辅导资料。其中辅导资料只有教师能够看到,教师还可根据备课情况,在线记录备课笔记。为方便用户操作,系统将记录学员最后一次查看的课时信息,用户再次登陆系统时,会提供便捷入口使学员快速学习。课程按实际开课时间开放,当下学期的PPT资源、课后联系、课后作业,随学期开放而开发,视频资源,按实际上课时间开放,教师在教师端对资源开放时间进行统一配置。
管理员权限,则会在提供资源导入功能,将线下讲师们提供的资料,批量的导入系统,生成系统可识别的资源格式,并且提供课程资料的修改、删除、增加等功能。