智能招聘项目解决方案说明书.docx
智能招聘项目解决方案说明书XX科技股份有限公司编制目录一、项目存在问JB及需解决问题31 .存在问鹿32 .需解决问跑4二、解袂方案51 .解决方案架构52 .关键技术6(1) )I1.adoop6(2) SpringMVC6(3) MyBatis6(4) Echarts7(5) MySQI7(6) Hive7(7) HBASE8(8) Zookceper8(9) F1.ume8三、开发范围81 .数据生产82 .数据采集/消的93 .数据分析104 .数据展示11一、项目存在问题及需解决问题1 .存在问题(I)招聘资源难以有效整合、利用在信息爆炸的今天，招聘渠道和工具更加多样化，各类招聘、社交网站及APP的出现，令企业人力资源经理可以接触到更多简历资源和求职信息。但同时，海量招聘资源如何有效整合、利用，也成了新时期每个人力资源经理不得不面对的问题。从各个渠道汇总来的简历资源，无法进行有效的去重、分类，进一步提取简历中的关键信息。简历在存入企业人才库之后，相当于闲置在库内，无法得到及时更新盘活。相关数据显示，企业经过5年以上的招聘，可通过不同渠道接触到行业内60%以上的目标候选人。大中型公司经过3年以上的招聘，从不同渠道所获取到的简历可达十万份甚至数十万份。同时，这些企业曾经接触过的目标候选人，自身能力也在不断成长、提升。传统招聘模式下，企业累枳的简历资源无法得到有效整合利用，自身“人才金矿”的价值难以挖掘。(2)招聘效率较低现有的线上招聘渠道，如招聘网站及APP,实质上还是处于求职者主动寻找工作的状态。根据权威机构调研结果，中国的主动型人才占比近三年来均维持在20%左右，远低于36%的全球平均水平。企业人力资源经理需要花费大量时间去主动搜索、筛选简历，与候选人进行主动意向沟通。传统的搜索工具无法对简历进行准确的解析，并做到简历与职位的精准匹配，这就导致人力资源经理在搜索简历这一步骤中做了很多“无用功”，造成招聘效率低下。(3)无法实现招聘的智能化、数据化管理企业在搜索、筛选简历，到与候选人沟通、约见面试等一系列的招聘行为中产生了大量的数据，但传统的招聘模式下，这些数据只能进行简单存储，无法进行更深层次的分析处理，从而支持企业做出更多的人力资源决策。企业的在职与离职员工数据是不断变动的，但传统招聘工具无法实时追踪它们，依靠人力资源经理人工收集处理数据，其实时性、准确性都大打折扣。2 .需解决问题在传统的人力资源领域，HK会使用前程无忧、智联招聘或其他垂直招聘网站做简历SOUrCing,再通过ATS系统管理招聘流程，年终基于ATS系统或本地EXCe1.进行工作总结。整个过程中产生的数据,基本上可以满足人力费源经理日常的统计需求，了解公司人员流动、招聘成本等。而基于大数据的招聘服务则建立在“一切数据皆可辅助招聘”的理念之上。e成科技通过引入各种来源的海量数据，综合分析各种数据与企业人才策珞之间的关系，建立了一套基于企业“选、用、育、留”高度智能化、个性化的人才服务体系。这种人才服务体系在企业雇主品牌的搭建、企业画像的构建上更加能够展现优势。通过企业资料、招聘信息、人力资源经理招聘行为、简历内容、简历动向等多种信息，人力资源经理可以方便地获得绘制好的企业画像。了解企业在福利制度、员工晋升、员工稳定性、员工知识结构等指标在行业中的排位情况，有助于人力资源经理构建更符合本公司健康发展的人才战略。同时，企业画像也是公司在招聘时进行雇主品牌宣传的重要素材。此外，XXX科技还将来自众多渠道的数据进行整合、清洗，利用数据挖掘分析技术，使所有数据都能为企业招聘服务提供价值。二、解决方案1 .解决方案架构我Ie网示层(E*9.与岳数第分析区系统开发平台使用Hadoop大数据开发平台。Hadoop是一个高度可扩展的存储平台，可以存储和分发横跨数百个并行操作的廉价的服务器数据集群。能扩展到处理大量的数据，能提供成百上千TB的数据节点上运行的应用程序。HadooP能够有效的在几分钟内处理TB级的数据。相比关系型数据库管理系统更具有优势。它适用于任何规模的非结构化数据持续增长的企业，将帮助用户持续提高用户体览。系统采用面向对象的软件设计方法，把整个系统看作是多个离散对象的组合。系统设计时，首先把业务流程分解成功能模块及其业务实体对象，然后根据业务流程分析对于这些业务实体对象的操作方法,形成业务处理对象，鼓后把各个功能模块关联起来，形成系统。软件设计是一个将需求转变为软件的过程，系统通过逐步求精使得设计陈述逐渐接近于源代码。系统程序采用MVC的设计思想，将展现逻辑、控制逻辑、业务处理逻辑分离。系统采用参数化的设计思想，定义和管理系统的实体及配置，调整实体以适应外部变化。系统采用J2EE技术保证程序逻辑实现的平台无关性，并便于安装部署。系统采用AJAX技术，提高客户操作的交互性，保证实际使用的易用性。系统采用echarts可视化框架实现数据展示。2 .关键技术(1) HadpHadoop是一个由APaChe基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。(2) SpringMVCSPringMVC:属亍SpringFrameWork的后续产品，巳经融合在SpringWebF1.oW里面。Spring框架提供了构建Web应用程序的全功能MVC模块。(3) MyBatisMYBatis:是支持普通SQ1.查询，存储过程和高级映射的优秀特久层框架。MyBatiS消除了几乎所有的WBC代码和参数的手工设置以及结果集的检索。MyBatis使用简单的XM1.或注解用于配置和原始映射，将接口和Java的POJOS(P1.ainO1.dJavaObjects,普通的JaVa对象)映射成数据库中的记录。(4) EchartsECharts是一款基于Javascript的数据可视化图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表。(5) MySQ1.MySQ1.是一个关系型数据库管理系统，由瑞典MySQ1.AB公司开发，属于OraCIe旗下产品。MySQ1.是最流行的关系型数据库管理系统之一,在WEB应用方面，MySQ1.是最好的RDBMS(Re1.ationa1.DatabaseManagementSystem,关系数据库管理系统)应用软件之一。MySQ1.是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQ1.所使用的SQ1.语言是用于访问数据库的最常用标准化语言。MySQ1.软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择MySQ1.作为网站数据库。(6) Hivehive是基于Had。P构建的一套数据仓库分析系统，它提供了丰富的SQ1.查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQ1.查询功能；可以将SQ1.语句转换为MapReduce任务运行，通过自己的SQ1.查询分析需要的内容，这套SQ1.简称HiveSQ1.,使不熟悉mapreduce的用户可以很方便地利用SQ1.语言查询、汇总和分析数据。而mapreduce开发人员可以把自己写的mapper和reducer作为插件来支持hive做更复杂的数据分析。它与关系型数据库的SQ1.略有不同，但支持了绝大多数的语句如DD1.、DM1.以及常见的聚合函数、连接查询、条件查询。它还提供了一系列的：具进行数据提取转化加载，用来存储、查询和分析存储在HadoOP中的大规模数据集，并支持UDF(User-DefinedFunction),UDF(User-DefnesAggregateFunction)和UDTF(USer-DefinedTab1.e-GeneratingFunction),也可以实现对map和reduce函数的定制，为数据操作提供了良好的伸缩性和可扩展性。(7) HBASEHBase-HadoopDatabase,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBaSe技术可在廉价PCServer上搭理起大规模结构化存储集群。(8) ZkeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Goog1.e的ChUbbyI个开源的实现,是HadoOP和HbaSe的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。(9) F1.umeF1.Ume是C1.OUdera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，F1.Ume支持在日志系统中定制各类数据发送方，用于收集数据；同时，F1.ume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。三、开发范围1 .数据生产对于该模块的业务，即数据生产过程，一般并不会让你来进行操作，数据生产是一套完整且严密的体系，这样可以保证数据的安全性。但是如果涉及到项目的一体化方案的设计(数据的产生、存储、分析、展示），则必须清楚每一个环节是如何处理的，包括其中每个环境可能隐藏的问题；数据结构，数据内容可能出现的问题。2 .数据采集/消费数据采集模块（消费），在企业中你要清楚流式数据采集框架f1.ume和kafka的定位是什么。我们在此需要将实时数据通过f1.ume采集到kafka然后供给给hbase消费。f1.ume：C1.oUdera公司研发适合下游数据消费者不多的情况；适合数据安全性要求不高的操作；适合与Hadoop生态圈对接的操作。kafka：Iinkedin公司研发适合数据下游消费众多的情况；适合数据安全性要求较高的操作（支持rep1.ication）；因此我们常用的一种模型是：线上数据一>f1.ume>kafka>f1.ume（根据情景增阳该流程）>HDFS线上数据一>f1.ume->kafka一>Sparkstreaming实时流式处理消费存储模块流程图:3 .数据分析我们的数据巳经完整的采集到了HBaSe集群中，这次我们需要对采集到的数据进行分析，统计出我们想要的结果。注意，在分析的过程中，我们不一定会采取一个业务指标对应一个mapreduce-job的方式，如果情景允许，我们会采取一个mapreduce分析多个业务指标的方式来进行任务。分析模块流程图:4.数据展示数据展示模块流程图:
