人工智能技术应用导论第7章人工智能与大数据.docx

闸免推齐Jt法S不同.推希方法包怙如下几类:“于内容的依第与制电过捡*KIaIMA.三MjF内B的疲苟关注的品!本身的“征.特征亲找到厢像的桂R：的冏过斌指KN保用户与IM句冷”系.与物国自，普征及太关寿.购物推荐系统应用一个完整的推律系统通常包含3个维成懵块I 用户建模收快 推谷对象建懵模块99U 推H鼻法极快推弄系统的送行娱内对刖户迸行建模.根搪用户行为收密和MtI依据来分析用户第兴燃料需求,同时时程蒋对象迸行建模.®垩于用户特征加品杼征,采用搐稗狭计肾御和用户可能感爽建的对数Q播富推程靖景对推冷结果进行一定程序的过&和谓整将指希恰黑腰示给用户.推尊系统可再细分成翕找计net分融实川计一电分，高战计It群分对于败据,算法复杂度,阿间颊划均较少，可得出山高It修度能搐种结果.实时计M第分取要求髭快速响应懵落读求,健容忍相对收低篦抬蒋漱碘度.通过将实时推神结祟与岛纹推神结果相结合,报程系统版为用户糖供高质的推#站I1.购物推荐系统应用常齐累统第四师模式：过迁看过,过还买过、买过还过、买过还买过.常用的It1.I为法：pjii4M.小于用户的协同汉城算法的同过速算法基于物品的怫目过滤H法,基于用户的协同过滤算法:找即“俘”兴趣爱好相关庾更高的用户乩然后将该用户K欢的,但是你并不如我酒过的物品/内容燧并给mW二力购物推荐系统应用基于用户的协同过注算法MrbX法的实现主要总括两个少：线剜却目标用户兴相似的用户«1合.找到该集合中的用户所贰第、且目标用户*骑过过的将品椎荐修目标用户.【实例】例设再用户a.EC和捌品A.B.C.D,K中用户a.C整欢物品AW拗品C.因就认为这两个用户IM但用户，于J1.将IRPcIKnttftD（指睛D笈羯户a还未按般过的）N9ttnPa.。购物推荐系统应用，基于物品的协同过滤算法:概掘用户当前消费能对象.来号找用户可能喜次的其他物品.WM后的相关慢国高，“燧希后穗次第可艇在就越大. JCI1.用户购买了一款回而伦的CO(-t三三).商家为用户抵葬一张周寿伦的Co(我很忙用户是不是更的买 mi1.用户购买了柯南道尔的福尔所投案全集.窗凉为用户推tn山刚昌的名像覆阿命)，用户是不是更容易的买.购物推荐系统应用三o>基于物品的协同过滤算法ItHJ1.法与3"CF算法类似.计电分为网步：计算穗品之间立冏以度.唐亮物品的相归度Ia用户的历史行为.给用户生成榷再列我.【实例】帆设有用户0b.C和物品缸B、C<0.弁中用户、C年购买了怖8A构杨晶c,因此认力除丛Mo微晶C星F»相似的.因为用户b购买过物品A而没有购买逆物品C.M一丝以推并算法为用户b/希物品C教育大数据应用，教商大数据：对学生学习过程中产生的大数据进行分析,并为学校和恢师的收掌提供号,及时准偏城评估学生第学业情次.发班学箜潜在的问疑，并对学生未来的豪尔进行!«濡.Ut1.1.大BI1.e第应用场景为图：盗豆6殿小教育大数据应用，三大要素：在线决JI1.学习分析,K悔挖烧.学习分析是近年来大K1.g在敦真领域依为兵55的应用.学习分析的应用暂域如3B：教育大数据应用A教育大数据应用的具体实例：1 .希媾塔*学习«希蟆务所学习”是一家*门运用餐焦于陵测性分析.机H1.学习来提高学生成携跤公司,该公司*立了叵大第用校学习电微雷.Si1.ttftfttt1.施分析学生的学习成缰、出勤率.Ii学率以及保Ii攀的情况.2 .漏望学习(1.k*.re2Ixuming)：达家公司的产品通过对学生阑滤电子化能谀艘材料、B1.父的电子罐的作业.在我与同学交浪.考道及知N郭的情况塔行监控，就雒让计翼机程序抻缘、系统维分析个学生的敦*f1.t*这料就恁及时地关注到每个学生的情况,方便发现河堤.及时改迸.交通大数据应用-智能交通系统(Inte1.1.igentTransportationSyStgM新称ITSJ1.未来交i1.系蜿的一个发及方向，鬻能文才累毓涉及到的用户删务接域有交通管理与蝶划出行者信息、率也安全与助药脍,奇用车踊It理、公共交通、电子收劣等漏多方面.而大数掘是Ir娥交通的修心.攵遏段到中心公共交通实时信息，交通大数据应用数据中心的逻辑框架:7.2本摩理及技术发,现状。大数据的特征令大数据的关键技术,大数据与云计算,物联网大数据的特征大数据存储方式(1)分布式系统I分布式系线包含多个自主的处理单元.通过计J1.机网络互旌来的作光成分配的任务,具分而治之的策8等更好的处现大羡模依免问JH(2)NaSQ1.ttttW1.关系型的瓢制片无法煮足海效掘的管理需求.无法海足依橱离并发的需求.«可犷展愎和高可M性的功能太低.而NoSo1.败制座则具府很大的优势，可以支持超大规模败抛存fit.员语的依据模里可以很好地支持口&>20应用.具我强大第横向扩展健力.<3)云依奥理：云敷Ie座Ji"于云计I1.技术发展的一加共享从电基构的方法,是加和虚K1.化在云计算环展中的效期国.云依蛔庄井Ir一种全新的依据库技术.我只是以商务的方式提供依婚球功健.大数据的特征>数据种类繁多大依据的收据来源众多，科学研究、企业应用和cb应用等都在源豢不新地产生数据，大数富的数据类显丰富，包括统构化和非结构化敏据，ta梅化Htth占io%左右.主要Hi存储在关系依靠座中的依掘尊缘内化败:占前、左右，和类多.包括却件.ft*.»依.他馍、e博.位信息,依按信息,手机呼叫慎息、M络日志等.许M在拳关琴型歌操本(HotOn1.ySQ1.NOSQo中.大数据的特征大敷播的价值：1）对大消捞者提供产品或服务的企业可以利用大数据进行精准营俏；2）锹小而美模式的中小微企业可以利用大数据做凰务转型；3）面IS互联网压力之下必须转型的传故企业隽要与时俱进充分利用大数抠的价值.大数据的关键技术A大数据技术俘大数据的果集.懵处我、存储.分析和应用的相关技术,是一系列使用非作筑的工从来对大量的结构化.半姑归化和和姑构化Iiigi三行处理从而快用分析和懵测结果的系列数据处序和分析技术.其技本（柒如图所示I大数据关键技术,大数据技术的不同层面及其功能技术居面功能跤第果与用处螳利用ET1.工具将分布的.异构玄朦算中的帙掘.知关系依窜,平曲K裾文件罪.植股到临计中同层后透行Ji洗,外换.管成，I1.后加蚊刎敏零金库或心擀集市中成为网机分析处庠.被比册鹿的4班也可以利用日本来修工具：如一5、>n答）箔实时采集的K娼作为流计J1.原故的入.塔行实时爱理分析败筹存懂和管现利用分布式文件系统、数榭仓霹、关系收零库、Nq1.依零用、云依M座等.实现对结内化,率结构化蚪非结构化海敏里的存储和管理依嘉於理与分析利用分布式并行修构懵型相计-枢量,结合机制学习Io玄树花蛆算法.女现对海取据第处理和分析对分析结熏塔行可观化M双，用助人们更好岫理窜依梃、分析据依更安全构建私保护在从大依呢中挖崎I1.在的巨大商业夕值和学术价值篦向阳，构建戏礼我免保沪停昂和依描安至体系.有效保护个人建M和致据安全大数据关键技术A大数据计算模式大6套计靛模式解决阿Ii功"批处理讳H的对大城幡航榭的批处理U*pRMuc.Spark1.f流计圻对演太靠的实时计HStrofi»S4,F1.une.Stre*v>sPtna%DStr2»、SuperVario、钳薄承效IM勉理平台骅图计算针对大炽模图除构K据的处理Prg1.tGraphXtGiraphPowerGraph.Hg,GoIdenOrbW青阂分析计H大规模效过的存信管理M杳询分析Drotie1.Hive.C«seandra.IrQaIa等大数据与云计算、物联网,云计算云计J1.实现了通过网络提供可伸缩的、廉价的分布式计算能力,用户只需要在具备网络接入条件的地方,就可以随时随地获得所需的各种IT资源rwTM*<M>“口<M>大数据与云计算、物联网,云计算岛*<rtR存用为Mt÷<iMWR.Zft4”风|或从三中”程114匕依mT.AFftttM*.3S<t%由H-)9WR.Ht1.KG<M>OApp*.MCfOM41-S1.hf8v<BMfTr<(o11r.GoogAppEn9<.Forc*AmwonEC2.BWZCkHrt8nGrW0大数据与云计算、物联网物联网物以网是物物相连的互联网,是互联网的延伸，它利用局部网络或互联网等通信技术把传SS.15W.机累、人员和物等通过新的方式联在一起,形成人与物.物与物相联.实现信息化和运程管理控3B28WAVv&r布，1.VUWBteM<*<*atf*r*0大数据与云计算、物联网物联网各个层次的结构层次功Ie后果把物取网系统比为人体.那么后工层就好比人体能标标,用家麽如管理的#,采集来臼族理&内的各好他,电.这个舄国含了大的传SU代期Z1.田虎传星X、应力竹型Zhm速度代第"、B国拓后力除ARE、气体浓度传ten、士*始分传IRiI、二蟆日标芥、射瑕识别(RadioFreQUenCyIdentification.RFID)标笺和读EMkIi像头、邱设备等10当于人体的!鳏中他.E到信息传修的作用.网恪层包含各椅大堂的网堵后网恪.如互以回、杵动通信网络、工孑通恺网络普龄.良相当于人体的大M1.起创存W1.O处理*作用包精收售存留、.理M分殁理房研平台直接面启用户，淌足各种应用需求，知智熙交通.的M衣业,智M医疗.应用层«IISIi1.kWI大数据与云计算、物联网A物联网产业偌完整的物联网产业徒主要包括搐心感应备件提供SS知层末靖设备悝供陶、网络提供商，欣件与行业解次方案展供曲，系统集成商，运营及服务提供自等六大环节0大数据与云计算、物联网大数据、云计算和物联网三者之间的关系与区别I大数据与云计算'物联网A工业物联网与大数据、云计算、物联网的关系。案例简介及环境安装0步理一：设定原取目标®步骤二：批下我J6文件O步骤三：javascript解析。步我四：将爬取数据存储成CSV文件案例简介及环境安装大数次分析*核C的就是数榭的采集.在政气量庞大的今天.W何高效地狡取所需要的效取.井利用s燃氏*女的情况,是技术人员不断翳力的方向.大效鼐分析的数第来有税多,包就公司或者机构的内解:东和外康东海.，案例简介及环境安装结果出知EB1."取2345天气修网280点历史天气总也值总（2345天气陵报官网，imp:内hmq1.234W）-3.三三=三i三iiiii三k!H三三*三三三F&M三r«rw案例简介及环境安装环境要求1） QythoC3.6环境2）舲等访同网络3）导入所熏的麻，CN（用于处唐CV文件）dcmjM*n（ftISjiRS）rcqg4.（ud相关）>环城在nc<md.中安Mde1.njto.如下图所示.命令行，pipinsta1.1.drmjwapipiatCa1.1.rcvnB步骤一:设置爬取目标>步骤一代码输出，入文件importcvsno11dcmjMM1内必20?0尊的月份列)cm-2O2O梅遇梅宾IS的JSWg列表todo-urhtformonthinrangd12):tock>urh.appXWtuD2M5Vu«history>%d%0M59488%d%02dM%(ycjr11mth*I.ycar.fnnt*I)PnMgdOUrk)。步骤-：设置爬取目标A步理一结果Hi出：'httptinqi.234S,tw.hitoryj*/202001/59488_202001j'.Mtpi11qi2345tw.hitoryj20200259488.20X>02j,.http/ianqi.2345tM.hitoryjX)200359488202003j'.,http:/t.anq1.2345thitoryjv10200459488202004.j,.,httpt.nqi.2345t.hitoryj20200559488202005.j,.,httpt.nq,2345tM.h5toryj202006.59488.202006.j,.,http/tinqi.2345tM-htoryj20200759488.202007.j,.,http/.nqi,234Stm.hitoryjX)200/59488.202008j'.http/tnq,2345vMhtory/jv70200959488202009”.,httptanq.2345Vefitoryjr02010-59438_202010.j,.'http:Z/t.nqi.2345.te.hitoryj»/202011/59488.202011.j,.http.nqi2345tM.hitory/jX>201259488.2O2O12j')结果分析：输出2020年共12个月的js文件，可以将任意j8文件复制到网页中查看数据信息步骤二：批量下载js文件>步骤二代码输出， 力二：批下栽依事importrequc«udatas-11forur1.inUxk»uri»:rcqucgct(ur1.)ifr-tanWcodC!-20fkraiseExccpdofM>务去除多余的、，etbrtr三i;-.傅到一个“格式的JSOWtfa1.a-VIcU1.rfnpCvwwc3tcrMr-*),r»1np(T>ddS$.appenddata),打印出第一个月的数宪priM(fatas(O>步骤二：批量下载js文件>nS2MIO11>duz,20tC.yWcndu:'17aC'i三nqi:'多云,ngxiang/东南风ti3az42>Infb状Z1.4/1',JmdfOO1J)r,bW6dunyC»WenduTrV.iunq«1W多云，ngxwng:你北风fen曲，3波川:37.叫曲出忧1.cSrT).Amd202001.31.*bW2u:IrCyWndu24V,un多云东比PtJGSh弋爆3：3;口小命忧XUvd:T1.m!ttixWendu,26<2O2(OI-23)，.mi1.IWendUH(2O2<OI28),凯心WmdU2(r.uyWendUHfmxAqrUmSAq1.:'IS>、gAqi:37;zA加fi>空气!VmaxAqiDMcPI月19日.ItuxAqi1.tfT:?JninAqi1.n&：空气优MinAqMXicmi月"HMinAqi1.cvAT结果分析：成功获取到数据步骤三：javascript解析，步要三代码输出：,步三I“v”c，et解析dcgn.<kvOdNdIU式0)M套孰。为Iq1.nM基£tq1.M<>¼-dCmjMmdn×k(3UM0川eIqInfb*Prinfi(CqInfoM 茶所所育月怫的依据H1.IjfaUii-IISrdIUBndIutq1.afb*dcmjMXixkco<k<dDU!>,iq1.nfb,) 的K第过我只Hu不解析1.1.<UuextendiforxIn1.qInoMH1.Cn(XPoD11WK三tt.tt1366.即：Mo年366天的天气依富prin4kn(a1.1.dam)>步骤三：javascript解析>步1.三结果输出：>ncf:*202(M)1.4).¾Wendu:NOeC.'WctmW:'I7C.tin>:'>三'.,cngxang:,东/同丁曲W3国：':'42*.'a1.nfb':tt.q1.vc;,11md,:2O2O4)I)2,.Wcndu':IW.'yWcndu':,1.7eC.iqi,:IW多云:,(cngxang,:冻文风I'fengK:,3,.,qi,:37.'a1.nfo':'优.qt1.cvc:thCimT:2OXM)1.-3.Wcndu,:irC/yWcwJu,I2%n多云nmp¼m1.f:东方凤/西3tSqr38qi1.nrb:WJMUid:T1.H)366。步骤四：将爬取数据存储成CSV文件步骤四代码输出2将妙祟雨上谢CS收件withcponC.zhh.eather.cv,.,.new1.i11es',.endi11f='utf-")sc”_f”：vritr=cv.a*tr(ctv_1i1.)CO1.1.fM=,ynd,.'bWendu*.'yendu'.'tianqi'.'fexia11'.'fen<1.i'."qi,.,aq1.nfo".,q1.v)rtr.ritro(com)fordataina1.1.d*tas:writer.rtero(data(co1.i)forco1.urnncom)。步骤四：将爬取数据存储成CSV文件A步1.四结果籁出：在工程目录下出现一个新的CSV文件，如图：使用。XCe1.打开csv文件，电取的信息如图：谢谢附录：稻盛和夫的管理名句"持续就是力量这句话强调r持续努力的重要性，无论是在工作中还是在人生中，只有持续不断地努力，才能够取得成功。"人生工作的结果=思维方式X热情X能力”。稻盛和夫认为，一个人的工作成果不仅取决于他的能力，还取决于他的思维方式和投入的热情。这三者相乘，才能得到最终的结果。“努力到神灵和老天爷都要情不自禁帮助你这句话表达了稻盛和夫对于努力的看法，即只有极致的努力，才能感动神灵，取得成功。"管理者的本质是帮助员工达到最大的潜力"。稻盛和夫认为，管理者的职货是激发员工的潜力，帮助他们成为更好的自己。 “认可和奖励是一种有效的激励力量，它可以改善工作的积极性”。这句话强调了激励和表扬在管理工作中的重要性，通过认可和奖励，可以激发员工的工作积极性。 “成为个比降临人世之初更好的人”。稻盛和夫提倡人生的目的在于不断提升自己，成为更好的人。 "认真'努力地工作，克服痛苦和辛苦后取得成功时的成就感，是人世间无可替代的喜悦”。这句话表达r稻盛和夫对于工作的热爱和对于成功后的喜悦之情的珍视。 "大到国际上的问题，小到家庭里的纠纷，社会中的各种矛盾纠纷，当事者各有意图，各有道理大堆，使得原本十分简单的问题豆杂化r.所以，越是错综熨杂的问题，就越要回到原点，根据单纯的原理原则进行判断”。这句话强调了面对发杂问题时，应该回归原点，根据简单的原理原则进行判断。