计算机系统性能测试与分析概论.ppt

《计算机系统性能测试与分析概论.ppt》由会员分享，可在线阅读，更多相关《计算机系统性能测试与分析概论.ppt（59页珍藏版）》请在课桌文档上搜索。

1、计算机系统性能测试,椎鬼洁僧吓杭求屈蹬牌铰浊塌箍降田驳您八抵哦捌骑籍炳滑豪溯轨蹬辆凶计算机系统性能测试与分析概论计算机系统性能测试与分析概论,为什么要学这本门课？,组装一台电脑关心哪些指标？处理器主频内存大小如何评价一个计算机系统的性能？,2,选哪些程序评测？都测试哪些值？这些值如何汇总？这些值真的能够反映计算机系统的性能吗？,松姑拒粥胡耀截茵瑟豪载奇尿痰兼档浪坍腮锨臂揖仑嫁栈卫蔽狮蚁严甄疽计算机系统性能测试与分析概论计算机系统性能测试与分析概论,为什么要学这本门课？,国家税务局购买一套高端容错机IBM、HP投标书：不同程序测试结果XX银行搭建一个数据中心处理器：英特尔E/L/X？I7可以吗？

2、内存规模：32GB？64GB？128GB？网络：千兆、万兆、infiniband？存储阵列：SAS、SATA？光纤、IB接口？,3,如何预测一个应用程序在某个计算机系统性能？,休梭忆贯简患透葫钮护组而宪猾椿没豪念邮系宝氨访聚辊煮戮毗妈扯镰扦计算机系统性能测试与分析概论计算机系统性能测试与分析概论,例子：高性能计算机评测,4,如何评测高性能计算机的性能？,竣逼褪鲍害左玄稳晦哟节喧涎井秸析命习禁雨茵惹节吠斑株鼓涕辅嵌初吴计算机系统性能测试与分析概论计算机系统性能测试与分析概论,例子：铁路网上订票系统,系统硬件处理能力不足？订票软件设计存在瓶颈？网络带宽不足？,为什么网络订票系统登录难、浏览慢、下单

3、难,花溜纷晨溪轿啄刹俭掂三湿海止巨他橱锤堵蝗芹爱倍响氯缘唯尘懒潜阮汁计算机系统性能测试与分析概论计算机系统性能测试与分析概论,例子：铁路网上订票系统,网络订票系统体系结构：,客户端,Web服务器,数据库服务器,数据请求,返回结果,提出请求,返回HTML,如何了解负载特征，分析系统系统瓶颈？,滥咖荒胞卿除紫玻汞轩屯贰鸯扬溪翔鼠娃唁魔砾去转襟赫仗阿岿放刮疟废计算机系统性能测试与分析概论计算机系统性能测试与分析概论,例子：基于SAN存储系统,岳吉锨芬涉澎耶颁蔓贫独洼秒率陇哦维递隙绸救谢米长疽白塞阶青取真糙计算机系统性能测试与分析概论计算机系统性能测试与分析概论,例子：实验设计,如何设计一篇文章的实验

4、部分？都要做哪些实验？为什么要做这些实验？都要测哪些指标？,8,附卞澳辗意益奶饿躺产柄褥险鲍扫咱敬脖帕炳氰眺簇箔拟谎湿歉硕账筋入计算机系统性能测试与分析概论计算机系统性能测试与分析概论,课程目标,性能问题是和功能同等重要的问题性能问题没有得到很好的重视，大家对其认识不足基本概念性能，频率，峰值速度，实测速度基本方法和工具测量方法数据处理和解释方法程序优化的方法基本观点,9,隙拷魁韭卡竟贯顺闽蛆掀止深镁镭疏饿刁歌陀进簇途啊沛稚灌芭含酥盲猪计算机系统性能测试与分析概论计算机系统性能测试与分析概论,内容安排(1),6月17日引言和性能的量度(2课时)实验结果处理中的统计学(4课时)6月18日系统测量

5、和分析技术(4课时)基准测试程序(4课时)6月20日线性回归模型(2课时)实验设计(2课时)考试（2课时）,10,镭蠢祁租鼎锐幻木形相啥盼早醛巢奔准动膏裸蔚罕伯歹让微夯凡曹领隔庶计算机系统性能测试与分析概论计算机系统性能测试与分析概论,教材和参考书,教材Measuring Computer Performance,by David J.Lilja,Cambridge University Press,2000参考书：The Art of Computer Systems Performance Analysis by Raj Jain,John Wiley&Sons Press,1991Com

6、puter Systems A Programmers Perspective by Randal E.Bryant and David R.O Hallaron,Person,2003Principles of Computer System Design,J.H.Saltzer,M.Frans Kaashoek.,11,熬欲嘎串报郧置黎摄娩粒扁谍匙罐民萍剁寒朔黑装鹃羔高缎砾讫槐训阂幽计算机系统性能测试与分析概论计算机系统性能测试与分析概论,主要会议,ACM SIGMETRICSIISWC(WWC)IEEE International Symposium on Workload Charac

7、terization ISPASSIEEE International Symposium on Performance Analysis of Systems and SoftwareHPCA,CGO,SC,SOSP etc.,12,铅燕皋孟案马瘪矫吻咀谬萝捅漏纪租藤墙沼谜愤茂面杖烟埋毒迂谴栅菲芬计算机系统性能测试与分析概论计算机系统性能测试与分析概论,课程要求,平时-40分课堂：参与讨论，回答问题，出勤课程作业:6次考试-60分,13,轰呈氦恋针李媒怠攻厚碍魄烃体鞘娟名予晌鹅备阅驭醇铲袭悼沫夺秃解认计算机系统性能测试与分析概论计算机系统性能测试与分析概论,特色,本课程的特色是：综合性 由于

8、面向整个系统，所学过的关于操作系统、编译原理、计算机体系结构、CPU结构在内的各种知识都要能够综合使用，才能够很好地完成性能测试与优化的任务实践性 本课程将安排若干测试练习和其它编程练习，让大家在实际操作中真正地理解有关内容，解决实际问题。,14,累揭琅剧铀虚副霓忧蔬煞砂羚鳃昔美缮只套亦皮光溺正法况丙巡装赤锨住计算机系统性能测试与分析概论计算机系统性能测试与分析概论,学完本课程的收获,正确设计论文中的实验部分正确处理和解释实验数据基准测试程序的使用与开发测量系统与程序参数的相关方法系统的访存带宽和延迟程序中的基本块个数、分支条数等使用硬件计数器进行程序行为的测量可用性、可管理性、功耗测试等基于

9、测试的优化技术,15,治店傅站毗弛柞殊雄梧闹歼顷辉某影狈蹋犬嘻掸荆曳筏哪爷煽那锻肥阅辛计算机系统性能测试与分析概论计算机系统性能测试与分析概论,第一章 绪论,1.为什么进行性能分析2.什么是性能,16,带歧杠赤异派坊下枪爆芥匿途耶掷辫孩赠仕恤急火惜铬曙疫洁懊礼磅哮桃计算机系统性能测试与分析概论计算机系统性能测试与分析概论,1.为什么要进行性能分析,对设计者要达到设计的目标有不同的可选方案，如何在其中选择最好的方案？世界上第一台千万亿次高性能计算机RoadrunnerIBM Power处理器和 AMD Opteron处理器混合比例通过分析、模拟和测试对比各个方案的性能、成本和功耗设定期望对消费者

10、购置的系统能否满足自己的要求在一定的预算下获得最好的性能,17,舞侗抉谁怜邪吝赃代卢媚镭霸彭流趁麻常预彭靛钩绎砧樟项仑裁阶鹅襟搜计算机系统性能测试与分析概论计算机系统性能测试与分析概论,性能分析技术,性能分析技术分析数学建模排队论模拟功能模拟器、性能模拟器Trace-driven、全系统模拟测试实际测试,18,彼踢启唯擂足兜筒乳营春泽体死渝煤便镀岛筏卿漓冉腑邀氛自筷骑诊溉丰计算机系统性能测试与分析概论计算机系统性能测试与分析概论,例子：并行程序性能,并行程序的性能行为：计算通信I/O,19,垛淌怖擦邱那要喝脑闽砒惶寄鸭铰邪匿慎情惭燥赚猖运埔嫁栈捣栏碘瞄钡计算机系统性能测试与分析概论计算机系统性

11、能测试与分析概论,例子：并行程序性能,分析建模：程序特征收集浮点指令、整数指令、访存记录、I/O访问、通信（消息类型、大小、方向等）机器性能每条浮点/整数指令执行的cycle访存指令时间I/O性能通信延迟、带宽程序时间Total execution time=comp+comm+I/O？,20,绷赢铝墟命般织靠缕天卑苟桥牧赡杯需翠撮椎素尔皇桓异供倍夫崔屁盐倡计算机系统性能测试与分析概论计算机系统性能测试与分析概论,例子：并行程序性能,模拟的方法BigsimDimemasSimpleScalar输入：Trace、目标平台的参数,21,镇映策羔牢此坠之锤蔑爹池欠人铬康莽扒农赋钦收村羽巳重赘筑暇软查

12、卵计算机系统性能测试与分析概论计算机系统性能测试与分析概论,例子：并行程序性能,测试的方法采集负载特征：计算特征（PMU,Call Path profile)通信特征I/O 特征方法：静态分析（编译）动态测试（插装）,22,测试技术也是分析和模拟的基础,丑主涸娶奔关河埋捐坞枕付常榷门淀嘲路晰钱宣陪芭透谚良班腔叔讯漳呸计算机系统性能测试与分析概论计算机系统性能测试与分析概论,各种方法的比较,23,渡毛驳城顿作貉搞荒夸诊锨遣钎绰甘留胖盂粉摔慈粟碍默赵组炭扫朋嗓豁计算机系统性能测试与分析概论计算机系统性能测试与分析概论,2.什么是性能,2.1 性能与目标2.2 性能与度量方式2.3 性能与比较方式,

13、24,坑排洲朽疯宾棠帖匪拧肋纶兜侦辰宗徒卑槽娥还径雾裙局瞬眉夸厨哥蹋囚计算机系统性能测试与分析概论计算机系统性能测试与分析概论,性能与目标,目标不同做出的选择也不同例子：实验设计：程序选择，平台选择负载分析：Trace,Profile？模拟器：粗粒度、细粒度,25,掀肚秸诱烩贪级崖冗烈入端越钞狼岛侍履纱造虱噪欠礼绸单千糊广盲苗扼计算机系统性能测试与分析概论计算机系统性能测试与分析概论,2.1 性能与目标,哪个性能更好单个乘客的旅行时间？1天内可以运送多少乘客？,26,粕灭瓮糖蛙盐勇亦佣灿酣速吠爹腆谨郑汞驼弛舵见鸽臭杨倒僳任王杉介梭计算机系统性能测试与分析概论计算机系统性能测试与分析概论,2.1

14、 性能与目标,集群服务器排队系统LSF,PBS性能LatencyThroughput,27,槛鸟点绽邓坑襄壳扛臭艇沽犁鲤噪荒鄙始憾苇屿捶恭蹋姆冤隧捣吮聊绩懒计算机系统性能测试与分析概论计算机系统性能测试与分析概论,2.2 性能与度量方式,X系统是否比Y系统好？,28,丁昧博弹名左帧戳蹦洁硬潭蝗泉夏鸯块捕锹秩寸卿械秽博进顽慢缓厕盲精计算机系统性能测试与分析概论计算机系统性能测试与分析概论,2.2性能与度量方式(2),Y系统比X系统好？,29,挡挪阵吾瘤片渠困跌扁滨草花站唤乍课禽霜筒嫁娘妨拷隐脑总卜歹域仗楷计算机系统性能测试与分析概论计算机系统性能测试与分析概论,2.2性能与度量方式(3),出现了

15、什么问题？哪台系统更快？哪台系统更好？,30,窒瞳黎郡否颗康满僳辆掀充懒年蛤柜耗亦腔营任经会氧柳房哀街溃帅冠牙计算机系统性能测试与分析概论计算机系统性能测试与分析概论,2.2性能与度量方式(4),X系统编译优化后减少了61%浮点运算对这个应用来说，X系统更快对于哪个系统更好，没有简单的答案，需要根据使用的方式（目标）确定,31,梢矗疥酒屠碳冰铃内交琐殉本褐穷隐盛蔫祈妻顷青茎奈赛栖涸输琐驻碾婿计算机系统性能测试与分析概论计算机系统性能测试与分析概论,2.3性能与比较方式,如何比较这两个系统的性能？汇总多个数据,32,勉桑吝夺册条及腰祥众憾瞳倦尺醒惦轴皋牢铲畜亲宴垦玻圭械矢紫受葡矣计算机系统性能测

16、试与分析概论计算机系统性能测试与分析概论,2.3性能与比较方式(2),绝对比较法Perf(X)=(20+10)/2=15Perf(Y)=(10+20)/2=15相对比较法，以X为基准Perf(X)=1Perf(Y)=(0.5+2)/2=1.25相对比较法，以Y为基准Perf(Y)=1Perf(X)=(2+0.5)/2=1.25同样的数据，我们得出了3个不同的结论,33,器哲植平挞夏莎黑恐庆号宙苞属猩纠哎傍需启蛮膘粱阮亥埂鸳喊执取泥眉计算机系统性能测试与分析概论计算机系统性能测试与分析概论,2.3性能与比较方式(3),问题：哪个比较方式更合理？为什么？其成立的条件是什么？,34,仕举道熊扳嚼景兼

17、今乳访龙像字墩侩骆洱闸索官壮网须域兽变郴扒泻敬盟计算机系统性能测试与分析概论计算机系统性能测试与分析概论,2.4什么是性能总结,计算机系统的性能，与进行性能分析的目的密切相关，度量方式、性能比较方式都需要用系统的方法进行选择，才能得到准确的性能数据,35,荚亿翱欣垛抛径格辈袒渝顽沈盅溉皮涤硬渤现怖昧费造氟贡牟曝犀之炯电计算机系统性能测试与分析概论计算机系统性能测试与分析概论,第二章 性能的度量,1.现有的性能度量方式2.什么是好的性能度量方式3.性能度量方式分析,36,迪骂饯橡拉拐蛊骗寨礁放涅准岿管疯风糕博炉赌文帧酒骑返煮歧盅眩蜀乳计算机系统性能测试与分析概论计算机系统性能测试与分析概论,me

18、tric,37,仗疚夫柴瞬踌犬作铸科笼锌诽淘故媒巍料沈羔卫拈乡殿朋策麓晋胜诲狄雀计算机系统性能测试与分析概论计算机系统性能测试与分析概论,1.现有的性能指标,时钟频率MIPSGFLOPSTime-程序的执行时间Lat/BW基准测试分数SPEC CPULinpackTPCWinstone3DMark2001,3DMark2003,38,穗壁涛僵镶瑟陇攀锦懊撅颜饰奄仆欧秃除萄处琵雨嵌泌鸟栏母荫滞斩慑慕计算机系统性能测试与分析概论计算机系统性能测试与分析概论,2.什么是好的性能度量方式,线性性(Linearity)符合人的直觉例子：速度m/s相反的例子可靠性当A的性能度量值好于B时,如果系统A总是比

19、系统B快，则称该度量方式是可靠的相反的例子MIPS,39,蹬静衷添销信栅兹椎充臣屯蓝案企理仑沙揖墅底轮廖曾孟浩伸格术襄磐滚计算机系统性能测试与分析概论计算机系统性能测试与分析概论,2.什么是好的性能度量方式(2),可重复性容易测量一致性独立性生产商试图影响度量方式,40,拧章离沁黔窍寻谗缉唯桑哆娟批坯吝皆比圃拟幼行稿跋羊朗贪恍压棕狠颠计算机系统性能测试与分析概论计算机系统性能测试与分析概论,3.1时钟频率,最简单，很常用但是最误导的性能度量方式可重复，易测量，独立非线性，不可靠没有考虑到IPC的不同没有考虑到其它子系统如内存、I/O的影响,41,琐都窜鹃痞筏高淋韦催宁直河羌启凉炉芯卿看妮肄锥槐

20、忻业盘躲贮必钵膏计算机系统性能测试与分析概论计算机系统性能测试与分析概论,42,萨铅噎播术恶到发蛊貌钡妄转举穗渡敛宝史坚检栖冀寝息睫扦汕汾茬纤掘计算机系统性能测试与分析概论计算机系统性能测试与分析概论,3.2 MIPS,Millions of Instructions executed Per Second容易测量，可重复，独立非线性，不可靠，不一致每条指令所执行的内容在不同体系结构中是不同的RISC,CISC,43,玩六画尽畴佣湿酸赔羞料雅袍窑分择菱又臆哭柿庆肚为彰辅摄拦婴哭豢行计算机系统性能测试与分析概论计算机系统性能测试与分析概论,3.3 MFlops,Millions of FLoat

21、ing-point Operations executed Per Second可重复非线性，不可靠，不一致不适合不执行浮点运算程序的系统测量FLOPS并不容易，不同的浮点运算实现可能会带来不同的测试值乘加、SIN,COS,44,英宣斧恤及矮豫巩诣错撅逛痕曙逛靠魔援入禹瓶翁叹今懈涎涪顶熄素笼少计算机系统性能测试与分析概论计算机系统性能测试与分析概论,3.3 Mflops(2),MIPS和Mflops都以单位时间内完成的操作次数为性能度量但是指令和浮点运算都不是人们最终关心的准确的操作要定义最终用户关心的操作，比如每秒事务处理数，每秒web访问次数等等实际测试的数据才是有意义的将比较限定在可比的

22、范围内，采用相同度量方式的两个程序，一般不能互相比较,45,厢丘椽浓医海宠胞活炳振葱泽疽醇局睡剩拖豌蹄慎维郑插价州戍屁崭廷肿计算机系统性能测试与分析概论计算机系统性能测试与分析概论,3.4单一程序的运行时间,程序执行时间：我们最终关心的是程序的执行时间线性，可重复，可靠，独立，一致因此，时间是一个好的度量存在的问题实际测量非常复杂或不可行系统可扩展性无法体现严格的可靠性度量是不存在的！,46,蔗进楚龟晨欢赋碗钥履足趣缅螺仆肘艇爪希乍靡袍旧兔江饺瀑缺尘谅咆港计算机系统性能测试与分析概论计算机系统性能测试与分析概论,程序的执行时间,测量程序段的执行时间 Start_count=read_timer

23、();Portion of program to be measuredStop_count=read_timer();Elapsed_time=(stop_count start_count)*clock_period;Measures“wall clock”timeIncludes I/O waits,time-sharing,OS overhead,“CPU time”-include only processor time,Copyright 2004 David J.Lilja,47,矩漠羔棒颗铀过失皑忌涤淡马资侵碰荐鸿载掇邓卑坍摘赡咎魂蔑旅逝嗽活计算机系统性能测试与分析概论计算机系

24、统性能测试与分析概论,3.5 基准测试程序,优点一组有代表性的程序，比单个程序更能代表用户的负载状况测试程序分数是程序运行时间的函数(线性或非线性)以运行时间直接为度量，或是以单位时间内完成的操作为度量缺点仍然不具有可靠性可能不独立,48,尹悼亡登赞坚狞谰音械抚梢寥颊蚤肿冻兼败惧郭跑码轿致撵台入沮咏秦茂计算机系统性能测试与分析概论计算机系统性能测试与分析概论,3.5.1 SPEC,System Performance Evaluation CooperativeSPEC CPU(fp,int),SPEC WEB,SPEC Power,SPEC HPC,SPEC OMP,49,隋木枢挤末赘毗曹愁

25、日汞药茄颗挺递僚真虎押被卉沉郝坪搁佐杂疑坍圾奶计算机系统性能测试与分析概论计算机系统性能测试与分析概论,3.5.1 SPEC(2),SPEC CPU的测量方法测量每个程序的运行时间正规化：除一个标准系统对该程序的运行时间，得到一个正规化后的值算出上述正规化值的几何平均作为SPEC分数问题：非线性,50,掷挟簿鲸拙柠业追氦烟崖市闷茵秽撰享髓墨桓原限历兽镣痈长蓉示蔬列暇计算机系统性能测试与分析概论计算机系统性能测试与分析概论,3.5.1 SPEC(3),SPEC的产生办法每一段时间更新，现在使用的是CPU2006,前边分别有SPEC 89,92,95,2000向全世界征集候选程序由SPEC会员投票

26、决定公平性？,51,狡乏欧铜妥陪恰骋偷李襄版珐炒鳞星咎饥乌闯丸难闽斑腑盏代炮渴宜堆双计算机系统性能测试与分析概论计算机系统性能测试与分析概论,SPEC CPU测试网站,52,萎粳帅维创常赶辜橙准素黄浙煽无捕财土启之卷歹倚眶氛垮琶帘漾服潦咎计算机系统性能测试与分析概论计算机系统性能测试与分析概论,3.5.2其它benchmark,科学计算HPL（top500所用的benchmark）HPCC(High Performance Computing Challenge Benchmark)HPCG(High Performance Conjugate Gradient)SPEC HPC2002,SP

27、EC OMP2001商业计算TPCSPEC web底层MembenchIOMeter,53,Jack Dongarra,恶诸王筒嘛镇闷派肩党豢蒜种馁厅跳螺微耪到殉横琳怂黎蒜及奉陡冶凯梦计算机系统性能测试与分析概论计算机系统性能测试与分析概论,2010年11月TOP 500 List,54,怠礼裳隅阮京病喝应氟虎燃瞒壹帖葬屉迫碉婿峪澄些席兹焕忠帆楷夸首陛计算机系统性能测试与分析概论计算机系统性能测试与分析概论,Performance metrics summary,Copyright 2004 David J.Lilja,55,锗竟琉沪汉裁窄妹点己苏筒仁雹哩杭邮片萄汰抖翅马犯桑曲洪置粘省泄缺计算

28、机系统性能测试与分析概论计算机系统性能测试与分析概论,总结,性能的正确定义与评测目标，性能的度量方式和比较方式密切相关性能的度量可以基本分为两类：基于时间的和基于单位时间内所完成的操作数的，两者之间可以换算性能本质上是一个程序在一个系统上的指标，因此很难把多维空间映射到一维空间，用简单的一个数字来描述系统的性能，即绝对可靠的性能度量是不存在的,56,伴梦敲绍装此盲屉宏壳募鲍贸芬意锦洒梳解撕岿蜘恃遇埋廷哟输兔澳番谓计算机系统性能测试与分析概论计算机系统性能测试与分析概论,总结(2),基准测试程序，集成了某一类用户的典型负载，是进行程序性能度量的有力工具。但要特别注意所使用的基准测试程序和测试目标

29、之间的相似性。,57,汛颜荆抡传闭靳龙己病站捌胡蛀思彻忿固丝攀坎蚤帆快咋谗茬居肥记诚翼计算机系统性能测试与分析概论计算机系统性能测试与分析概论,课后作业,作业-1 在Linux系统下，使用多种方式获取一段程序执行时间命令time了解每个字段输出含义系统调用gettimeofday()读CPU时间戳计数器RDTSC比较不同结果精度,58,辫酷她糊挖辱糠府飘避拱干笺悍碍爵吉腿外殆烯肥地碟拱养路球弃魁踏仲计算机系统性能测试与分析概论计算机系统性能测试与分析概论,课后作业,阅读教材第1，2章访问www.spec.org,了解SPEC CPU2006分数的计算方法和意义，并分别找出如下的SPEC CPU 2006测试结果例子：（1）A系统主频比B系统高，但SPEC 分数较低（2）某个SPEC CPU 2006程序在A系统上的性能高于B系统，但另一个SPEC CPU 2006程序在A系统上的性能低于B系统,59,哄两秒莉暴旬昼汇强榜簧璃聂谊棘圭促非讹率吸用渴禹枢琅鲍碱幻馅哲碰计算机系统性能测试与分析概论计算机系统性能测试与分析概论,