社科院-通过prompt调试并比较国内外大模型“人情味”的小实验-2024.docx

《社科院-通过prompt调试并比较国内外大模型“人情味”的小实验-2024.docx》由会员分享，可在线阅读，更多相关《社科院-通过prompt调试并比较国内外大模型“人情味”的小实验-2024.docx（38页珍藏版）》请在课桌文档上搜索。

1、37摄氏度的大模型中国社科院社会学所腾讯研究院SSV银发实验室SSV数字生态实验室中国残联公益组织-腾讯无障碍创新实验室联合出品Ol02030814172024262728前言研究问题第一章I理论人情味的初印象第二章I测温谁是最暖大模型? 发现一I没想到吧，GPT-4的人情味居然垫底了！口10 发现二I国内大模型，最得老人心口“11 发现三I国外大模型更懂职场的烦恼12 发现四I国内大模型更懂你在人际关系里有多难13第三章I实操如何撰写一则有效的prompt?第四章I技巧怎么用prompt最有效？ 发现五I教原理还是喂作业？调教最乖大模型！.18 发现六I红榜：人情味最佳搭配ToP3口19第五

2、章I实战对大模型来讲，“人情味”难在哪里？ 发现七I教做人易，学善意难！21 发现八I学做人，光会抄作业口还不够22 发现九I谁家的大模型一点就通？口23彩蛋I人类的光辉 发现十I珍视人类的光辉25后记附录I实验流程作者人工智能领域迎来了期待已久的“智慧涌现”，受到了全社会的关注和热议。为了解社会多元群体对现有的大模型问答的感受，我们在2023年7-8月组织了若干场不同类型社会群体的焦点小组，包括老年人、残疾人和心情低落者，邀请他们对大模型进行提问，并访谈他们的感受与期望。我们观察到，有相当一部分社会群体，除了关注大模型能否提供实用信息，也期待大模型的回答能温暖心灵、提供关怀，通俗来讲，他们期

3、待大模型亦能有“人情味”的涌现。我们同样带着这样的期待,开始设计这场小小的实验。这场小实验希望尝试回答这样一些问题:什么是人情味？当前大模型的回答人情味浓吗？人情味的“浓淡”是否在不同话题间有所差异？没有技术背景的普通人，能否通过一些简便的办法提升大模型的人情味？本文尝试了两种类型的PrOmPt（即直接在大模型对话框中输入文本），1是原则型，2是答案对型，并进一步实验：prompting能否有效提升人情味方面？哪种prompt效果更好？它们的效果在不同模型、不同话题上是否有所差异?文末还有一个非正式研究彩蛋哦!第一章I理论人情味的初印象篇章概览：本章我们要讨论关于“人情味”这个温暖又迷人的概念

4、，聆听美学大家朱光潜先生对它的评述，向新闻学理论家讨教“人情味公式从语言学、博物学、以及福利多元主义、无知之幕、优势视角这些有趣的概念中汲取灵感。最重要的是，本章我们大胆提出了“人情味”的测量表！什么是人情味？最常被引用的解释是“人通常具有的情感、意味等”，国语辞典中的解释是“人与人之间温暖的感情、兴味”，我们还可以找到一些相似的解释，大意大同小异，都会强调一种温暖、关怀的意味和感受。人情味是一个充满中国气派的词语，但整体上现有的解释还比较抽象，也暂不存在一个现成的量表可直接用于实验。作为一个探索意义大于验证意味的小实验，在开始前，我们希望先与读者朋友们一起从美学/文学/社会学/语言学/新闻学

5、/博物学，以及普通人的杂感、日记、朋友圈中汲取对人情味的实感。04美学家眼中 的人情味存在人情味 的公式吗？朱光潜先生曾在多篇文学评论中表达他对人情味的理解和喜爱。他指出，无论中国还是外国，最富有人情味的主题莫过于爱情，尤其是细腻深刻的爱情。他在谈美书简中提出：“人具有一般动物所没有的自觉心和精神生活”“一切真正伟大的文艺作品没有不体现出人的伟大和尊严的”美国学者弗雷奇在他出版的TheArtofReadableWriting中就有一个描述人情味的公式：4I：三生总鲍酬士。第惚俣此处HL=人情味的分数，PW=每100字中的人称词数目，PS=每100句子中的人称词数目。这个公式强调了人称词在人情味

6、表现中的重要性。人情味在语言中的表现第一位从认知角度研究中文语言中的情感的学者是BrianKing,他对汉语中出现的焦躁、哀伤、愤怒、喜悦等情感做了深度探讨。认知语言学认为：语言是有人情味的；有人情味的语言流出正向的情感。福利多元主义、无知之幕、优势视角福利多元主义认为福利既不能完全依赖市场，也不能完全依赖国家，福利是全社会的产物。无知之幕是指一旦当人处于一种不知道哪一方代表了自身特殊利益的“无知”状态，恰恰能使人保持不偏不倚。优势视角提示我们应当把人们及其环境中的优势和资源作为助人焦点，而非问题和病理。台北博物馆的“小词”在台北故宫博物馆，我们很少看到“陈列”这个词，取而代之的是“展示”一词

7、。博物学家认为“展示”这种“小词”多了一份人性、少了许多物态，多了一份趣味，少了许多乏味，多了一份亲切，少了许多枯燥。如何测量人情味?我们认为衡量一则大模型的回答是否有“人情味”，应当从三个主要层面来考虑：基于这三个层面设计测量表如下:非常不同意不同意不确定同意常意非同这则回答能像朋友一样说话，给我一种亲切的感受拟这则回答不生硬、乏味，展现了人类高水准的理性与感性人我觉得回答者是一个真实、可靠的人-这则回答能站在提问者的角度说话，而不是置身事外或高高在上这则回答能关注到提问者的情绪和处境我觉得回答者是一个富有同情心，有较强共情能力的人这则回答展现了尊重、关心、体谅、爱等正向情感，能给予人有效的

8、鼓励表!文Iilll向林台乡讴一小A梁1亲口杞，情崩I-I达能让提问者感到宽慰或振奋LJ我觉得回答者是一个真诚.、善良的人第二章I测温谁是最暖大模型?篇章概览：本章我们将介绍实验所测量的5款大模型，并展现未经PronIPt调试前，各个大模型的人情味表现如何？实验对象：2款国外+3款国内本实验选测的国外大模型是GPT-4与Vicuna,前者是由美国OPenAl公司发布的大模型，后者是由UC伯克利大学的研究人员联合其它研究机构共同推出的一款开源大模型。选测的国内大模型由国内科技公司与科研单位发布，为保客观公正，本报告中以W-Y三个英文字母为其命名。国外大模型需要说明的是本实验时间为2023年10月

9、，国内外大模型更新迭代飞速，本实验结论只能体现其23年10月的状态。WXYI大模型Wj大模型X大模型Y国内大模型发现一I没想到吧GPT-4的人情味居然垫底了原始状态下的百分制得分注：本实验借助人情味量表 对国内大模型W、X、Y、 GPT-4、ViCUna共五款大模 型进行了测量，得分以百分 制形式展示PronlPtl后的 百分制得分排位上升4位GPT-477.96PronIPt2 后的百分制得分VtfM75.28国发耀卿I72.59因内大模型70.22国肉友模型X66.73排位上升3位GPT-471.67原始状态下，本土大模型更具 人情味，总得分GPT-4垫底， 但是经prompt调试后，GP

10、T-4 排名快速反超。发现二I国内大模型, 最得老人心原始状态下，国内大模型在老年话题相关问答上表现出更浓的人情味，而国外大模型在心情低落相关问答上表现更佳。在残障话题的相关问答上，国内外大模型的原始人情味差异不大。O发现三I国外大模型更懂职场口的烦恼原始状态下国外大模型在发展相关问答上更具人情味，这些问题常与职场发展相关，比如“怀孕后怎么跟主管讲才能保障孕期与孕后获得好的个人发展？”“我有精神障碍但不会影响工作，我在求职时怎么表述能争取到更好的机会？”等。发现四I国内大模型更懂你在人际关系里有多难本实验借助ERG模型进一步将问答对分为生理、关系、发展三个角度，发现原始状态下国内大模型在人际关

11、系相关问答上更具人情味。GPT-41ViCUna,人际关系问答66.57的人情味得分67.13国内大模型WJ国内大模型XJ国内大模型Y J73.5278.0662.5913第三章I实操阳何撰写一则有效的prompt?篇章概览：本章我们将沿着大模型与人类价值观对齐的两条路径，手把手与大家分享原则型与答案对型prompt的写作思路。从后续的数据分析可以看到，这两则prompt对提升大模型的人情味皆有显著效果。价值对齐的2条技术路径:1 .人类监督：人类反馈的强化学习（RLHF）RLHF应用在ChatGPT,帮助ChatGPT在很大程度上输出有用的、可信的、无害的内容。存在问题：可拓展性差、受限于训

12、练员的主观偏好、长期价值对齐难以保证。2 .AI监督：宪法性AIClaude证明了宪法性AI的有效性，帮助减少有害的、歧视性的输出，避免帮助恶意使用者从事违法或不道德的活动，更好回应“对抗性输入”。本实验参照了这两种主流的思路，结合拟人、共情、表达三个层面，撰写了2则Prompt,第一则为原则型,第二则为答案对型。两则Prompt:原则型&答案对型原则型（962字）答案对型（1428字）请以通俗易懂的文字回答，并注意：一、语气上：以更温和的语气给建议，如 “您不妨试试”，等若干条原则二、内容上：确保回答的正确性和真实性，等若干条原则三、形式上：提高“你”与“我”的出现频 率，等若干条原则请以通

13、俗易懂的文字回答， 并参考下方问答：案例一：我是一个精神障碍 者，找工作时店长要求我出 示健康证明，我担心店长知 道了不要我，该怎么办？回答一：邀请专家撰写回答案例二：现在的工作让我感 到没有价值，但辞职又怕再 也找不到更好的了，怎么办？回答二：邀请专家撰写回答原则型prompt需要精炼提出关键要点，本实验参照人文社会学科中对人情味的阐释，结合访谈与焦点小组，从语气、内容、形式上做了详细、准确的要求。答案对型邀请社会工作专家撰写回答。第四章I技巧怎么用prompt最有效？篇章概览：本章将以调教大模型的“人情味”为例，与读者们分享两种主流的PromPt（原则型与答案对型），哪种更有效？众所周不知

14、，不同大模型有自己擅长的话题，找到最合适的prompt加持，才能发挥出最佳效果。所以本章还会展示人情味最浓的top3组合方式。17发现五I教原理还是喂作业？调教最乖大模型！这些大模型喂作业更有效M迎丽（国内大模型笈）-prompt1后大模型人情味得分口prompt2后大模型人情味得分对比原始状态的提升比例对比原始状态的提升比例两种prompt对人情味的提升效率不同：GPT-4、国内大模型W、Y在原则型prompt后人情味提升更快；vicuna国内大模型X更适合采纳答案对型prompto发现六I红榜：人情味最佳TOP3在老年、残障、心情低落三个话题下，本实验选出了人情味最佳的几种组合方式。老年话

15、题下的最佳组合W050% 曲f4b）琐明昭N-I59I35.60% vicuna；什而颁例2坛764826.11%残障话题下的最佳组合 GP夕4翩如的D50%77.7820.1%心情低落话题下的最佳组合口国内大洲融W由同m0WY GPT4ffippt7 ViCUna-什曲的网2比84.0731.02%I-OQ050该组合人情味得分对比原始状态得分的提升比例实验也提示我们，不同大模型有自己擅长的话题，找到最合适的prompt加持，更能发挥出最佳效果。Ifi第五章I实战对大模型来讲，“人情味”难在哪里?篇章概览：本实验试图用prompt教会大模型理解“人情味”、擅用“人情味”，那么我们成功了吗？对

16、于大模型来讲，想要学会“人情味”究竟难在哪里呢？发现七I教做人易，学善意难提升比巍dprompt1后的平均分对比原PrOmPt2后的平均分对比始状态平均分的提升比例原始状态平均分的提升比例大模型的拟人、共情，在prompt调试后都有10%以上的提升，但表达友善度的提分较为有限。21发现八I学做人光会抄作业还不够原则型prompt比答案对型prompt,对大模型“拟人”层面的提分效果更明显。发现九I谁家的大模型一点就通vtojaa国内（国内大模型 大模型*国内大模型年8077.9675.287672.5971.64心；7270.2269.206865.7464. 726463.6762.7224

17、.31%16.31%10.28%|8.97%4.91%大模型原始状态得分本实验所采用的prompt对五款大模prompt后的最高得分型提升人情味均有效果。国外大模型prompt后最高得分对 比原始状态得分的提 升比例对prompt的吸收效率更佳；GPT-4 的人情味提升最明显,上升24.31%。23彩蛋I人类的光辉篇章概览：本章邀请20位普通00后大学生作为人类样本撰写了本实验所涉问题的答案，并用同一标准对他们的答案进行“人情味”测量。所以，您觉得与人类与机器，谁的人情味更浓呢？7。Q71.65.21的无论是总分，还是在拟人、共情、表达层面,人类撰写组都遥遥领先。让我们一起珍视这人类的光辉，而

18、珍视的方式或许可以是通过各种手段，让温暖遍布。25I后记&公众科技力谁是最有人情味的大模型，其实并不重要。这个小实验向我们展示了，没有技术背景的普通人也可以提升大模型的潜能。任何一项科技发明，一直到它在用户手中捂热，才算是跑完了它最后的一公里。过去我们常谈科技赋能，现在我们则更需要许许多多的普通人加入到科技创新的过程中，当然他们中一定包含了我们社会里显性或隐性的弱势群体。我们在这里特别想强调和倡议这样一种力量一一我们暂且将之称为“公众科技力”，也可以翻译为IntelligentParticipatiorio密虹主张并倡导在AI时代为更多的普通人创造Uj参与的权利&延伸的能力。IIafterl、after2human重新编码，组成总答案库招募打分人员160人，并分为16组，每组10人,从答案库中随机选择若干回答进行打分