你好,欢迎您来到福建信息主管(CIO)网! 设为首页|加入收藏|会员中心
您现在的位置:>> 新闻资讯 >>
生成式AI副驾驶:什么是炒作以及在如何评价和推动绩效成果?
作者:CIO.com&睿信咨询 来源:CIOCDO 发布时间:2024年03月11日 点击数:

IT领导者发现自己站在大量快速发布的平台副驾驶的“消防水管”旁,试图推动应用结果。IT领导者应该权衡谁应该进行实验、哪些业务功能、哪些合规性考虑因素以及哪些AI生成工具。随着副驾驶技术能力的快速变化,领导者应经常确定指标并评估试点策略,以下是同行们发现的优点和不足。



来源:JACOBLUND/SHUTTERSTOCK


睿观:本文讨论了生成式AI副驾驶(如GitHubCopilotMicrosoft365Copilot)如何为IT领导者带来新的挑战和机遇。随着越来越多的平台采纳这种AI助手功能,IT领导者需要识别哪些功能可以为他们的组织提供真正的业务价值,以及哪些仅仅是市场炒作。文章报道了一些对众多副驾驶工具所做的基准测试和用户反馈,显示这些生成式AI工具确实能够提高效率和生产力。


主要包括以下几个方面:


1.IT领导者需要与其他业务部门合作,建立生成式AI的风险管理策略。


2.生成式AI副驾驶可以节省时间并提高效率,但是也有一些限制和尚未实现的功能。


3.Microsoft365Copilot提供了一系列嵌入式AI助手功能的例子,如会议摘要、邮件整理等,虽然很有前景,但也有实现上的挑战。


4.在软件开发领域,生成式AI工具如GitHubCopilot对代码编写、测试和文档生成方面有很大帮助,尽管需要对生成的代码质量保持谨慎。


5.适当使用AI副驾驶程序可能对初学者和资深开发人员都有不同的益处,但需要对代码的适用性和安全性进行严格的评估。


文章建议IT领导者根据各种因素权衡,如员工的技能水平、业务功能的需求性、合规性问题等,来决策哪些团队或个人应该使用A副驾驶。随着AI副驾驶技术的快速进步,领导者们需要通过定期检查指标和估算投资回报来持续评估他们的策略。


GitHub2021年首次推出其CopilotMicrosoft365Copilot在几个月前正式发布。这些AI助手通常使用术语copilot来表示工作流工具中嵌入的生成式AI功能如何增强和帮助人们更有效地执行任务和提示信息。


睿观:“Copilot”这个词汇的字面翻译为“副驾驶”。在飞行中,副驾驶是辅助飞行员的人,负责监控飞行状况、协助进行飞行操作和确保航班安全的任务。


AI中,将辅助工具称作“Copilot”通常意味着这种AI设计用来辅助用户执行任务,提供帮助和建议,类似于飞机上副驾驶的角色。例如,GitHubCopilot是一种AI编程助手,它通过预测开发者可能想要写下的代码来辅助编程工作,从而减轻工程师的负担,并加速软件开发过程。


采用“副驾驶”这个词汇的原因包括:


1.人工智能作为用户的辅助者,帮助用户执行任务,而不是取代用户的功能。


2.强调了AI工具的支持性质,即如同副驾驶在飞行中对飞行员的辅助一样,AI工具旨在协助用户更高效地完成任务。


3.只要提到“副驾驶”,人们就会想到信任、专业和有能力的伙伴,AI领域采用这个词是为了在用户中建立类似的认知。


因此,在许多AI产品中,“Copilot”代表着一个有效的,增强性能的工具,旨在提供智慧和帮助,而非完全自主运作。】


“副驾驶”一词已经流行起来,现在许多平台都添加了嵌入式AI助手功能作为副驾驶,包括AppianAICopilot、CheckPointInfinityAICopilot、CreatioCopilot、ExtremeCloudIQCoPilot、FreshserviceFreddyAI、NiceEnlighenCopilot、OpenTextALMCo-Pilot、PagerDutyCopilot、PlanviewCopilot、SalesforceEinsteinCopilot、SAPJoule和Tableau。许多其他平台,如Coveo的RelativeGenerativeAnswering、QuickbaseAI和LaunchDarkly的产品实验,都嵌入了虚拟助手功能,但没有给它们贴上副驾驶的标签。


许多员工希望尝试像MicrosoftCopilot这样的AI助手,而CIO则面临来自CEO的压力,要求他们重新调整数字化转型的优先事项,并通过生成式AI功能提供业务价值。首席信息官还必须与首席信息安全官、法律、人力资源和业务领导者合作,以建立对政策的认识并制定生成式人工智能风险管理战略


首席信息官和IT领导者处于中心位置,必须决定要测试哪些副驾驶、谁应该获得访问权限以及实验是否能带来业务价值。鉴于技术平台发布副驾驶功能的速度有多快,整理出哪些功能在今天有效且可以扩展,哪些功能功能有限,哪些功能是营销炒作,可能很耗时。


睿观:设想一个美食家进入了一个巨大、充满新餐馆的美食街,他需要选择哪些餐馆值得尝试。这位美食家就像IT领导者,新餐馆就像带有副驾驶功能的技术平台。


1.选择哪些副驾驶测试:这就像美食家需要决定哪些新餐馆看起来有前途、有创新菜品,可能会提供与众不同的用餐体验。他需要根据菜单前瞻性、厨师的声誉、餐厅装潢等因素做出选择。


2.谁应该获得访问权限:美食家必须决定是否要带上朋友、家人或食评家一起去尝试这些餐厅。这类似于IT领导者确定那些部门、团队或个人应该有权访问并测试新的副驾驶AI工具。


3.试验是否能带来业务价值:美食家最终的目标是找出哪些新餐馆提供物超所值的美食体验。IT领导者也需要评估那些副驾驶工具是否真正可以改善业务流程、提高效率或产生其他商业益处。


就如同市场上不断涌现的餐厅——有一些是真正提供创新料理和一流服务的佼佼者,有的却可能只是一时的热门话题,但其提供的餐点并不实在,或者没有特别之处。IT领导者面对各种各样“看起来好像很美味”的新技术平台,也需要分辨它们是否真的能提供“丰盛佳肴”——即实际的业务价值,还是只是一时的“营销炒作”。


因此,首席信息官和IT领导者处于一个类似筛选者的位置,他们必须仔细甄别,以免浪费时间和资源在那些只有外表诱人却无内在价值的“新菜式”上。


一、Copilot基准测试显示生产力提高


早期的基准测试表明,使用副驾驶的人工作效率更高,并且可以节省时间专注于更高级别的功能。


GitHub发布了有关其副驾驶影响的数据,88%的受访开发人员表示生产力有所提高,74%的开发人员专注于更令人满意的工作,超过87%的开发人员表示他们更快地完成任务。在一个基准测试中,GitHub要求开发人员用JavaScript编写一个HTTP服务器;与不使用Copilot的开发人员相比,使用Copilot的开发人员完成任务的速度是其两倍以上。


Microsoft的基准测试显示,70%Copilot用户表示他们的工作效率更高,68%的用户表示它提高了他们的工作质量,67%的用户利用节省的时间专注于更重要的工作。


这些数据显示了业务潜力,但您必须更深入地挖掘,以了解人们如何实际使用副驾驶功能,以及哪些功能在今天提供了业务价值。


二、汇总会议、电子邮件和文档


Microsoft365将在copilot功能上设定基准,因为它引入嵌入式AI助手功能的速度和平台广泛的用户群。


那么,今天如何兑现生产力承诺呢?摘要和内容转换功能(在整个Microsoft365产品线中可用)可能是重要的生产力驱动因素。


“在MicrosoftTeams中,您可以做会议记录、摘要、回顾,甚至可以向MicrosoftCopilot询问会议内容等问题,”德保罗大学驻校执行官RomanDumiak报告说。


MissionVeterinaryPartners的首席数字和信息官DavidKleinman解释说:“有些人在长长的电子邮件链中发送五段电子邮件。你会花20分钟阅读它,还是可以阅读摘要?MicrosoftOutlook在电子邮件摘要方面做得很好,但要使用此功能,您必须使用Web版本,或者必须使用Outlook桌面的测试版。


MicrosoftCopilot擅长为MicrosoftTeams会议生成摘要,协助高效的电子邮件撰写,可以将MSWord文件转换为演示文稿,并通过使用户能够从其数据创建可视化和预测模型来简化Excel数据分析,”DynamicSolutionsConsulting首席解决方案架构师KibaPolk补充道。


DePaulDumiak补充说:“Excel中,我可以要求MicrosoftCopilot汇总表格并给我图表,突然间,它创建了数据透视表,而无需学习命令生成顺序。”


但是MicrosoftExcelCopilot存在一些限制,因为数据必须在表中才能正常工作。


虽然这是一个限制,但有报道称承诺的功能尚不可用。


Microsoft表示Microsoft365Copilot是一个通用版本,但它似乎仍处于测试阶段,其功能在他们的网站上宣传,但实际上还没有,”Kleinman说。“他们宣传了一项功能,你可以关注会议,然后Copilot会加入并为你做笔记。”


Kleinman认为,高管们希望这种增加的工作流程功能能够让人们更容易地虚拟地参加他们想要总结的会议,特别是当他们不打算成为积极的贡献者时。今天的工作以及哪些用户将受益的模棱两可促使一些首席信息官询问向Microsoft365添加Copilot许可证是否值得付出代价。


Microsoft正在大力投资AI功能和工作流集成,因此CIO应该期待并计划改进功能。首席信息官应该帮助回答的最大问题是,在哪里进行试验和了解Copilot对工作流程的影响。首席信息官应该寻找重度Microsoft365用户的部门和员工,并创造机会让他们学习、尝试和报告Copilot的功能和优势。


三、谁从软件开发副驾驶中受益


使用MicrosoftOffice365Copilot的好处可能在于设定切合实际的期望并评估结果是否提高了生产力。对于软件开发人员来说,使用副驾驶和其他生成式AI功能的好处可能更多地在于谁在使用它以及验证代码结果的成本效益。


IT领导者正在探索不同世代的AI工具如何改变软件开发生命周期。许多人正在准备一个将开发人员作为人工智能代理的新世界,软件开发更接近于制造过程。如今,提供结果的顶级AI助手功能包括生成代码、测试用例和文档。


GitHub的研究表明,用户接受其Copilot建议的30%的代码,而经验不足的开发人员在AI方面具有更大的优势。该研究声称,开发人员在使用Copilot时会更快、更有效。


ZoomInfo的首席技术官AliDasdan说:“在短短三个月内,我们几乎所有的个人贡献者都加入了GitHubCopilot。我们看到了近乎立竿见影的成功,因为我们接受了Copilot建议的数万行代码,准确率超过26%。”编码中用于生成AI的其他工具包括AmazonCodeWhispererSeekTabnine


睿观:ZoomInfo的首席技术官AliDasdan分享了他们公司对GitHubCopilot的采用情况。「GitHubCopilot」是一个AI驱动的编码助手,可以通过分析现有的代码库来建议代码片段,以帮助开发者更快地编写代码。


为了提高这类AI编码工具的准确率,可以考虑以下几个建议:


1.个性化AI学习:随着AI工具的使用,它们可以根据开发者的编码风格和历史代码库进行学习,从而提供更加个性化和精准的代码建议。


2.增强代码评审功能:集成代码评审功能可以帮助AI工具更好地理解哪些代码建议是有用的,哪些不被接受,进而优化它们的机器学习模型。


3.数据集的多样性与扩展:使用不同语言、框架和领域的广泛代码库可以提高AI工具的泛化能力,使其在不同的编码任务上都能提供有效的建议。


4.增强用户反馈环:让开发者能够直接对AI的建议提出评价和反馈,这将帮助改善算法,并提升代码建议的准确性。


5.持续训练与迭代:AI模型需要不断地用新数据进行训练,以响应新的编程模式和标准的变化。


通过应用这些方法,公司可能会继续看到其AI驱动的编码助手的准确率得到改进,并在软件开发过程中获得更大的生产力提升。


AnswerRocket的首席技术官兼联合创始人MikeFinley表示:“我领导着一个由20名开发人员组成的团队,他们经常利用生成式AI作为编码副驾驶,每个人的生产力从低端提高了20%,高端提高了100%。他分享了使用GenAI的诱惑力,“我经常只是写一条评论,表明我希望接下来的几行做什么,然后AI会填写它”,但也分享了他们仍然需要审查代码的现实。


CI&T工程和数字解决方案主管LuisRibeiro说:“我们生成了大量代码,因此提高效率并找到提高解决方案开发速度的方法对我们来说至关重要,”CI&T工程和数字解决方案主管LuisRibeiro说,“Tabnine提高了开发人员的工作效率,我们的开发人员接受了该工具90%的单行编码建议,从而使整个项目的生产力提高了11%。”


与我交谈过的一些首席信息官表示,他们认为为初级开发人员提供访问权限的好处较少,主要是因为提示和验证Copilot代码所需的技能。首席信息官可能还需要考虑每个应用程序的使用情况、安全性和风险,以决定哪些DevOps团队应该尝试使用AI副驾驶。


ContractPodAi总裁兼首席技术官AnuragMalik表示:“首席技术官利用AI副驾驶工具的秘诀是在利用AI辅助和维护人工监督和控制之间找到适当的平衡,以确保最佳结果。


为了与副驾驶一起推动结果,IT领导者应该权衡谁应该进行实验、哪些业务功能、哪些合规性考虑因素以及哪些AI生成工具。随着副驾驶技术能力的快速变化,领导者应经常确定指标并评估试点策略。


【睿观:推荐的AI副驾驶应用成效的评估指标及试点策略:


(一)评估指标:


1.代码质量:检查由AI副驾驶技术生成的代码是否符合公司的编码标准和最佳实践。


2.准确率与效率:测量AI工具提供有效代码建议的比例,以及它在加快代码开发周期中的贡献。


3.用户采纳率:跟踪开发人员采用AI副驾驶工具的比例,以及他们对工具的满意度和反馈。


4.业务影响:确定AI副驾驶工具对产品开发周期、产品上市时间、成本节省等关键业务指标的影响。


5.合规性和风险:评估使用这些工具时是否遵守了有关数据保护、知识产权、软件许可的法规和政策。


6.新功能采纳:跟踪对最新AI副驾驶功能的采用情况,以确定它们带来的具体价值。


(二)试点策略:


1.明确目标与范围:明确预期使用AI副驾驶工具达成的目标和业务范围,来指导哪些项目或功能是试点的最佳候选。


2.选择合适的人员进行实验:挑选具有相应技能和对新技术保持开放态度的开发人员进行实验。


3.分阶段实施:将AI副驾驶工具的实施过程划分为多个阶段,每个阶段都有明确的目标和评估指标。


4.定期评估与迭代更新:定期对AI副驾驶的使用效果进行评估,并根据结果调整实施策略。


5.培训和支持:提供必要的培训和持续支持,以确保开发人员能够有效利用AI工具。


6.风险管理:制定明确的政策来管理使用AI的潜在风险,确保代码生成和数据使用过程的透明度和合规性。


7.多方面沟通:与业务、法务、风险管理和其他利益相关者进行充分的沟通,确保AI副驾驶工具的部署与企业的整体目标和策略保持一致。】


艾萨克·萨科利克(IsaacSacolick

特约撰稿人

数字化转型学习公司StarCIO的总裁IsaacSacolik指导领导者采用领导组织转型变革所需的实践。他是《数字开拓者》和亚马逊畅销书《推动数字化》的作者,并谈到了敏捷规划、DevOps、数据科学、产品管理和其他数字化转型最佳实践。Sacolick是公认的顶级社交CIO、数字化转型影响者,在InfoWorldCIO.com、他的博客SocialAgileTransformation以及其他网站上发表了900多篇文章。