数据问题仍然是人工智能项目未能达到预期的主要原因之一,但生成式人工智能的出现增加了一些新的转折。本文讲述了生成式人工智能项目失败的4个原因。
图源:GETTY IMAGES
今年6月,新西兰连锁超市Pak’nSave(是新西兰仓储式连锁超市,它的东家是新西兰企业巨头Foodstuff。Pak’nSave成立于1985年,是新西兰三大连锁超市中最晚成立的一个,另外两个是Countdown和New World。)发布了Savey Meal-Bot(省钱膳食机器人,新西兰连锁超市Pak’nSave此前借助 OpenAI 的 Chat GPT 3.5,推出了一款 AI 膳食工具。),这是一个生成式人工智能工具,用户可以上传他们拥有的食材列表,然后机器人会想出可以尝试的食谱。它被宣传是为购物者省钱的一种方式,因为新西兰人每年会扔掉大约1500新西兰元的食物。
尽管有警告称,用户必须超过18岁,但没有人审查食谱,只有食物名称应该上传至聊天机器人,人们开始恶作剧了,到8月,该公司因其生产的各种错误在全球疯传。例如,Meal-Bot(省钱膳食机器人)曾建议一位用户将“浸泡漂白剂的大米惊喜”作为“令人惊讶的烹饪冒险”。这已经够糟糕的了,但它的“芳香水混合物”被发现是致命氯气的配方,尽管Meal-Bot(省钱膳食机器人)将其描述为“解渴和提神的完美无酒精饮料。”
没有任何关于顾客因食用这些食谱而中毒的报道,此后该工具进行了更新,用户只能从有限的完全可食用的食材中进行选择。但它仍然创造了不讨人喜欢的组合。
另一起备受瞩目的公关灾难发生在洛杉矶Levidow, Levidow & Oberman, P.C.,(Levidow, Levidow & Oberman律师事务所)身上。他们的两名律师在使用ChatGPT(Chat Generative Pre-trained Transformer,是人工智能技术驱动的自然语言处理工具,它能够通过理解和学习人类的语言来进行对话,还能根据聊天的上下文进行互动,真正像人类一样来聊天交流,甚至能完成撰写邮件、视频脚本、文案、翻译、代码,写论文等任务)撰写论点后,提交了充满虚假引用和引文的法律意见书。
一名法官在6月份的一项裁决中表示,该公司及其律师“在提交不存在的司法意见时放弃了他们的责任,然后在司法命令质疑这些虚假意见的存在后继续支持这些虚假意见”,该裁决还征收了5000美元的罚款。
PricewaterhouseCoopers(普华永道咨询公司,国际领先的管理咨询公司之一。 2002年7月30日,普华永道咨询公司被IBM以35亿美元的现金和股票形式收购。)最近一直在与许多公司合作,帮助他们推出生成式人工智能项目。但是,尽管这项技术被大肆宣传,但并不是一切都顺利。
“生成式人工智能的影响比传统人工智能或机器学习更深远,因此灾难的机率陡增。”PricewaterhouseCoopers(普华永道)生成式人工智能战略的合作伙伴和领导者Bret Greenstein(布雷特·格林斯坦)说。
一、缺乏治理
生成式人工智能可能出现的一个问题是,项目推出时缺乏足够的治理或监督。虽然Pak'nSave的Savey Meal-Bot(省钱膳食机器人)就是一个公开的例子,但更多的公司内部也在犯类似的错误。
例如,Greenstein(格林斯坦)说,他一直在与一家中型金融机构合作,该机构最近在5个月前使用商业人工智能工具的私有云实例实现了生成式人工智能。
“然后他们打开了API(Application Programming Interface,应用程序编程接口,是一些预先定义的函数,目的是提供应用程序与开发人员基于某软件或硬件的以访问一组例程的能力,而又无需访问源码,或理解内部工作机制的细节。),让他们的业务用户构建自己的应用程序,”他说。他们首先建立的是人力资源聊天机器人,它提供了福利建议,但可能不必承担巨大的责任。例如,如果人力资源工具推荐了错误的选项,员工可能会错过整整一年的福利窗口。人们会感到不安,但他们认可其权威性,认为实际上是准确的。
Greenstein(格林斯坦)不建议公司开放API(应用程序编程接口),只让人们构建他们想要的东西。必须有一个深思熟虑的、有纪律的方法来进行一些治理。他补充道:“有一些有纪律的方法可以构建生成式人工智能,以评估准确性、管理偏见和处理幻觉——你需要一个人参与进来试验,以确保其推荐正确。”
该公司让聊天机器人运行了一个月,但反馈并不好,但幸运的是,它被提前发现,不会严重影响员工,但它确实动摇了人们对领导层的信心。另一方面,如果该公司在生成式人工智能上矫枉过正并缩减规模,它可能会错过那些竞争对手加入并走得更快的机会之窗。
事实上,根据AI Infrastructure Alliance/人工智能基础设施联盟(AIIA)7月份发布的一项针对大型企业1000多名高管的调查,54%的人表示,他们由于未能管理人工智能或ML(机器学习,Machine Learning,是研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。)应用程序而遭受损失,63%的人说他们的损失为5000万美元或更高。
二、不断增加的成本
最受欢迎的生成式人工智能聊天机器人是免费向公众开放的。只需一点实验,就能便宜且容易地找到能够提供商业利益的应用程序,从而产生一种错误的价值感知。当企业在严格控制的环境中建立试点项目时,也很容易低估当项目被广泛部署时将产生的成本。
SANS Institute(美国系统网络安全协会,成立于1989年,是一个合作研究和教育组织。其项目目前已覆盖全球165000多名安全专业人员。从审计员、网络管理员到首席信息安全官,一系列人都在分享他们所学到的教训,并共同寻找应对他们所面临挑战的解决方案。SANS的核心是从公司到大学的各种全球组织中的许多安全从业者,他们共同帮助整个信息安全社区。)的首席课程主任和教员Rob Lee(罗伯·李)说,当公司在项目中使用外部供应商时,情况也是如此,因为目前还没有大规模部署生成式人工智能的经验。
“他们还没有经验,”他说,“如果你以前这样做过,并且能准确预测成本,那么你现在的需求将很大。”
例如,如果人工智能是通过云部署的,那么每个API(应用程序编程接口)调用都会加起来,使用情况将很难预测。“你不能根据旧的系统来估计人类的行为,”他说。“没有人知道生成式人工智能会产生怎样的人类行为。”
他说,此外还有过渡性成本。例如,如果你需要买一所新房子,你就必须卖掉你现在的房子,但如果老房子不能像预期的那样快卖出去,你可能不得不同时支付两套房子的费用。他说,这在IT领域也是如此。“如果过渡需要的时间比我们想象的更长,我们能负担得起吗?”对于生成式人工智能,由于技术如此新颖,没有人能准确预测。
“然后你就得到了数据集的大小,”他补充道,“我必须为存储和对该存储的调用付费。对于某些应用程序,您必须在全球范围内部署多个存储以及备份。”
根据AIIA(人工智能基础设施联盟)的调查,成本是大型企业采用生成式人工智能的第二大障碍。
三、不现实的期望
由于围绕生成式人工智能的炒作,一些商业领袖可以开始把它视为一颗灵丹妙药。亚利桑那州的解决方案集成商Insight(是一家信息技术的硬件、软件和服务产品的全球性的供应商,主要是向企业和公共部门机构供应。公司由以下三个运营部门部分组成,主要是由其相关区域北美、欧洲、亚太地区决定。该公司1991年于特拉华州成立,作为一个亚利桑那州公司的继任者于1988年开始运营。洞察企业拥有独特的市场定位,可以获得有利的市场份额,为客户提供强大的价值。公司的产品实现和物流功能,管理工具和专业技术使得为客户设计、部署和管理信息技术产品更容易,帮助他们的控制IT成本。)产品创新首席技术官Amol Ajgaonkar(阿莫尔·阿吉冈卡尔)说,所有关于人工智能复活的公开讨论都没有帮助。他说:“其中一些因素正在渗入到决策过程中。”
例如,今年夏天,一家总部位于美国西部的全球电子产品制造商和分销商希望建立一个内容生成系统,特别是为客户创建价格文件。他说:“他们有8000多名面向客户的销售主管,他们管理着数万个账户。产品和服务的定价是为新项目创建工作报表的永久需求。内容生成是生成式人工智能的一个简单用例。”
但该公司认为,人工智能可以查看历史数据,找到过去的相关例子,然后将其应用于新的客户请求。
Ajgaonkar(阿吉冈卡尔)说:“我们的期望是,生成式人工智能能够解决这个问题。我给它一个历史定价,它会看一看,然后告诉我类似的东西的定价是多少。”
不过,他说,试图向公司解释生成性人工智能的实际工作方式是一场持续的斗争。
“他们读到的所有结果都在反击我们的假设,”他说,“他们说商业价值很大,大肆宣传说这很容易,但事实并非如此。”
这种想法让公司感到失望和项目失败,甚至可能对人工智能的总体好处感到幻灭。
Ajgaonkar(阿吉冈卡尔)说,解决方案是将这个项目分解成几个小的步骤,并分析完成每个步骤的最佳方式。通常,生成式人工智能并不太适合。例如,他说,使用传统方法可以更有效地搜索历史文档以找到相关案例,尽管生成式人工智能擅长总结文档。
同时,应该应用先进分析和ML(机器学习)模型来预测未来,以及如何将所有的部分组装成一个单一的提案,最好用业务逻辑来处理,可以指定应该包含哪些服务。还有数学计算,尝试使用生成式人工智能来做简单的数学计算不仅过于夸张,而且极其不准确。
“我们可以写一个插件来做计算,”Ajgaonkar(阿吉冈卡尔)说,“我们不依赖生成式人工智能来计算东西。”然后是时候组装最终的文件了,有些部分来自法律团队。“这就是样板式的东西,”他说,“有了执行摘要,生成式人工智能就可以把它放进去。”
他说,最终这家电子公司能够得到一个解决方案,大大减少了撰写工作报表所需的时间。但要达到这一点需要一些训练。如果没有训练,这个项目会非常令人失望。
他补充说,公司经常不明白的另一件事是,编写生成式人工智能提示并不像向成年人类发出指令。
“这就像给我十几岁的孩子们一些指导一样,”Ajgaonkar(阿吉冈卡尔)说,“有时候你必须重复自己的观点,这样它才能坚持下去。有时,人工智能会收听,有时它不会听从。这几乎就像是一种不同的语言。当你在操作某件事时,理解这些小事情是这个项目成功的重要组成部分。”
也有一些方法可以提高响应的质量,比如思维树推理和类似的提示方法,但这些方法需要多个提示来细化响应。
“如果你只是在做研究,这些都可以。”他说,“但当你实际上在生产时,你是在考虑成本。你输入的每一个字都被计入你的配额。你消费了多少代币将决定该平台的成本。”另外,回答每个问题都需要有时间。
他说:“对于每一个请求,如果你必须使用思维树的方法并要求解释,这将变得非常昂贵。如果给我一张空白支票,我会用不同的变体对相同的提示运行一千次,以得到我想要的结果。但它所增加的价值值得吗?这是构建解决方案时必须达到的平衡。”
四、数据问题
Insight的杰出工程师Carm Taglienti(卡尔曼·塔利恩蒂)最近也遇到了一个项目,在这个项目中,不切实际的期望几乎毁掉了一个人工智能项目。
“人工智能项目的失败有99%是因为预期,”他说,“这不是技术的失败,而是对人们相信技术能做什么的期望。”
在这个特殊的案例中,一家总部位于美国的大型芯片制造公司的客户希望使用人工智能来解决其供应链管理问题。该公司不仅希望人工智能能做它做不到的事情,还希望第一次尝试就能奏效。但是,每次当一个项目从一个阶段转移到另一个阶段时,第一种方法很有可能不起作用,因此需要进行调整。他说,其中的每一点都是一家公司可能放弃人工智能项目的机会。但在这个特殊的案例中,还有一个技术问题——缺乏良好的数据。
在过去,当没有特定的芯片或组件时,该公司会使用劳动密集型的手动流程来寻找替代品。
“但这对他们来说不够敏捷,无法支持他们的业务,”他说。这一过程中的一些可以被决策树和专家系统所取代,但这些都是脆弱的。如果行业发生任何变化,整个决策树都需要更新。然而,使用人工智能需要大量干净的数据。但是,对构成训练数据的组件进行详尽的搜索是罕见的。
Taglienti(塔利恩蒂)说:“你不会每次都做竞争分析。”芯片制造商坚持选择首选的供应商和顶级备份名单,很少做大规模的供应商评审。
另一个问题是,当数据可用时,它很难处理。“如果你是制造商,你就要制定规范,”他说,“但它不是一种你能很快吸收的形式。”
还有一些更微妙的问题,比如制造商的工厂在哪里,以及其及时交货的声誉。
Taglienti(塔利恩蒂)说:“如果他们是一家上市公司,我必须做一些事情,比如浏览网页,查看他们的10-K(美国证券交易委员会/SEC要求上市公司必须每年提交的有关其财务表现与公司运营的综合性报告,具体来说包括公司历史,组织架构,财务状况,每股收益,分支机构,高管薪酬等信息。该10K报告所包含的内容比常见公司年度报告要详细得多。)。除了找到一个有效的部分之外,它还有很多东西。”他说,这种分析甚至在世界生成式人工智能出现之前就已经可以自动化了,但这是一个比人们一开始时想象的要复杂得多的过程。这并不罕见。长期以来,缺乏可用数据一直是人工智能和ML项目的一个问题。同样在AIIA(人工智能基础设施联盟)的调查中,数据问题对84%的部署生成式人工智能的公司来说是一个重大挑战。例如,PwC(普华永道)的Greenstein(格林斯坦)最近与一家消费者公司合作,该公司希望启动一个自动化后台处理的项目。
“他们已经建立起了人工智能服务,”他说,“他们的云已经建立。他们的员工已经准备好了。但他们并没有预料到获取这些数据会有多困难。”一个数据源需要API(应用程序编程接口)许可证而该公司没有,因此需要通过采购流程才能获得这些许可证,这可能需要几个月的时间。
他说:“在另一个系统中,各组织的访问控制水平非常高。第三个系统是基于用户的控制。对于生成式人工智能来说,他们必须调和所有这些,但他们不能很快做到。”
他说,从长远来看,该公司将获得所有需要的数据,但他们可能会损失几个月的时间。
Greenstein(格林斯坦)说:“在这种情况下,它们转向了其他方案。但领导层失去了时间和热情。所有对潜在的生产力提高感到兴奋的人都感到沮丧,IT团队也没有考虑数据问题,导致领导层对数据失去信心。”
他说,公司应该优先考虑潜在的人工智能方案相关因素中,首先是影响,其次是风险,第三是数据:“我们有数据做这个用例吗?我们有使用权限吗?它可以访问吗?它足够干净有用吗?”他问道,“如果我们无法通过任何一步,我们就不应开始。应当去找另一个方案。”
作者:Maria Korolov(玛丽亚·科洛洛夫)