企业LLM(大型语言模型。是使用深度学习算法处理和理解自然语言的基础机器学习模型。这些模型在大量文本数据上进行训练,以学习语言中的模式和实体关系。LLM可以执行多种类型的语言任务,例如翻译语言、分析情绪、聊天机器人对话等。)可以建立在公开可用的基础模型上。这是一个良好的开端。
图源:BentlyChang/Getty Images
企业是否准备好构建和维护自己的内部LLM?
人工智能——尤其是生成式智能——吸引了科技专业人士和高管们的无限兴趣。想想看:尽管最近关于削减云服务和基础设施预算的讨论层出不穷,但人工智能资金的源头已经打开。只是它是流向外部服务,还是流向内部人才和资源呢?
许多外部实体,如OpenAI(在美国成立的人工智能研究公司,核心宗旨在于“实现安全的通用人工智能,AGI”,使其有益于人类。OpenAI于2015年由一群科技领袖,包括山姆·阿尔特曼、彼得·泰尔、里德·霍夫曼和埃隆·马斯克等人创办。)、微软和谷歌,被视为LLM、基础设施支持和专业知识的主要提供者。然而,对内部LLM项目的兴趣也在上升。TCS(塔塔咨询服务公司,是印度著名的企业集团—塔塔集团的控股子公司,投资重点为软件工程实践和标准、软件质量保证、软件项目管理、软件处理、软件工程技术研发等。)对1300名首席执行官进行的一项新调查发现,大约一半的受访者(51%)表示,他们计划构建自己的生成式人工智能实现。这意味着未来还有很多工作要做,但幸运的是,公开可用的LLM已经奠定了基础。
“基础LLMs——比如GPT、Claude(是人工智能初创公司Anthropic 发布的一款类似ChatGPT的产品。升级后的Claude 2 模型在编码、数学和推理方面的性能都有所提高。2023年7月,Anthropic 宣布,已发布最新大语言模型Claude 2。升级之后,Claude 2的处理能力已经提升到了100K个Token,这意味着它可以处理数百页的技术文档,甚至是整本书。此外,Claude 2 也开始面向更广泛的用户群体免费开放,并支持中文使用。)、Llama(Meta AI推出的大语言模型。之后源代码公开到了 4chan 论坛上,使得任何一个普通工程师,都有机会开发自己的聊天机器人产品。只需要一台笔记本电脑就能部署,不必像 OpenAI 那样动辄上万块 GPU,对中小开发者极其友好,且性能也没差到哪去。泄漏后的几个月内,一位斯坦福大学的研究人员,只花了不到 600 美元就做出了一个性能尚可的 AI 聊天机器人;大洋彼岸的哈工大,数位研究人员用 Llama 和专业数据做出了一个医学知识 AI,取名叫“华佗”。围绕 LLaMA,一个生态开始涌现。)——可以最好地被描述为具有世界智慧;可以被视为重新包装互联网知识,” TCS的首席技术官兼研究的共同作者Dr. Harrick Vin(哈里克·文博士)告诉笔者,“他们还具有高水平的多模态理解和生成能力,以及推理能力。”
Vin(文博士)说,构建这些基础模型“既复杂又昂贵”,他指出,内部企业模型将建立在这些模型的能力之上。“这些模型将利用基础模型的基本技能,如语言理解和生成、推理和一般知识。但他们需要将它们扩展并专门用于行业、企业和活动环境。”
幸运的是,“与基础模型的开发相比,构建这种专门的模型要容易得多,成本也低得多,”Vin(文博士)说,“事实上,专门化基础LLM(广泛的AI模型)以创建特定目的的AI模型和解决方案的相对容易是AI民主化的主要原因。”
他继续说道,这些特定于企业的LLM,“指的是行业、企业和活动方面的模型,无论是开源的还是商业的,”他继续说,“我们相信,在未来,一个成熟的人工智能企业,将有数百或数千个有目的的人工智能模型,所有这些模型都是通过将基础模型的能力与特定企业的能力相结合而构建的。”
除了构建和实现模型之外,该业务还需要为生成式人工智能做好准备。超过一半(55%)的人表示,他们正在积极改变业务或运营模式,或他们的产品和服务,以适应人工智能。TCS的调查显示,十分之四的高管表示,在他们能够充分利用人工智能之前,未来他们“需要对业务进行很多改变”。
这表明生成式和操作性人工智能的发展缓慢但势头强劲。在过去的一年里,“每个企业都尝试过生成式人工智能用例——2024年及以后将是关于价值扩展的,”Vin(文博士)说,“然而,在实验阶段,每个企业都意识到,拓展价值是具有挑战性的。”
TCS的调查显示,目前只有17%的人正在讨论人工智能并为其制定全企业范围的计划。此外,只有28%的人准备制定企业范围的人工智能战略,以最大限度地为公司带来利益。尽管如此,Vin(文博士)还是看到了这项技术的快速发展。“在个别案例或临时项目基础上实施人工智能解决方案,与构建全公司范围计划以建立成熟的人工智能企业之间存在差异,”Vin(文博士)说,“调查中相对较低的数字是指制定了这种AI企业级应用战略。这是意料之中的。”
至于人工智能解决方案的采用,Vin(文博士)继续说,“这一数字相当高;59%的企业职能部门正在进行或已完成人工智能实施,另有34%正在计划人工智能实施。我们正处于技术成熟度和企业大规模采用成熟度的早期阶段。大多数企业开始将人工智能和生成式人工智能用于特定用例,同时开始进行长期量化收益以及管理相应成本和风险的旅程。”
在过去的一年里,“每个企业都尝试了生成式人工智能用例——2024年及以后将涉及扩展价值,”Vin(文博士)说,“然而,在实验阶段,每个企业都意识到,拓展价值是具有挑战性的。”
首先,“构建有效的人工智能解决方案需要高质量的数据,”他说,“尽管企业确实拥有大量数据,但这些数据通常分布在许多相互不一致的孤岛上。尽管在过去几年中,大多数企业已经开始了整合和数据产业现代化之旅,但这些旅程还远未完成。此外,大多数企业的数据资产迁移到云环境的工作仍在进行中。这使得企业难以利用云托管的基础大语言模型(LLM )及其企业数据。”
此外,企业“需要提高成熟度,主动管理数据采集、使用、安全和隐私,”Vin(文博士)说,“他们需要掌握确定哪些数据可以用于什么目的,即使是无意中,以防止偏见和不公平的做法。这不仅仅是设计时的挑战,也是运行时的挑战。”需要的是“实时检测人工智能模型开始偏离预期行为的紧急情况的系统。”
最后,角色和技能要求的变化速度比公司所能跟上的要快。他说:“随着人工智能的注入,企业知识工作者的角色将从实干家转变为机器的培训师和询问者、机器工作的审查者,以及批判性思维和创造力的拥有者。”
作者:Joe McKendrick(乔·麦克肯德里克)
译者:宝蓝