规模更小、开源的人工智能大型语言模型为企业提供了利用自己的数据资产进行创新和获取可持续竞争优势的机会。
图源:GORODENKOFF(图片上传者,可以译为用户GORODENKOFF,或者GORODENKOFF) / SHUTTERSTOCK
在过去的30年里,能够收集、管理和利用组织所收集的知识资产的梦想从未真正实现过。跨企业共享信息资产的系统在复杂性方面有所发展,但无法通过有效地将数字文件中的信息转化为可用的知识来将其提升到更一个更高的层次。数据存在于越来越大的数据筒仓中,但真正的知识仍然存在于员工身上。
但是,large language models (LLMs/大型语言模型,是使用深度学习算法处理和理解自然语言的基础机器学习模型。这些模型在大量文本数据上进行训练,以学习语言中的模式和实体关系。LLM可以执行多种类型的语言任务,例如翻译语言、分析情绪、聊天机器人对话等。)的兴起正开始使真正的knowledge management (KM/知识管理,在组织中建构一个人文与技术兼备的知识系统,让组织中的信息与知识,透过获得、创造、分享、整合、记录、存取、更新等过程,达到知识不断创新的最终目的,并回馈到知识系统内,个人与组织的知识得以永不间断的累积,从系统的角度进行思考这将成为组织的智意资本,有助于企业做出正确的决策,以因应市场的变迁。)成为现实。这些模型可以以超出人类分析师能力的规模和速度从数字数据中提取意义。《The 2023 State of the CIO/2023年首席信息官状况》调查显示,71%的受访首席信息官预计未来三年将更多地参与商业战略,85%的受访者表示他们将更加注重数字化和创新。LLM(大型语言模型)在组织知识资产中的应用有可能加速这些趋势。
一、少即是多
OpenAI(在美国成立的人工智能研究公司,核心宗旨在于“实现安全的通用人工智能/AGI”,使其有益于人类。 OpenAI于2015年由一群科技领袖,包括山姆·阿尔特曼、彼得·泰尔、里德·霍夫曼和埃隆·马斯克等人创办。)的ChatGPT(Chat Generative Pre-trained Transformer,是人工智能技术驱动的自然语言处理工具,它能够通过理解和学习人类的语言来进行对话,还能根据聊天的上下文进行互动,真正像人类一样来聊天交流,甚至能完成撰写邮件、视频脚本、文案、翻译、代码,写论文等任务)和Dall-E2(是OpenAl公司推出的人工智能图像生成器,具有创造性和艺术性,可以根据自然语言的文本描述创建图像和艺术形式。)generative AI/生成式人工智能(GenAI/即通过各种机器学习/ML方法从数据中学习工件的组件/要素,进而生成全新的、完全原创的、真实的工件/一个产品或物品或任务,这些工件与训练数据保持相似,而不是复制。简单理解,生成式AI就是利用现有文本、音频文件或图像创建新内容的技术。使用生成 AI,计算机检测与输入相关的基本模式并生成类似内容。)模型已经彻底改变了我们对人工智能的看法及其功能。从写诗到创建图像,计算机如何通过几个简单的提示来创作新内容的能力令人震惊。然而,用于执行这些任务的LLM(大型语言模型)的规模对于OpenAI来说是巨大且昂贵的。GPT-4(OpenAI为聊天机器人ChatGPT发布的语言模型)在34天内通过超过1000个GPU(graphics processing unit,图形处理器,又称显示核心、视觉处理器、显示芯片,是一种专门在个人电脑、工作站、游戏机和一些移动设备。如平板电脑、智能手机等上做图像和图形相关运算工作的微处理器。)进行了超过45TB(太字节,计算机存储容量单位1TB=1024GB=2^40字节。)的文本数据的训练,花费了近500万美元的计算能力。2022年,OpenAI虽然融资113亿美元,但仍亏损了5.4亿美元。
显然,这些成本及其运营规模超出了大多数想要开发自己的LLM(大型语言模型)的组织的能力。然而,许多企业的人工智能未来在于基于自己的内部数据资产构建和调整规模小得多的模型。与依赖OpenAI等公司提供的API(Application Programming Interface,应用程序编程接口,是一些预先定义的函数,目的是提供应用程序与开发人员基于某软件或硬件的以访问一组例程的能力,而又无需访问源码,或理解内部工作机制的细节。)和将潜在敏感数据上传到第三方服务器的风险不同,新的方法允许公司在内部引入较小的LLM(大型语言模型)。调整LLM(大型语言模型)模型和Mojo(Modular开发的专门为 AI 设计的新编程语言。目前仍处于开发过程中,但完全可以在 JupyterHub 测试环境中试用。)和PyTorch(是一个开源的Python机器学习库,基于Torch,用于自然语言处理等应用程序。PyTorch既可以看作加入了GPU支持的numpy,同时也可以看成一个拥有自动求导功能的强大的深度神经网络。除了Facebook外,它已经被Twitter、CMU和Salesforce等机构采用。)等人工智能编程框架的参数,可以显著减少运行人工智能程序所需的计算资源和时间。
二、开放更好
正如网络是建立在开源软件和协议之上一样,许多企业人工智能计划很可能会建立在LLaMA(Meta AI推出的大语言模型。之后源代码公开到了 4chan 论坛上,使得任何一个普通工程师,都有机会开发自己的聊天机器人产品。只需要一台笔记本电脑就能部署,不必像 OpenAI 那样动辄上万块 GPU,对中小开发者极其友好,且性能也没差到哪去。泄漏后的几个月内,一位斯坦福大学的研究人员,只花了不到 600 美元就做出了一个性能尚可的 AI 聊天机器人;大洋彼岸的哈工大,数位研究人员用 " 美洲驼 " 和专业数据做出了一个医学知识 AI,取名叫“华驼”。围绕 LLaMA,一个生态开始涌现。)等开源模型和LoRa(Low-Rank Adaptation of Large Language Models,可以理解为stable diffusion/SD模型的一种插件,和hyper-network,controlNet一样,都是在不修改SD模型的前提下,利用少量数据训练出一种画风/IP/人物,实现定制化需求,所需的训练资源比训练SD模要小很多,非常适合社区使用者和个人开发者。)等免费技术之上。根据最近泄露的谷歌备忘录。
“进入培训和实验的障碍已经从一个大型研究机构的总产出下降到一个人、一个晚上和一台结实的笔记本电脑。”
这些准入壁垒只会变得更低,结果也只会更好,使初创公司和企业能够建立专注于企业和工作流程特定需求的新商业模式。
三、从GenAI到SynthAI
这些发展的核心是从基于简单提示创建新内容的人工智能系统,转变为基于企业内部数据进行训练并编程生成可用见解和建议的(小)模型。
像ChatGPT这样的LLM(大型语言模型)通常会产生可信的结果,但尚不清楚输入模型的数据是如何使用的,也不清楚它给出的答案是真实的还是虚构的。最近,一名纽约律师使用ChatGPT提交法庭文件,并列出可能是历史悠久的案件来支持其当事人的主张,这表明了依赖通用型AI(生成式人工智能,即通过各种机器学习/ML方法从数据中学习工件的组件/要素,进而生成全新的、完全原创的、真实的工件/一个产品或物品或任务,这些工件与训练数据保持相似,而不是复制。简单理解,生成式AI就是利用现有文本、音频文件或图像创建新内容的技术。使用生成 AI,计算机检测与输入相关的基本模式并生成类似内容。)输出的风险:尽管看起来像是真实证据,但其列出的案件中有六起从未发生过。
硅谷风险投资公司A16Z(全称是 Andreessen Horowitz,取自两位创始人的姓氏,由 Marc Andreessen 和 Ben Horowitz 于 2009 年创立。已经成为加密世界的顶级机构,其在加密领域的投资一定程度上代表了加密领域未来的方向。)最近概述了其信念,即人工智能在工作场所的未来不一定是像ChatGPT那样的LLM(大型语言模型),而是旨在满足特定商业需求的更专注的为(小)模型。他们将其称为SynthAI(合成人工智能。在第二波生成式Al浪潮之中,相信市场会见证更多用于信息汇集的生成式Al应用,这些应用会通过综合现有信息,向我们展示更精细化、筛选出来的内容。为了和第一波生成式Al浪潮进行区分,我们把第二波生成式Al浪潮,称为合成人工智能),其模型基于专有数据集进行训练,并针对离散目的进行优化,例如解决客户支持问题、总结市场研究结果和创建个性化营销电子邮件。
应用SynthAI方法来更好地管理公司的数据资产,是人工智能革命的下一阶段的自然演变。咨询公司BCG(波士顿咨询公司。是一家著名的全球性企业管理咨询公司,在战略管理咨询领域公认为先驱。公司的最大特色和优势在于公司已经拥有并还在不断创立的高级管理咨询工具和理论,管理学界极为著名的“波士顿矩阵”就是由公司20世纪60年代创立的。BCG的四大业务职能是企业策略、信息技术、企业组织、营运效益。)采用这种方法保存了50年的档案,主要是从调查和客户参与中收集的报告、演示和数据。以前,员工只能通过关键字搜索来搜索这些文件,然后通读每个文档以检查其相关性。现在,该系统为问题提供了可用的答案。
用人工智能实现知识管理的梦想正在成为现实。
作者:Martin De Saulles(马丁·德·索勒斯)
Martin De Saulles(马丁·德·索勒斯)博士是一位作家和学者,专门研究数据驱动的创新和人工智能并著作。您在他的博客martindesaulles.com上查看更多他的作品。