并非所有企业用例都最适合大型语言模型。新型人工智能（New AI）的多模态生成式 AI 模型和较小的模型有望满足利基需求。

来源：GORODENKOFF / SHUTTERSTOCK

【睿观：生成式人工智能（Gen AI）在各行业中的应用不断扩展，但并非所有企业用例都最适合大型语言模型（LLMs）。虽然LLMs在自然语言处理和文本生成方面具有强大能力，但一些IT领导者认为LLMs并不能完全满足所有需求，导致他们将目光转向新型人工智能（New AI），如多模态生成式AI模型和较小规模的模型。这些模型能够处理包括文本、音频、图像和视频在内的多种数据模式，并提供更加精准和专用的结果。

（一）现状与挑战

目前，LLMs是生成式AI实验的主流选择。然而，一些企业发现，简单依赖LLMs无法解决他们的特定需求。这导致了多模态模型的兴起，例如，具备处理动态表格数据、视频、音频数据能力的模型，这些模型比只处理文本的LLMs更具优势。

例如，Northwestern Medicine与戴尔的合作展示了多模态LLM在医疗图像分析中的成功应用，大幅提高了诊断效率。同样，MakeShift正采用麻省理工学院初创公司Ikigai Labs的新型大型图形模型（LGM）来处理复杂的预测性调度问题，这些模型可以处理高度结构化和相互关联的数据。

（二）多模态模型与较小规模模型的优势

1.多模态模型： 能够综合处理文本、图像、音频和视频数据。例如，Google Gato、OpenAI GPT-4o和Microsoft LLaVA能够提供跨模式的综合分析，这对于需要整合多种数据来源的应用尤为重要。

2.较小模型的专业化： 例如，Ikigai Labs社自称的LGM为高度结构化数据提供了概率表示，可以更有效地处理特定领域的问题。较小的模型由于专注于特定任务，具有更高的效率和经济性。

3.开源与定制化： 开源模型提供了企业定制化的灵活性，企业可以在开源模型的基础上进行微调和优化，以满足特定需求。

（三）未来趋势与结论

Gartner的分析指出，虽然拥有多模态功能的LLMs正在崛起，但由于成本和计算资源的限制，企业可能更倾向于使用小规模的专业化模型。Databricks的Naveen Rao也强调了通过开源和定制化来降低模型部署成本。

企业将继续探索和发展适合他们具体业务需求的AI模型。通过结合多模态模型和较小规模的专用模型，企业能够更有效地解决复杂的业务问题，提高效率和创新能力。

这种向专业化和多模态模型发展的趋势表明，通用人工智能在企业中的应用将变得更加细分和实用，满足企业多样化的需求，同时降低成本和复杂度。未来，随着硬件技术的进步和开源生态系统的成熟，这些新型AI模型的应用将更加广泛和普及。】

随着生成式人工智能淘金热的如火如荼，一些CIO和 IT 领导者发现生成式 AI 的第一波宠儿——大型语言模型 （LLM）——可能无法满足其更有前途的用例。

LLM凭借其理解和生成文本的先进能力，已成为集体思维中生成式 AI 的近乎替身。与代码生成副驾驶和文本到图像生成器（利用 LLM 和扩散处理的组合）一起，LLM 是当今商业中大多数生成式 AI 实验的核心。

但是，一些IT领导者表示，并非所有问题都可以使用LLMs解决，这开启了下一波多模态模型的浪潮，这些模型超越了语言，提供了更有目的的结果，例如，处理存储在电子表格和矢量数据库中的动态表格数据、视频和音频数据。

根据 IDC 的《市场概览：生成式基础 AI 模型》，多模态基础模型结合了文本、音频、图像和视频等多种模式，能够为图像生成标题或回答有关图像的问题。IDC指出，例子包括Google Gato，OpenAI GPT-4o，Microsoft LLaVA，Nvidia NeVA，Vicuna，BLIP2和Flamingo。

Northwestern Medicine的先进技术团队与戴尔的 AI 创新团队合作，构建了一个专有的多模态 LLM，可以解释胸部 X 射线图像并创建关键发现的摘要。使用此模型，患者获得结果的速度比以前快了近 80%。接下来，西北大学和戴尔将开发用于CAT扫描和MRI的增强型多模态LLM，以及整个电子病历的预测模型。

“这个模型非常有趣，因为目前没有多少人使用多模态，”西北大学麻醉师兼先进技术医学主任Mozziyar Etemadi博士说。Etemadi 指出，当前的模型为放射科医生节省了 40% 的时间，不再需要编写文本注释，并且由于该模型能够分析图像，因此节省了更多时间。“模型通常只是LLM，以及一些文本或Excel，但现在我们可以容纳图像和X射线。这真是太棒了。

一、将新模型投入使用

劳动力调度SaaS MakeShift 是另一个超越 LLM 的组织，旨在帮助其医疗保健、零售和制造客户执行复杂的预测性调度。

MakeShift首席技术官 Danny McGuinness 说：“我们使用 LLM 为管理员和员工提供聊天支持，但当你进入矢量数据和具有几亿行相互关联数据的大型图形结构时，你想要优化未来的预测模型，你无法使用 LLM 取得任何进展。”

取而代之的是，MakeShift正在接受麻省理工学院初创公司Ikigai Labs所倡导的正在申请专利的新型大型图形模型（LGM）。

McGuinness说：“我们正在利用具有复杂结构化数据的大型图形模型，建立这些相互关系、因果关系和相关性。”

MakeShift与 Medico、HSBC、Spirit Halloween、Taager.com、Future Metals 和 WIO 等公司一起部署了 Ikigai Labs 的表格和时间序列数据无代码模型。Ikigai Labs 由麻省理工学院人工智能和数据科学系主任 Devavrat Shah 和 Vinayak Ramesh 共同创立，为按行和列组织的表格数据提供 AI。该公司在过去六个月中将员工人数翻了一番，并在去年年底获得了2500万美元的投资。

其他类型的支持视频的多模态模型也出现在严重依赖计算机视觉和视频的软件服务中，这为首席信息官提供了大量新工具，以利用适合其特定需求的人工智能模型。

对于MakeShift 及其客户来说，日程安排是一个业务流程，其 24 x7 的运营以及工会法规和集体谈判协议带来的细微要求使流程变得复杂。MakeShift 工程师去年开始使用 Ikigai Labs 的 API 和模型，现已全面投入生产。使用基于新型大型图形模型（LGM） 的 AI 可以更轻松地进行预测性调度，以应对不断变化的数据集和程序，“McGuinness 说。MakeShift使用人工智能的好处开始成倍增加。

“它开始发展，因为人工智能正在学习，我们已经开始看到我们可以将其他类型的数据整合到这些模型中，”McGuiness说，并指出一些客户正在引入其他数据类型来改进调度功能。“我们的一位零售客户开始谈论提取天气数据。我们可以开始整合公共数据，例如天气预报、与公共交通的接近程度以及商店中的人流密度。”

McGuiness说，MakeShift 使用 Ikigai 模型的另一个好处是“在相关性和因果关系方面，呈现出你不会想到的场景，并开始提出其他问题来询问数据。”我们的首批医疗保健客户之一正在研究其他用例，除了历史调度、某些涉及金融交易的流程和事件。”

当然，LLM也可以通过标记语言处理表格和其他形式的数据，Databricks的AI副总裁Naveen Rao指出，该公司去年收购了他的公司Mosaic。

但是，像Ikigai这样的替代模型的兴起，以及通过更广泛适用的LLM可以很容易地完成的工作的灰色地带，凸显了CIO目前面临的生成式AI市场的狂野西部牛仔性质。

二、大模型正在变小

Gartner AI分析师 Arun Chandrasekaran 表示，LLM 向更强大的多模态模型的演变是意料之中的，但他认为，由于成本巨大，此类模型在商业使用中所占的比例较小。

“在2023 年，它确实由带有文本和代码的模型主导，”Chandrasekaran 说。“然后我们开始看到具有计算机视觉的模型，并看到了许多其他模态的迹象，例如语音模型。但从根本上说，构建这些模型在计算和数据资源方面仍然非常昂贵。”

相反，Chandrasekaran认为许多企业通过缩小规模来超越LLM。

“这些功能强大的模型肯定在企业的几个用例中占有一席之地，”他指出。“但我们会看到定价会定期优先考虑模型的大小，因为较小的模型更便宜，而且足以完成企业旨在部署它们的任务。”

Databricks的 Naveen Rao 对此表示赞同，并指出构建一个大型模型的成本可能高达 2 亿美元。根据 Rao 的说法，绝大多数成本不是在所需的计算能力上，而是在数据标记和数据管理上，这决定了模型的性能。

Rao创立了 Mosaic，旨在构建任何企业都更实惠、更易于使用的模型，他认为专业化是大多数人的前进方向。

“这真的是关于专业化与泛化，”Rao说。“较大的模型倾向于使用大量令牌或大量通用文本和功能进行训练。较小的模型是一个子集，倾向于专注于一件事。”

Rao说，在这里，开源可以帮助CIO们站稳脚跟。

“你可以从头开始，用自己的数据构建自己的模型，也可以采用现有的开源模型，根据自己的数据进行微调和定制，”他说。

Baldor Specialty Foods是一家旨在部署较小模型的组织，其首席信息和数字官认为这些模型可以针对没有偏见或错误的定制解决方案进行培训。

“我将使用较小的模型，因为有时[LLM] 会产生幻觉，”在 UPS 担任高级 IT 职位数十年的 Satyan Parameswaran 说。“你不想从事设计模型的工作。你可以从Hugging Face获得一个小模型，然后根据你的特定任务进行定制。

三、生成式 AI 的新方程式

如今，一些企业AI 供应商在 AI 市场中提供较小的模型，包括 C3.ai、Anaplan、Dataiku 和 Hugging Face。

至于Ikigai Labs，其自我描述的 LGM 为表格时间戳数据（例如电子表格）提供数据的概率表示，首席执行官 Shah 说。在训练模型时，它们会学习随机变量之间的关系、可能缺少的数据或两个电子表格之间哪些行看起来相似，从而促进新的见解。

“这意味着你现在可以开始将数据拼接在一起，”Shah说，并补充说，用户可以在电子表格中生成新的行，“如果你在进行预测时是时间性的，如果变量在两者之间开始变化，你正在检测变化点。你正在捕捉异常。

由此，用户将能够从多个维度的多个电子表格创建和生成数据。Shah说：“你使用大型图形模型对你的数据（而且仅是你的数据）进行模拟或合成持续时间，以便从数据中获得良好和有意义的学习。”

当然，成本将是决定这些模型定制程度的主要因素。目前，纯文本LLM 需要巨大的计算能力。随着大型芯片制造商甚至云提供商竞相开发能够提供更充足的计算能力供应的半导体，企业将继续试验并投入生产各种类型的大型和小型模型，这些模型将产生新的见解，使他们的业务更加高效和创新。

目前，许多企业正在通过实验接触LLM，随着效率的确认而进入生产。LLM 和 LGM 的使用仍处于起步阶段，但 MakeShift 的 McGuiness 等早期采用者正在看到回报。

他说：“我们希望（帮助我们的客户）在正确的时间用正确的技能以最佳方式安排人员。”当你对此进行预测时，你必须纳入工会协议，其中人们有资历，或者在不同地点之间移动，或者有不同的工会协议。这些规则都必须应用，[你必须考虑]倦怠、加班成本，所有这些事情都进入了模型。

McGuiness说，如果没有人工智能的帮助，这项任务所涉及的复杂性和提升是相当大的。但是，由于新的多模态模型和专注于特定任务的小型模型，它变得越来越容易。