生成式人工智能的真正代价是什么？

长话短说

• 对于基于微调的开源模型的定制生成式 AI 解决方案，在企业中实施生成式 AI 的成本从每月几百美元到 190,000 美元（并且还在不断增加）不等。
• 这种生成式 AI 成本差异是由多种因素驱动的，包括您希望增强的任务、最适合这些任务的模型以及所选的实施方法。
• 为了优化相关费用，您需要仔细考虑您的项目要求，评估本地和云基础设施费用，并在雇用内部人工智能人才和将项目外包给第三方之间进行选择

我们已经告诉您生成式人工智能 (Gen AI) 与传统人工智能相比如何，以及该技术的优缺点。 ITRex 生成式 AI 咨询团队还深入研究了 Gen AI 在多个行业的用例，包括医疗保健、零售和供应链。

此外，我们还评估了构建人工智能系统、基础设施等的成本，并重点关注了机器学习 (ML) 成本，计算了与准备训练数据、微调模型和部署 ML 支持的解决方案相关的费用。

现在，是时候解读在商业中实施生成式人工智能的成本了。

这种分析可能具有挑战性，因为我们还不知道您项目的具体细节。

然而，我们可以利用我们的生成式人工智能咨询专业知识来探索 Gen AI 服务的定价，并列举 Gen AI 项目成本背后的关键因素。这样，我们将为您提供做出明智决策的知识，在这个快速发展的技术环境中可能为您的企业节省大量时间和资源。

感兴趣的？那么让我们开始吧！

模型的选择和实现方式是影响生成式AI成本的关键因素

在考虑将生成式人工智能纳入公司的技术堆栈时，考虑以下因素至关重要：

• 您将利用生成式人工智能来增强哪些业务任务？
• 什么模型足以完成这些任务？

生成式人工智能解决方案的核心在于基础模型，即基于大量数据训练的大型模型。从本质上讲，基础模型是创建定制 Gen AI 解决方案、简化开发流程和降低生成 AI 成本的基础。他们的功能通常包括自然语言处理 (NLP)、计算机视觉 (CV) 和内容生成。

基础模型的认知能力很大程度上取决于它们接受训练的参数数量。在这种情况下，参数是指从训练数据中学习的模型元素，例如神经网络中的权重。这些参数帮助模型做出决策和预测。下表说明了参数数量（本质上是这些决策元素的数量）与模型认知能力之间的相关性。

然而，参数的数量并不是影响基础模型能力的唯一因素。训练数据的质量和多样性同样重要。训练数据是输入到模型中进行学习的信息，包含帮助模型理解和解释新数据的各种示例。此外，模型的架构（即参数和数据如何交互的结构设计）以及学习算法的效率（决定模型从数据中学习的效率）发挥着关键作用。因此，在某些任务中，参数较少但训练数据更好或更高效架构的模型可以胜过更大的模型。

贵公司如何选择既有效又满足您对生成人工智能成本的期望的基础模型？

所有现有的生成式人工智能模型可以大致分为两类：

• 闭源模型由大型科技公司开发，例如 Google、Meta、Microsoft 和 OpenAI。它们的源代码、架构和应用程序编程接口（API）可以完全专有，也可以提供给第三方（通常是收费的，这本质上是生成人工智能解决方案的成本）。在某些情况下，您可以使用数据微调闭源模型的性能。出于本文的目的，我们将闭源模型称为商用生成人工智能解决方案。此类模型的主要优点是它们带有云基础设施，并且完全由原始开发人员维护。
• 开源模型有源代码、训练技术，有时甚至还有可供公众使用和修改的训练数据。您的公司可以“按原样”使用此类模型，或者根据您自己的数据重新训练它们，以实现更好的准确性和性能。但是，您必须设置本地或云基础设施才能运行模型。因此，此类生成式 AI 模型的成本将包括计算成本，如果您选择增强 Gen AI 解决方案，还包括与模型训练相关的费用。

查看下表，快速了解闭源和开源模型的特征。

我们来总结一下。

如果您的公司正在考虑实施生成式人工智能，有四种主要方法可以实现：

1. 使用闭源模型，无需定制。生成式 AI 先驱可以使用 API 将 OpenAI 的 ChatGPT、Google Bard、Claude 和 Synthesia 等现成产品与其应用程序集成。集成过程相当简单，生成式人工智能定价也是如此（稍后会详细介绍）。商用产品经常更新，并为人工智能开发人员提供丰富的文档。不足之处？您的定制选项将受到限制，并且您将严重依赖外部公司来完成重要的业务任务，例如处理客户支持查询或生成视觉内容。
2. 根据您的公司数据重新训练商用解决方案。在这种情况下，您的内部 AI 团队将选择由特定供应商（例如 OpenAI）开发的现有生成式 AI 产品，并使用您自己的数据对其进行微调。定制的Gen AI解决方案将更好地理解用户问题并给出更准确的答案。然而，供应商仍然会收取少量的运行查询费用，因此最终的生成人工智能成本将包括运营和定制费用。
3. “按原样”使用开源基础模型。夸张地说，您的公司可以选择 RoBERTa、GPT-2、GPT-Neo 或任何其他开源模型，并将其应用于业务任务，例如回复客户电子邮件，而无需进一步培训。然而，生成式人工智能的成本将由模型消耗的计算资源决定。此外，当面对不熟悉的数据和任务时，您的 Gen AI 解决方案可能会表现不佳。
4. 根据您的数据重新训练开源模型。在这种情况下，您需要获取并准备用于 Gen AI 模型训练的特定数据，为模型训练和操作提供本地或云服务器，并随着任务的发展不断微调和更新模型。虽然这种定制方法保证了卓越的模型性能，但它也带来了更高的生成人工智能成本。

现在您已经了解了实施选项，让我们重点关注这些选项所带来的生成式 AI 成本。

基于落地场景洞察人工智能生成定价

商用 Gen AI 工具的成本

促进文本处理和生成的现成服务通常根据输入或输出文本中的字符或标记（即文本的基本单位，其范围可以从标点符号到单词和其他语法元素）的数量向企业收费。

这在实践中是如何运作的：

1. 基于字符的计费。一些解决方案，例如由 Google Vertex AI 驱动的 Gen AI 工具，根据输入和输出文本中的字符数向用户计费。他们将每个字母、数字、空格和标点符号都算作一个字符。例如，Vertex 支持的 PaLM 2 for Text 模型的生成 AI 定价为输入和输出文本每 1,000 个字符 0.0005 美元起（单独计费）。

2. 基于令牌的计费。更先进的 Gen AI 工具倾向于将文本分解为标记而不是字符。根据模型的训练和处理方法，标记可以是标点符号、单词或单词的一部分。例如，OpenAI 将令牌定义为一组大约四个字符。一个简单的句子，比如“汤姆给吉尔带来了花”。因此，将由八个标记组成，因为单词“brought”和“flowers”稍微超出了四个字符的阈值。当谈到此类生成式人工智能解决方案的成本时，它在很大程度上取决于您选择的语言模型。 OpenAI 的 GPT-4 Turbo 是市场上最复杂的工具之一，输入文本每 1,000 个令牌收费 0.01 美元，输出文本每 1,000 个令牌收费 0.03 美元。对于 GPT-3.5 Turbo（其旧版本），价格明显较低，范围从输入文本每 1,000 个标记 0.001 美元到输出文本每 1,000 个标记 0.002 美元。

   应该注意的是，不同的生成人工智能提供商对字符和令牌有不同的概念。要选择最具成本效益的选项，您应该研究他们的文档和计划，并考虑哪种产品最适合您独特的业务需求。例如，如果您的任务围绕文本生成而不是分析，那么输出率较低的生成式 AI 服务将更合适。

与此同时，用于视觉内容创建的 Gen AI 服务往往会根据生成的图像向用户收费，费用与图像大小和质量相关。由 DALL·E 3 生成的一张标准质量的 1024 x 1024 像素图像将花费您 0.04 美元。对于较大的图像（1024×1792 像素）以及高清图像，每张的价格将高达 0.08-0.12 美元。

并且不要忘记交钥匙 Gen AI 平台，例如 Synthesia.io，它采用更传统的定价方法。如果您的营销团队希望加快视频创建过程，您可以尝试该工具，每年只需 804 美元。

定制商用Gen AI产品的成本

从上一节可以看出，大多数现成的Gen AI产品都采用按需付费的变现策略。

虽然他们的定价模型乍一看相当简单，但预测您的员工将运行多少查询可能具有挑战性，特别是当您试图探索不同部门的多个生成式 AI 用例时。

这给 Gen AI 工具的定价和总拥有成本带来了混乱，就像云计算的早期一样。

使用商业 Gen AI 解决方案的另一个缺点是像 ChatGPT 这样的通用产品缺乏上下文知识，例如对公司结构、产品和服务的熟悉程度。这使得即使您掌握了即时工程，也很难通过人工智能功能来增强客户支持和报告生成等操作。

麦肯锡高级合伙人埃里克·拉马尔 (Eric Lamarre) 表示，为了解决这个问题，组织“需要创建一个可供模型使用的数据环境”。换句话说，您必须根据公司数据以及通过 API 从外部来源提取的信息重新训练商用 Gen AI 工具。

有两种方法可以实现这一目标，并且有几个因素会影响每种情况下生成式人工智能的成本：

• 使用具有生成式 AI 功能的软件即服务 (SaaS) 平台。许多著名的 SaaS 供应商，包括 SAP、TIBCO Spotfire 和 Salesforce，正在推出可以使用客户数据进行微调的生成式 AI 服务。例如，Salesforce 推出了 Einstein Copilot，这是一款对话式人工智能助手，可以从 Salesforce 数据云中提取专有数据，以针对客户问题制定个性化响应。智能助手使用的信息包括 Slack 对话、遥测、企业内容以及其他结构化和非结构化数据。 Salesforce 客户还可以使用 Einstein Copilot Studio 的无代码提示生成器和模型生成器创建自定义 AI 模型、技能和提示。截至目前，后者支持 OpenAI 的大语言模型 (LLM) ，但计划将该产品与其他第三方解决方案集成，包括 Amazon Bedrock 和 Vertex AI。由于 Einstein Copilot 仍处于试点阶段（无双关语），生成式 AI 定价信息尚未公布。然而，生成式 AI 销售 GPT 助手的成本（目前每个用户每月总计 50 美元）可以让您大致了解预期的结果。
• 通过 API 将您的企业软件与 Gen AI 解决方案集成，并根据您的数据重新训练模型。为了降低生成式 AI 实施的成本，您可以消除中间 SaaS 工具，将您的应用程序直接与 API 级别的商业 Gen AI 解决方案合并。例如，如果您希望通过 Gen AI 功能增强您的客户支持聊天机器人，您可以使用 OpenAI API 将其与 OpenAI 的模型之一（例如 GPT-3.5 或 GPT-4）同步。接下来，您需要准备用于机器学习的数据，将数据上传到 OpenAI，并使用 OpenAI CLI 工具和 Open AI Python 库管理微调过程。在微调模型时，每 1,000 个代币将向您收取 0,008 美元的费用 (GPT-3.5)。一旦您的模型投入生产，输入和输出率将分别为每 1,000 个代币 0,003 美元和每千个代币 0,006 美元。如果您选择将数据托管在 OpenAI 服务器上，生成式 AI 的总体成本还包括存储成本。数据存储费用可能会在最终估算的基础上每天每 1GB 数据增加 0.2 美元。并且不要忘记数据准备和模型微调工作。除非您的 IT 部门具备所需的技能，否则您必须与可靠的人工智能开发服务公司合作。

“按原样”使用开源 Gen AI 模型的成本

免责声明：我们并不是建议您从头开始构建一个类似于 ChatGPT 的自定义基础模型，这种冒险最好留给那些拥有大量支持的人，例如 OpenAI 来自微软的支持，以抵消其 5.4 亿美元的损失。

即使是更基本的基础模型，例如 GPT-3，初始培训和部署成本也可能超过 400 万美元。此外，近年来这些基础模型的复杂性以惊人的速度猛增。

训练大型人工智能模型所需的计算资源量每 3.5 个月就会增加一倍。基础模型的复杂性也在发生变化。例如，2016 年，Bert-Large 接受了 3.4 亿个参数的训练。相比之下，OpenAI 的 GPT-3 模型使用了大约 1750 亿个参数进行训练。

好消息是基础模型已经存在，这使得企业可以相对容易地开始尝试它们，同时优化生成式人工智能实施成本。

从本质上讲，我们可以将基础模型视为人工智能软件工程师的工具包，因为它们提供了解决复杂问题的起点，同时仍然留有定制空间。

我们可以将现有的基础模型大致分为三类：

• 语言模型旨在处理文本翻译、生成和问答任务
• 计算机视觉模型擅长图像分类、物体检测和面部识别
• 第三类是生成式人工智能模型，它创建类似于模型消耗的数据的内容。该内容可能包括新图像、模拟，或者在某些情况下还包括文本信息。

一旦您选择了最适合您需求的开源模型，您就可以使用 API 将其与您的软件集成，并利用您自己的服务器基础设施。

这种方法涉及以下人工智能生成成本：

1. 硬件成本。运行人工智能模型，尤其是大型模型，需要大量的计算资源。如果您的公司缺乏合适的硬件，您可能需要投资强大的 GPU 或 CPU，这可能会很昂贵。如果您的模型相对较小，则 NVIDIA RTX 3080 或类似产品等高端 GPU 就足够了。这种 GPU 的成本从 700 美元到 1,500 美元不等。对于 GPT-2 或类似的大型模型，您需要多个高端 GPU 甚至专门的 AI 加速器。例如，单个 NVIDIA A100 GPU 的成本可能在 10,000 美元到 20,000 美元之间。因此，具有多个 GPU 的设置成本可能在 30,000 美元到 50,000 美元之间。
2. 云计算成本。作为购买硬件的替代方案，您可以从 Amazon Web Services (AWS)、Google Cloud Platform (GCP) 或 Microsoft Azure 等提供商处租用云计算资源。这些服务根据使用情况收费，因此成本将取决于您在计算时间和存储方面使用其资源的程度。例如，AWS 上的 GPU 实例（如 P3 或 P4）的成本可能为每小时 3 美元到 24 美元不等，具体取决于实例类型。
3. 电力和维护。如果您使用自己的硬件，则会产生运行机器的电力成本以及可能的额外冷却系统。硬件的维护成本也会增加。
4. 集成和部署。将人工智能模型集成到现有系统中并进行部署（尤其是在生产环境中）可能需要额外的软件开发工作，这可能会产生劳动力成本。将人工智能开发外包给软件开发公司的成本可能从每小时 50 美元到 200 美元不等，总费用从几千美元到数万美元不等。
5. 数据存储和管理。存储和管理模型使用的数据可能成本高昂，尤其是在处理大型数据集或使用云存储解决方案时。对于现场安装，存储生成式 AI 数据的成本可能从 1,000 美元到 10,000 美元不等，具体取决于训练数据集的大小和冗余需求。基于云的数据存储解决方案（例如 AWS S3）的收费从每月每 GB 0.021 美元到 0.023 美元不等，此外还有额外的运营和数据传输成本。

最终，您的公司“按原样”采用生成式人工智能基础模型并将其部署在您自己的基础设施上需要花费多少成本？

对于打算在本地使用 GPT-2 等中等规模模型的中型企业，相关的生成式 AI 成本可能包括：

• 硬件：20,000 美元–50,000 美元（用于几个高端 GPU 或基本的多 GPU 设置）
• 电力和维护：每年约 2,000–5,000 美元
• 集成和部署：10,000 美元–30,000 美元（假设集成复杂性适中）
• 数据存储和管理：$5,000–$15,000（根据数据大小而变化）

设置和运营生成式人工智能解决方案的总成本包括以下内容：

• 初始部署费用：大约 37,000 美元到 100,000 美元（硬件 + 初始集成和存储设置）
• 经常性费用：7,000 美元至 20,000 美元（包括电力、维护、持续集成和数据管理成本）

这些大致估计可能会根据具体要求、位置和市场条件而有很大差异。最好咨询专业人士以获得更个性化和准确的估计。此外，最好检查硬件和云服务的当前市场价格，以获取最新价格。

使用您的数据重新训练开源 Gen AI 解决方案的成本

如果您的公司正在考虑调整开源基础模型，那么重要的是要考虑可能影响实施生成式人工智能成本的因素。

这些因素包括：

1. 型号尺寸。较大的模型（例如 GPT-3）需要更多资源来进行微调和部署。因此，生成式人工智能的成本随着模型的规模和复杂性而增加。与此同时，GPT-2、XLNet 和 StyleGAN2 等更简单的开源基础模型无法生成具有相同水平的连贯性和相关性的内容。
2. 计算资源。使用公司的数据重新训练基础模型需要大量的计算能力。因此，生成式人工智能解决方案的成本取决于您是使用自己的硬件还是云服务，后者的价格根据云提供商和您的运营规模而有所不同。如果您选择更简单的模型并将其部署在本地，则预计需要花费 10,000-30,000 美元的 GPU 成本来微调生成式 AI 解决方案。对于云计算，费用可能在每小时 1 美元到 10 美元之间，具体取决于实例类型。类似 GPT-3 的开源模型需要更先进的 GPU 设置，价格高达 50,000 美元至 100,000 美元。对于高端 GPU 实例，相关的云计算费用可能为每小时 10 美元到 24 美元不等。
3. 资料准备。收集、清理和准备数据以微调基础模型的过程可能会占用大量资源。因此，生成式人工智能的实施成本将包括与数据存储、处理以及可能购买训练数据集（如果您的公司缺乏自己的数据或出于安全和隐私原因无法使用这些数据）相关的费用。
4. 开发时间和专业知识。人工智能人才并不便宜。一名美国内部人工智能工程师每年将花费您的公司 70,000 至 200,000 美元，再加上招聘、工资、社会保障和其他管理费用。您可以通过与具有人工智能开发专业知识的离岸软件工程公司合作来降低生成人工智能成本。根据地点的不同，此类公司对中欧和拉丁美洲等关键外包地点的高级开发人才的小时费率从 62 美元到 95 美元不等。
5. 维修费用。您将全权负责模型的维护、更新和故障排除，这需要持续的努力和机器学习工程和运营 (MLOps) 专业知识。

考虑到上述因素，基于现成的基础模型创建定制的生成式人工智能解决方案的实际成本是多少？

对于希望微调 GPT-2 这样的中等规模模型的中型企业来说，相关的生成式 AI 实施成本可能包括：

• 硬件：20,000 美元–30,000 美元（中等 GPU 设置）
• 开发：假设混合了内部和外包人才的开发时间为六个月：
  • 内部：$35,000–$100,000（半年工资）
  • 外包：20,000 美元–40,000 美元（假设 400 小时，平均费率为 75 美元/小时）
• 数据准备：5,000 美元–20,000 美元（根据数据大小和复杂性而变化）
• 维护：每年 5,000 美元–15,000 美元（持续开支）

设置和运营生成式人工智能解决方案的总成本包括以下内容：

• 初始部署费用：约 80,000 美元至 190,000 美元（包括硬件、开发和数据准备成本）
• 经常性费用：5,000 美元至 15,000 美元（维护和持续费用）

实际的 Gen AI 开发和实施成本可能会根据具体项目要求、培训数据和内部 AI 人才的可用性以及外包合作伙伴的位置而有所不同。为了获得最准确和最新的定价，建议直接咨询专业人士或服务提供商。

虽然生成式 AI 系统的 190,000 美元似乎昂贵得不合理，但使用开源基础模型构建生成式 AI 解决方案的成本可能低于选择商用工具。

在 ChatGPT 引起关注之前，负责开发基于 AI 的冒险游戏 AI Dungeon 的先锋初创公司 Latitude 一直在利用 OpenAI 的 GPT 模型进行文本生成。

随着用户群的增长，OpenAI 的账单和亚马逊基础设施费用也在增长。在某个时候，该公司每月支付 200,000 美元的相关成本来处理不断增加的用户查询数量。

在改用新的生成式人工智能提供商后，该公司将运营成本降低至每月 10 万美元，并调整了其盈利策略，引入了先进人工智能功能的每月订阅。

因此，为了在优化生成式人工智能定价的同时选择正确的实施方法，事先彻底分析您的项目需求非常重要。这就是为什么我们总是鼓励客户从发现阶段开始他们的人工智能开发计划。

在商业中实施 Gen AI 时需要考虑的事项

现在您已经了解了生成式人工智能在成本方面的期望，现在是时候谈谈该技术的实施陷阱和注意事项了：

• 基础模型，尤其是大型语言模型，可能会产生幻觉，对用户问题产生看似合法但完全错误的答案。您的公司可以通过改进训练数据、尝试不同的模型架构以及引入有效的用户反馈循环来避免这种情况。
• Gen AI 解决方案使用大量很快就会过时的数据进行训练。因此，您必须定期重新训练模型，这会增加生成式 AI 实施的成本。
• 根据特定数据（例如电子健康记录 (EHR) 条目）训练的基础模型可能难以在其直接专业知识之外生成有效内容。另一方面，通用模型难以应对特定领域的用户查询。解决这个问题的一些方法包括创建混合模型、利用迁移学习技术以及通过用户反馈微调模型。
• Gen AI 解决方案本质上是黑匣子，这意味着很少清楚它们为什么会产生某些结果以及如何评估其准确性。这种缺乏理解可能会阻止开发人员调整模型。通过在生成式 AI 模型训练过程中遵循可解释的 AI 原则，例如引入模型可解释性技术、注意力机制和审计跟踪，您可以深入了解模型的决策过程并优化其性能。

此外，在开始实施生成式人工智能之前，您的公司需要回答几个问题：

• 是否有可靠的购买与构建策略来验证您的公司仅在功能中采用生成式人工智能，该技术将成为差异化因素，同时防止供应商锁定？这一战略应该通过变革管理和人工智能扩展的详细路线图来增强，并在需要时重新设计整个业务流程。
• 您的内部 IT 部门是否拥有足够的 MLOps 技能来测试、微调和维护复杂 ML 模型及其训练数据的质量？如果没有，您是否已经选择了一家可靠的人工智能开发公司来处理这些任务？
• 您在云端和边缘是否拥有大量计算资源？此外，评估 IT 基础设施的可扩展性以及跨不同任务、流程和单元重用 Gen AI 模型的可能性也很重要。
• 您的公司或您的 AI 开发合作伙伴是否有能力通过概念验证 (PoC)测试 Gen AI 的可行性，并在受控沙箱环境之外扩展您的实验？
• 最后但并非最不重要的一点是，您的组织是否拥有有效的隐私和安全机制来保护敏感信息并确保遵守行业和地区特定的法规？

制定深思熟虑的实施计划不仅可以帮助您无风险地采用该技术并更快地获得收益，还可以降低生成式人工智能的成本。

利用我们的生成式 AI 咨询服务，了解 Gen AI 是否可以帮助您改进业务流程、选择正确的 Gen AI 实施方法并优化生成式 AI 成本。写信给我们，让一切顺利进行！

也发布在这里。