面向 AGI 未来的 PB 级矢量存储

您偶然发现了一个有趣的 YouTube 视频，该视频指导您创建自己的聊天机器人。在 Visual Studio 中进行一小时的实验后，您有一个很棒的小项目可以向您的同事展示。

然而，当你的老板要求在整个公司实施人工智能时，你会意识到这种概念验证仅适用于笔记本电脑；这对于生产来说不实用。

在这种人工智能技术的转变中，只有一小部分公司利用生成式人工智能进行了大规模的开发。笔记本电脑 POC 可以达到千兆字节规模矢量商店。

但这种情况很快就会发生变化，当这种情况发生时，我和 DataStax 以及 Apache Cassandra® 项目的同事已经开始着手使用经过验证的技术来突破单个数据中心内 1 GB 向量数据的界限。

为此，今天，我们宣布全面推出具有矢量搜索功能的 DataStax Astra DB 。我们正在构建一个以自主代理为特色的生成式人工智能的未来。这些人工智能代理将需要大量快速访问内存来进行上下文回忆。你猜怎么着？

矢量存储将是满足这种对内存的贪婪渴望的关键。

更多数据无处不在

我们使用的矢量数据越多，规模将不可避免地成为限制因素就越明显。但这才是 Cassandra 真正闪光的地方。我们对矢量存储达到 PB 的说法充满信心，因为它是基于 Cassandra 构建的。

是的，我们的用户已经在运行 PB 级集群的 Cassandra。在过去的 12 年里，我们作为一个开源项目，一直在为世界上最大的事务数据工作负载构建和优化系统。

存储和搜索向量只是一项已经令人难以置信的技术的又一个功能。

作为奖励，使用 Cassandra 作为向量存储的最显着的优势之一是其内置的复制机制。这允许全局主动-主动复制，这意味着您的数据可以在多个位置存在并实时更新。在大数据时代，这对许多组织来说是一种超级力量。

在生成式人工智能时代，当智能体在全球范围内独立行动时，这将是一个生存问题。在任何需要的地方进行一致的数据存储，并具有使其大规模经济实惠所需的弹性。

我们真的需要这个吗？

现在，您可能会问：“谁真正需要可以存储 PB 的矢量存储？”如果历史告诉我们什么的话，那就是对数据存储容量的需求增长速度比任何人预期的都要快得多。

使用向量已迅速成为将企业数据纳入基础模型的主要方式。尽管微调理论上可能会达到相同的结果，但许多企业发现合并向量具有显着的优势。

它提供数据来源，这在医疗保健和法律等受监管领域尤为重要，并有助于避免模型调整的复杂性。

检索增强生成（抹布）和较新的前瞻性主动检索增强生成（耀斑）是令人印象深刻的解决方案，可以减少大语言模型幻觉的问题，同时使用最动态和最新的信息。

如果您正在寻找最佳结果，将法学硕士与矢量搜索相结合是您的最佳选择。

法学硕士的改进并没有减少对载体的需求。由于法学硕士对计算、网络和存储资源的消耗，法学硕士正在成为基础设施支出的领导者。他们将放弃被一些人称为“千万亿级成本”基础设施的当前领导者：企业数据湖。

然而，将法学硕士与矢量搜索相结合可以以合理的成本提供最佳的性能和质量。

根据我们需要嵌入的各种内容，我们需要 PB 大小的向量存储只是时间问题。相似性搜索有效性的关键因素是所使用的嵌入算法的质量以及高效的存储和检索。

并不是说系统在数据太多之前就是高效的。系统的效率应该远远超出您用完数据所提供的范围。

人工智能大脑没有痛苦

ChatGPT 吸引了所有人的注意力，并引发了大量的“假设”猜测，但最终，它是一款展示了新型数据架构的产品。法学硕士将继续进步，但你利用法学硕士所做的事情才能创造价值。

对此领域充满期待的专家们真正的革命将分为两部分：

1. 通用人工智能（AGI）

   
   

2. 分布式自主人工智能代理

其中任何一种都会造成巨大的资源压力，加起来可能会给遇到限制的组织带来很多麻烦。智能体与人类相似：他们知道的越多，就能做出更好的决策。

如果您有一个简单的航班预订代理，请考虑需要立即回忆的所有相关事项。不仅是时间表和天气条件等因素的变化，还有预订多次航班后获得的经验。等等——经验？

人类旅行社在处理混沌系统方面拥有丰富的经验，而这种经验可以归结为一件事：记忆。当人工智能代理深入了解其任务时，它们将变得更有价值，并且这些记忆将作为嵌入存储。

我们不希望我们的特工遭遇电影中同样的问题纪念，所以我们甚至不要从限制开始。

今天开始明天

那么，我的建议是？现在就开始考虑人工智能代理以及如何扩展它们。不要等到明天、下周，或者遇到不可避免的障碍时才行动。现在就为成功做好准备。

规划增长和可扩展性。不要让自己陷入稍后被迫进行大规模迁移的境地。我参与过一些大型数据迁移项目，这些项目总是以“嗯，我们认为我们不需要更大的规模”开始。

Cassandra 是开源且免费使用的。如果您不想费力地运行大型集群， DataStax Astra 数据库只需单击几下即可启动并运行，并且会自动缩放到您想要的高度。

对于那些关注趋势线并试图计划下一步行动的人来说，人工智能代理是您需要考虑的。人工智能的未来是广阔的、令人兴奋的。但为了做好准备，我们今天就需要做好准备。

了解类似框架浪链和骆驼指数并使用卡西欧访问基于健壮可靠的 Cassandra 构建的 PB 级矢量存储。今天就开始吧，不要为以后的迁移做好准备。

让我们一起开创人工智能的未来，一次 PB 级矢量存储。

作者：Patrick McFadin，DataStax