数智空间｜VLM 赋能线下门店巡检：从技术落地到效率革新

当今 AI 浪潮下，如何将 AI 技术落地到实际场景成为业界关注的焦点。过去一年，我们在 AI 大模型和 Agentic AI 的落地应用方面进行了诸多尝试。「数智空间」作为我们线下空间场景的解决方案，已经部署了超过 30 万路设备，尤其在智能出行和消费电子行业积累了丰富的经验。而 VLM「视觉语言模型」的落地应用更是我们近期重点探索的方向。

VLM 在门店管理中的应用

VLM 在门店标准化管理场景中发挥着重要作用。门店的巡检任务与 VLM 的任务形式天然契合。传统上的 AI 检测依赖计算机视觉「CV」技术进行巡检，但这种方法存在局限性。传统 CV 模型需要结合多项小模型技术才能编排出结果，且无法将图像模态和语言模态连接在一起，导致其在场景中的泛化性不足。而 VLM 能够像人类一样理解场景，举个例子：无论是手持手机、看着手机还是将手机放在旁边，VLM 都能准确理解，从而提供更可靠的巡检结果。

大小模型的配合与优势

我们的客户常常会问，哪些任务适合用 VLM，哪些适合在边缘端处理。实际上，大部分任务都可以通过 VLM 完成，但在边缘端处理主要是出于成本和数据隐私的考虑。例如，高频或密度高的任务可能更适合在边缘端处理，而低频任务则更适合通过 VLM 进行远程处理。这种大小模型的配合可以实现高效的资源利用。小模型可以在边缘端进行初步筛选，节省流量和计算资源，而大模型则负责关键事件的泛化性判断。

大小模型的结合为客户带来了显著的好处。小模型负责初步筛选，节省网络带宽和流量，而大模型则负责提升最终的准确率。我们也做过一个案例：在接待台物品摆放的检测中，我们首先通过小模型定位接待台并筛选出无人遮挡的图片，然后通过大模型对物品摆放情况进行判断。这种结合不仅符合客户业务需求，还能快速交付结果。

VLM 的配置与优化

在实际应用中，VLM 可以配置在边缘端。我们目前有 2B 和 8B 的模型可供选择，并且在「数智空间」中已经配置了许多现成可用的场景。例如，检测地面上是否有物品或员工是否在岗等任务都可以通过 VLM 实现。配置过程也很简单，只需在摄像头画面中选择需要检测的任务，设置频率、频次以及检测时间和区域即可。对于 VLM，用户还可以修改 prompt「提示词」来使检测效果更精准，系统中也有预置的 prompt 可供选择。

微调与快速迭代

我们还可以通过微调开源大模型来满足企业特定领域的需求。当闭源商用大模型无法达到理想效果时，我们可以通过积累大量用例，经过人工标注纠偏后对大模型进行微调，从而实现更好的效果。例如，在某个大型消费电子企业的案例中，我们通过大小模型结合的方式，解决了摆放整齐等空间感知任务，这些任务对尺度要求极高，开源大模型难以胜任。通过在小尺度下采集更多数据进行训练，最终达到了良好的可用性。

高效交付与客户体验

在模型调整周期方面，我们通常以月为单位进行快速迭代。客户可以清楚地看到模型准确率的提升过程，而不是面对一个黑盒。一般来说，为了达到 95% 的准确率，我们会通过 prompt 解决大部分任务，而对于那些准确率在 70% 到 80% 之间且难以提升的任务，则需要通过微调来优化。微调所需的样本量远小于传统 CV 模型训练所需的上万张图片，可能几百张图片就足够了。客户可以直观感受到模型从 60% 到 95% 准确率的快速提升。

智能事件检测

结语

VLM 技术改变了门店巡检方式，大小模型配合节省资源、提升效果，周期短且透明，为线下门店管理带来高效便捷的新方式。

展望未来，我们将持续探索 VLM 与多模态技术的融合创新，针对不同行业的个性化需求，优化大小模型协同策略。同时，也将加强对边缘端算力的优化，在保障数据安全与隐私的前提下，进一步提升巡检效率与准确率，为更多线下门店打造智能化、精细化的管理解决方案。