文献类型：期刊文献

中文题名：影像档案多模态检索模型框架构建

作者：江槟伊[1];房小可[1]

第一作者：江槟伊

机构：[1]北京联合大学应用文理学院

第一机构：北京联合大学应用文理学院

年份：2023

期号：7

起止页码：29-31

中文期刊名：北京档案

外文期刊名：Beijing Archives

收录：北大核心:【北大核心2020】；

基金：北京市属高等学校优秀青年人才培育计划项目“多源数据驱动的北京公共数字文化智慧服务研究”(项目编号:BPHR202203216)的研究成果之一。

语种：中文

中文关键词：影像档案;多模态;检索模型

摘要：数字化转型为影像档案的管理提供了机遇和挑战。针对当前影像档案检索存在的问题,该文以影像档案内容检索为研究对象,在向量管理技术基础上构建影像档案的多模态检索模型框架。在所构建的框架中,将影像档案分解为声音、文本和图像三种模态,分别形成三类模态向量子空间,之后构建不同向量模型之间的对应关系形成总空间向量,进而通过计算查询数据与总空间向量的相似性,并通过多模态匹配得到更精准的影像档案片段。最后,该文以单个视频的识别过程为例,做“文本-影像”双模态的模拟实验,以验证实现影像档案多模态检索的可行性。