基于多模态融合与大语言模型的数字结构化访谈

本发明涉及数据处理，特别涉及一种基于多模态融合与大语言模型的数字结构化访谈处理方法。背景技术：1、本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。2、结构化访谈是一种被广泛应用于心理评估、临床诊断以及市场研究中的访谈方法，它通过一系列预设的问题和规范的流程来收集被访谈对象的信息，以保证访谈的效率和信息的可比性。结构化访谈能够提供可靠、一致的数据，有助于研究者或心理咨询师做出准确的评估和诊断。然而，在传统的结构化访谈中，当前面临多个挑战。首先，合格的心理咨询师资源不足，难以满足广泛且多样化的需求；其次，访谈过程有时会面临被访谈对象情绪不稳定的风险，这不仅影响访谈的质量，也对被访谈对象的心理健康构成潜在威胁；此外，长期的心理访谈可能对咨询师自身的心理也产生不利影响，如同理疲劳或情绪耗竭等。3、大语言模型是近年来人工智能领域的一大突破，它利用大规模文本数据进行训练，能够理解和生成自然语言。通过复杂的算法和庞大的知识库，大语言模型可以进行语言理解、情绪分析、逻辑推理等高级任务，展现出令人瞩目的性能。这些能力使大语言模型成为许多应用领域的强大工具。4、然而，大语言模型本身不能直接获取到被访谈对象者的情绪状态，也难以通过微调使其达到专业心理咨询师的水平，这使得大语言模型本身不能直接替代心理咨询师进行服务。技术实现思路1、为了解决现有技术的不足，本发明提供了一种基于多模态融合与大语言模型的数字结构化访谈处理方法，通过整合多模态数据采集、特征提取和大语言模型分析，提出了一种能够进行深入、个性化和动态适应的访谈策略，实现了对心理评估更有效和更安全的支持。2、为了实现上述目的，本发明采用如下技术方案：3、第一方面，本发明提供了一种基于多模态融合与大语言模型的数字结构化访谈处理方法。4、一种基于多模态融合与大语言模型的数字结构化访谈处理方法，包括以下过程：5、在预设的提问范式下，获取被访谈对象的多模态数据；6、对多模态数据中的每种模态数据分别进行特征提取，将提取到的特征转换为低秩特征矩阵，将各个低秩特征矩阵拼接为一个高维特征矩阵，将高维特征矩阵进行奇异值分解，得到融合特征矩阵；7、对被访谈对象的回答音频进行文本转化并对转化后的文本进行预处理；8、将得到的融合特征矩阵与预处理后的文本描述进行空间嵌入，并生成提示词；9、根据提示词以及经访谈语料微调的大语言模型，生成新的提问范式，根据新的提问范式向被访谈对象提问并生成新的提示词，循环往复，直至访谈结束。10、作为本发明第一方面进一步的限定，所述多模态数据，包括：肢体动作、面部表情、面部血流、眼动、心率和脑电波中的两种或者两种以上。11、作为本发明第一方面进一步的限定，对多模态数据中的每种模态数据分别进行特征提取，将提取到的特征转换为低秩特征矩阵，将各个低秩特征矩阵拼接为一个高维特征矩阵，将高维特征矩阵进行奇异值分解，得到融合特征矩阵，包括：12、对多模态数据进行特征计算，在时间的尺度上形成多个特征矩阵；13、将各个特征矩阵通过奇异值分解进行降维，得到预设的提问范式刺激下不同特征随时刻变化的低秩特征矩阵；14、将各个降维后的低秩特征矩阵拼接为一个高维特征矩阵，再将高维特征矩阵进行奇异值分解，获得融合特征矩阵，以融合特征矩阵作为状态表征张量。15、作为本发明第一方面进一步的限定，对被访谈对象的回答音频进行文本转化并对转化后的文本进行预处理，包括：16、利用梅尔频率倒谱系数从回答音频中提取出有用特征，通过声学模型识别特征中的语音单位，通过语言模型理解语音单位中的语言结构和词汇约束，根据语言结构和词汇约束使用解码算法确定文字输出，对输出的文字进行去噪、语义分割、归一化和格式化，得到预处理后的文本。17、作为本发明第一方面进一步的限定，将得到的融合特征矩阵与预处理后的文本描述进行空间嵌入，并生成提示词，包括：18、以融合特征矩阵为被访谈对象的状态描述张量，将状态描述张量与预处理后的文本描述进行拼接，形成提示词。19、作为本发明第一方面更进一步的限定，将被访谈对象的状态描述张量与预处理后的文本描述送入对比学习模型中，获得提示词；其中，对比学习模型的训练，包括：20、预处理后的文本描述使用text transformer模型编码，状态描述张量使用multimodal transformer模型编码，将text transformer与multimodal transfomer编码后的输出进行余弦相似性运算，通过反向传播，最大化文本描述与表征张量对应的余弦相似性，最小化文本描述与表征张量不对应的余弦相似性，得到训练后的对比学习模型。21、作为本发明第一方面进一步的限定，根据提示词以及经访谈语料微调的大语言模型，生成新的提问范式，包括：22、根据心理咨询访谈图谱，获得实际心理访谈语料，采用参数微调的方式，通过访谈语料对大语言模型进行微调；23、将提示词输入至微调后的大语言模型，生成进一步的新的提问范式，以新的提问范式作为预设的提问范式进行提问并生成新的提示词，循环往复，直到完成全部访谈。24、第二方面，本发明提供了一种基于多模态融合与大语言模型的数字结构化访谈处理系统。25、一种基于多模态融合与大语言模型的数字结构化访谈处理系统，包括：26、数据获取模块，被配置为：在预设的提问范式下，获取被访谈对象的多模态数据；27、特征融合模块，被配置为：对多模态数据中的每种模态数据分别进行特征提取，将提取到的特征转换为低秩特征矩阵，将各个低秩特征矩阵拼接为一个高维特征矩阵，将高维特征矩阵进行奇异值分解，得到融合特征矩阵；28、语音处理模块，被配置为：对被访谈对象的回答音频进行文本转化并对转化后的文本进行预处理；29、提示词生成模块，被配置为：将得到的融合特征矩阵与预处理后的文本描述进行空间嵌入，并生成提示词；30、提问范式更新模块，被配置为：根据提示词以及经访谈语料微调的大语言模型，生成新的提问范式，根据新的提问范式向被访谈对象提问并生成新的提示词，循环往复，直至访谈结束。31、第三方面，本发明提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的基于多模态融合与大语言模型的数字结构化访谈处理方法中的步骤。32、第四方面，本发明提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的基于多模态融合与大语言模型的数字结构化访谈处理方法中的步骤。33、与现有技术相比，本发明的有益效果是：34、1、本发明创新性的提出了一种基于多模态融合与大语言模型的数字结构化访谈处理方法，通过整合多模态数据采集、特征提取和大语言模型分析，提出了一种能够进行深入、个性化和动态适应的访谈策略，实现了对心理评估更有效和更安全的支持。35、2、本发明使用多模态融合表征的方法，将被访谈对象相关生理特性与被访谈对象信息以低秩方式进行表征，并将其转换成大语言模型能够理解的语言，在访谈图谱的指导下，大语言模型可以不断生成新的个性化访谈范式，有效提高了被访谈对象的情绪和人格特质的识别精度，提高了访谈真实性。36、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。