在装备编目工作中,原始数据主要来源于技术文档内的关键信息,如常见的技术手册、维护规程、使用说明等,这类文档大多以非结构化的PDF格式文本呈现,包含大量专业术语,语义结构复杂,给传统的信息抽取方法带来显著挑战。现有解决方案普遍依赖大量标注数据,并且需要进行复杂的模型调整工作[1],以基于BiLSTM-CRF的模型为例,其在处理长文本过程中,极易忽略跨段落之间的语义关联;而像BERT这类模型,即便在语义理解能力方面有所提升,但仍需要针对装备领域的专业术语进行针对性优化。近年来,随着DeepSeek大语言模型取得技术突破,为该领域带来了全新的解决思路。DeepSeek 模型借助指令微调与提示工程,能够依据任务描述直接生成结构化结果,极大地降低了领域适配的难度[2]。目前相关研究主要涵盖两个方向:其一为少样本学习,通过添加示例的方式引导模型理解任务模式,然而该方式受限于上下文长度的制约;其二是零样本学习,仅凭借任务描述来激活模型的预训练知识,在资源有限的场景中,这种方式展现出更强的实用性[2-3]。
有鉴于此,本文构建了一种基于DeepSeek大语言模型的零样本信息抽取框架,通过设计领域适配的提示模板,结合DeepSeek的预训练知识库,直接驱动模型完成装备属性(如基础属性、技术参数、性能指标)的精准抽取,避免了对大规模标注数据的依赖。本文研究构建了涵盖装备技术手册、维护规程、验收标准文档等多源数据的实验数据集,并系统验证了不同量级模型(DeepSeek-7B/32B/67B)的抽取性能[4]。
1 总体研究框架
(1)数据集构建:筛选装备文档,并对选取的文档进行数据预处理,建立符合模型输入规范的实验数据集,构建装备信息抽取框架,明确目标属性字段,为后续提示模板的设计提供数据基础。
(2)提示模板设计:基于装备实体的属性特征及目标需求确定提示要素,确保提示模板与任务需求高度匹配。
(3)实验:用不同参数量级版本(7B/32B/67B)的DeepSeek进行比对实验验证。
(4)结果分析:比对在不同的参数下,DeepSeek模型对文本中装备属性抽取准确率的影响,评估和解析不同量级版本的差异性和可能的影响因素[5]。
2 数据集构建
2.1 数据筛选
以装备领域为例,我们选取装备技术手册、维护规程、验收标准文档等作为基础数据,优先选择国际/国家标准化文件(如GJB、MIL-STD),同时收集装备全寿命周期文档(研发、测试、运维阶段)作为原始数据。筛选标准为:
(1)包含完整的参数表格与技术指标附录。
(2)文档需明确标注参数属性(量纲、公差范围、测试条件)。
(3)排除含加密图纸或三维模型的文件。
(4)涵盖不同复杂度层级(组件级——模块级——系统级)。
此外,还需考虑装备信息的结构差异性、信息数量和条目数。
2.2 数据预处理
首先,我们将文本进行分块,按照“技术参数”“性能指标”“维护要求”等进行切割;其次进行格式清洗,在数据清洗的过程中,去除噪声、删除与文本分析任务无关的信息,并对缺失值进行处理,即对缺失或不完整的数据,可以选择填充(如使用特定标记、平均值或算法预测的值)或删除,同时,发现并纠正拼写错误、语法错误或其他文本错误;最后,检查文本长度。对于长度超出最大token数,需要压缩重复性测试流程的描述,剔除与文本不相关的语句,保留关键参数信息[5]。
2.3 装备信息抽取框架
为保障非结构化信息抽取的准确性与一致性,本文制定装备信息抽取框架定义,如表1所示,涵盖实体类型、关系定义、属性格式及标注流程。
表1 装备信息抽取框架定义表Tab.1 Equipment information extraction framework definition table |
| 属性大类 | 属性名称 | 标注格式 | 同义词/示例 | 约束条件 |
|---|---|---|---|---|
| 使命任务 | 文本描述(限50字内) | 作战用途、任务目标 | 必填,需引用GJB术语库 | |
| 基础属性 | 装备分类 | 多级枚举(如:导弹/反舰导弹/岸舰导弹) | 类别、型号分类 | 按GJB 6388-2023标准分类 |
| 生产单位 | 机构名称+国标代码(如:XX军工集团,GB 12345-2025) | 制造商、研制单位 | 需关联机构知识库实体 | |
| 技术参数 | 发射方式 | 枚举(垂直发射、倾斜发射、空射) | 发射模式、部署方式 | 必填 |
| 平台 | 枚举(舰载、车载、机载) | 搭载平台 | 允许多选(如“舰载/机载”) | |
| 尺寸 (弹长/弹径/翼展) | 数值+单位(弹长:6.5 m;弹径:0.5 m;翼展:2.1 m) | 长度、直径、翼展 | 需标注测量条件(如“折叠状态翼展”) | |
| 性能指标 | 最大射程 | 数值+单位(≥550 km) | 有效射程、作战半径 | 需注明测试条件(如RCS=5 m2) |
| 最小射程 | 数值+单位(≥10 km) | 最短攻击距离 | 与最大射程成对标注 | |
| 弹道特性 | 多标签(高抛弹道、巡航弹道、末段机动) | 飞行轨迹特性 | 至少选择一项 | |
| 最大速度 | 数值+单位(3.5马赫) | 飞行速度、极速 | 需区分海平面/高空环境 | |
| 作战高度 | 范围值(0-30 km) | 有效高度、使用空域 | 单位统一为“千米” | |
| 制导类型 | 多选(GPS/惯性复合制导、雷达制导) | 导引方式 | 按技术文档原文描述 | |
| 制导精度 | 数值±误差(CEP≤10 m) | 圆概率误差、命中精度 | 需标注置信度(如CEP 90%) | |
| 时效性指标 | 发射准备时间 | 数值+单位(15 min) | 反应时间、备战时长 | 区分冷/热启动状态 |
| 技术准备时间 | 数值+单位(72h) | 维护准备周期 | 需关联具体维护流程 | |
| 可靠性维护 | 平均故障间隔 时间(MTTF) | 数值+单位(≥8 000 h) | MTBF、可靠性指标 | 需注明测试条件(如全负荷运行) |
| 使用寿命 | 数值+单位(10年/200次发射) | 服役寿命、使用周期 | 按“年限”或“使用次数”择一标注 | |
| 维修周期 | 数值+单位(6个月) | 维护间隔 | 区分计划性/非计划性维修 | |
| 环境适应性 | 储存环境 | 范围值(温度:-40 ℃~+65 ℃;湿度:≤95%) | 贮存条件 | 需标注是否含包装 |
| 工作环境 | 范围值(温度:-30 ℃~+55 ℃;湿度:≤90%) | 操作条件 | 区分常态/极限工况 | |
| 关联属性 | 目标类型 | 多选(空中目标/水面舰艇/地面设施) | 打击对象 | 支持扩展(如“隐身目标”) |
| 配套装备 | 实体链接(型号+ID) | 附属设备、支援系统 | 需关联装备知识图谱节点 | |
| 操作人员数量 | 整数(5人) | 最小编制人数 | 区分训练/作战状态需求 |
(1)实体边界与复合处理
数值型属性:需标注完整量纲与测试条件(如“最大射程≥550 km(RCS=5 m2)”)应标注为最大射程:{"value": 550, "unit": "km", "condition": "RCS=5m2"}。
文本型属性:若描述含并列逻辑(如“制导类型:GPS/惯性复合制导”),需拆分为独立实体(“GPS”“惯性复合制导”),并关联至同一父级属性。
复合型属性:对跨段落描述(如“环境适应性:-40 ℃~+65 ℃;湿度≤95%”),按物理参数类别分别标注(“温度范围”“湿度限制”)。
(2)关系标注要求
关系必须基于原文显式或隐式逻辑建立,禁止主观推断。若同一实体参与多组关系(如某部件“属于”系统A且“兼容”系统B),需分别标注。
(3)标注质量控制
采用双人独立标注与科恩卡帕系数(Cohen’s Kappa Coefficient)(Kappa≥0.85)检验一致性,争议部分由领域专家仲裁。对未明确定义的术语(如非标缩写),需溯源至技术文档附录或国军标(GJB)术语库进行验证。
2.4 参考答案集生成
两名领域专家分别基于预处理后的装备文档,对模型输出的文件实施独立的全量复核和校正,最终构建成结构化的信息参考答案集。在标注过程中严格遵守相关标注规范,明确实体类型,忽略修饰词,合并复合词,针对装备解释等模糊边界的属性字段,仅作为参考答案,确保核心语义的完整,并要求无重要语义片段遗漏。
建立交叉验证机制,认可对方的答案直接采纳,存在有分歧的标注项,回溯原始文档讨论协商,形成共识。修正结果的一致性采用科恩卡帕系数进行评估审核。
3 提示模板设计
3.1 提示模板框架
提示模板包含以下核心要素:
(1)角色:指定模型为装备领域NLP专家。
(2)任务描述:基于预设属性框架从输入文本中进行信息抽取。
(3)任务要求:严格遵循抽取原则,采用JSON格式化输出,缺省属性输出为空。
(4)输入:输入预处理后的装备文本。
3.2 约束机制
为保证模型输出的准确性与规范性,本文设计了多层次的约束机制。具体实现如下:通过JSON Schema强制规范输出格式,确保模型生成结果与预定义的装备属性框架严格匹配。例如,技术参数字段需包含“发射方式”“平台类型”等子属性,缺失字段标记为null。然后采用Python的JSONSchema库对模型输出进行实时校验,非法结果触发自动重生成机制,最大重试次数为3次。Schema示例如图4所示。
本文采用逻辑校验,检查属性间逻辑关系,例如“最大射程≥最小射程”“最大速度>巡航速度”。冲突时标记Warning并生成错误报告,供人工复核。
3.3 参数调整
本文通过系统性的实验设计和参数优化,确定实验采用的关键参数最优配置。首先是温度参数(temperature)设置,温度参数通过调节softmax概率分布的平滑度影响生成多样性,为平衡生成质量与稳定性,设计了对比实验,分别设置temperature=0,0.3,0.7,1.0 4个梯度。当temperature=0时,输出稳定性最高并且输出结果可以复现,方便进一步优化设计。
作者是通过网格搜索确定惩罚系数(repetition-penalty),针对生成文本的重复问题,采用两阶段优化策略:首先在参数空间[1.0,2.0]内以0.1为步长进行粗搜索,然后在[1.1,1.3]区间进行精细搜索。当repetition-penalty=1.2时,重复性错误减少34%且能保证语义完整性。同时采用滑动窗口处理超长文本(窗口大小=512 token,步长=256 token),分块策略可以让长文本的F1值显著提升。
4 实验结果
本文采用本地化部署的DeepSeek大语言模型进行实验,模型版本选用DeepSeek-7B、32B、67B参数量级。选用温度采样法,设置温度参数(temperature)=0,惩罚系数(repetition-penalty)设成1.2,最大token数为4 096,输入文本为预处理后的文本。
4.1 评估指标
评估指标是针对模型性能优劣的一个定量指标。目前在知识抽取任务的质量评估体系中,分类任务评价常用精确率Precision、召回率Recall和调和均值F1这3种指标来评估,这些量化指标从不同角度对模型抽取文本信息方面的性能水平做出衡量。
(1)精确率:是相对于预测结果而言,表示预测为正的样本中有多少个是对的。而预测为正的样本有两种可能来源,一种是把TP个正的样本判断为正的数目,另外一种是把FP个负的错判为正的[11],公式如下:
Precision= $\frac{\mathit{T}\mathit{P}}{\mathit{T}\mathit{P}+\mathit{F}\mathit{P}}$
(2)召回率:是相对于样本而言,即样本中有TP个正样本被预测正确。而所有的正样本有两个去向,一类是TP个被判为正的,另一类是FN个是错判为负的[11],公式如下:
Recall= $\frac{\mathit{T}\mathit{P}}{\mathit{T}\mathit{P}+\mathit{F}\mathit{N}}$
(3)F1分数:是综合评价模型性能的重要指标之一,用来平衡精确率和召回率的关系。公式如下:
F1= $\frac{2\times \mathit{P}\mathit{r}\mathit{e}\mathit{c}\mathit{i}\mathit{s}\mathit{i}\mathit{o}\mathit{n}\times \mathit{R}\mathit{e}\mathit{c}\mathit{a}\mathit{l}\mathit{l}}{\mathit{P}\mathit{r}\mathit{e}\mathit{c}\mathit{i}\mathit{s}\mathit{i}\mathit{o}\mathit{n}+\mathit{R}\mathit{e}\mathit{c}\mathit{a}\mathit{l}\mathit{l}}$
TP(True Positive):把正的样本判断为正的数目;FN(False Negative):把正的样本错判为负的数目;FP(False Positive):把负的样本错判为正的数目[12]。
4.2 实验结果
在综合性能上,如表2所示,DeepSeek-67B的F1值达到90.4%,较传统BiLSTM-CRF模型(70.3%)和BERT-base模型(77.4%)分别提升20.1%和13.0%,且随着模型参数量级从7B(DeepSeek-7B)增至67B,F1值同步提升7.6%(82.8%→90.4%),验证了模型规模扩展对复杂任务性能的增益效应。
表2 不同模型下各评价标准的值Tab.2 The values of each evaluation criterion under different models |
| 模型/指标 | 精确率(P) | 召回率(R) | F1值 | 参数规模 |
|---|---|---|---|---|
| BiLSTM-CRF | 72.3% | 68.5% | 70.3 | 15M |
| BERT-base | 78.6% | 76.2% | 77.4 | 110M |
| DeepSeek-7B | 84.5% | 81.2% | 82.8 | 7B |
| DeepSeek-32B | 88.7% | 86.4% | 87.5 | 32B |
| DeepSeek-67B | 91.2% | 89.6% | 90.4 | 67B |
针对不同属性类型的抽取效果,如表3所示,数值型属性表现最佳(DeepSeek-67B F1=91.8%),文本型(89.2%)和复合型(87.5%)属性次之,但仍显著优于对比模型,尤其在复合型属性上,较BiLSTM-CRF(65.2%)提升22.3%,表明模型对装备领域多结构语义关系有很好的理解能力。
表3 属性类型对比(F1值)Tab.3 Comparison of attribute types (F1 Score) |
| 属性类别 | BiLSTM- CRF | BERT- base | DeepSeek- 7B | DeepSeek- 32B | DeepSeek- 67B |
|---|---|---|---|---|---|
| 数值型属性 | 73.1 | 79.2 | 85.6 | 89.1 | 91.8 |
| 文本型属性 | 69.8 | 76.4 | 81.3 | 86.7 | 89.2 |
| 复合型属性 | 65.2 | 70.1 | 78.9 | 83.6 | 87.5 |
此外,本实验还在DeepSeek-7B的量级条件下,分别对7类属性进行抽取,并计算对应的F1值,结果如图5所示。技术参数(F1=87.5%)与基础属性(F1=83.9%)因表述规范、实体明确,抽取效果最佳;而关联属性(F1=67.3%)与环境适应性(F1=70.6%)受限于隐式逻辑推理与多条件整合需求,表现相对较差。
在参数量级与计算效率的平衡方面,尽管DeepSeek-67B参数规模达67B,但通过零样本提示设计避免了微调需求,直接利用预训练知识完成抽取任务,降低了领域适配成本。值得注意的是,模型在标准化参数(如“弹径”“最大射程”)抽取中与人工表现一致,但对非结构化文本中的隐含逻辑(如“环境适应性描述”)优于人工[15]。上述结果为装备领域多模态数据的知识图谱构建提供了技术支撑,证实了大语言模型在减少人工标注依赖、提升军事装备编目效率方面的应用潜力。
4.3 结果分析
DeepSeek-67B在装备信息抽取任务中综合F1值达90.4%,较传统模型(如BiLSTM-CRF和BERT-base)提升20.1%和13.0%,尤其在数值型属性(F1=91.8%)和复合型属性(F1=87.5%)上表现突出。针对长文本(>5 000字符)处理时精确率下降的问题,研究人员需进一步优化模型的分块策略与上下文感知能力。对非结构化文本中隐含逻辑关系(如环境适应性描述)的信息抽取优于人工,为避免存在“AI幻觉”现象,后续研究可引入逻辑推理模块增强语义理解,对模型进行优化。
5 结束语
本文提出了基于DeepSeek大语言模型的无监督信息抽取方法[16],通过预训练知识与零样本提示设计,模型无须领域微调即可完成复杂任务,显著降低了人工标注与适配成本。实验结果表明,DeepSeek大模型的预训练能力和微调技术可有效提升装备领域PDF文本信息抽取的准确率和召回率。未来可扩展至多模态数据(如图纸、三维模型)的联合抽取,提升知识图谱的完整性与实用性,并探索轻量化模型的领域微调方法,适配边缘计算场景下的装备实时管理需求。