资料整理与质量检查
方法与说明
资料整理规则、证据分级、标准数据纳入条件和自动质量检查在录入前确定,不为迎合个别结果而修改。
数据流
整理后的 CSV → 自动质量检查 → SQLite 数据库 → JSON → 网页
原则:网页内容必须由统一整理后的数据库自动生成,
HTML 中不得人工维护第二套数据。
三层数据体系
- 原始证据层
- 忠实记录原文表述、原始数值、原始参考样品与原文位置,不做解释与换算。
- 统一整理层
- 把不同论文中的编号、序列、构建体和名称统一到同一套标准,同时保留原文写法。
- 整理后的数据层
- 在不改变原始证据的前提下,生成方便查询和下载的数据表;不进行人工重复录入。
证据双维分级
来源可靠度
- E1
- 同行评议论文,或完整专利实施例,方法与结果明确
- E2
- 预印本、学位论文,或专利中部分信息明确
- E3
- 综述转述、数据库摘要,或方法不完整
- E4
- 仅有计算预测,或无法定位原始证据
测量完整度
- M3
- 构建体、参考样品、方法、数值、重复信息齐全
- M2
- 有明确方向或相对倍数,但缺部分实验细节
- M1
- 仅有“更甜/降低”等定性描述
- M0
- 无法确认存在实验测量
哪些人体感官数据会进入标准数据表?
来源可靠度 ∈ {E1, E2}
且 测量完整度 ∈ {M2, M3}
且 变体 sequence_verified = true
且实验类型 = 人体感官
且 model_eligibility ∈ {primary_ordinal, primary_quantitative}
任何无法由来源提供的实际序列重建出突变的记录,一律标记
sequence_verified = false 并排除出相应标准数据表。
model_eligibility 是为兼容历史数据保留的字段名。它表示该记录是否满足标准证据数据的使用条件,不代表任何机器学习预测结果。
自动质量控制
以下检查全部通过才允许发布 BVK Core 或生成整理后的数据表;实际检查项数随记录数自动增长,
以 validate_schema_contract.py、validate_bvk.py 与发布前检查当次报告为准。
| 规则组 | 检查内容 | 失败后果 |
|---|---|---|
| ID | 各类记录的主键唯一 | 禁止构建数据库 |
| SEQ · MUT · CYS | WT 残基、突变写法、序列重建、SHA-256 与天然 Cys 设计约束一致 | 禁止变体入库或纳入标准数据 |
| REL · SRC | 实验结果→实验方法→构建体的关联完整,原文位置非空 | 禁止发布 |
| SEP | 人体感官与细胞受体结果分离;受体实验记录细胞系 | 禁止生成标准数据表 |
| ELG · REF | 纳入记录的序列已核对、完整度 ≥ M2,并具备参考样品与浓度 | 不纳入相应标准数据表 |
| NUM · UNIT · OBS | 比值与 log₂ 值自洽、单位基准明确;同一次实验的重量比与摩尔比只导出一个标准表示 | 禁止导出定量数据 |
| PAT · CLM | 专利族去重;权利要求审查状态、编号框架与残基映射一致 | 禁止生成位点型权利要求提示图 |
| STR | 结构实体类型与 experimental/derived 证据性质显式且一致 | 禁止结构目录发布 |
| EXT · PSR | 六类其他资料关联完整;摘要保持待核对;产品感官测试逐条说明为何不作为纯蛋白变体的标准实验结果 | 禁止对应资料类别发布 |
冲突处理
当不同来源对同一标准变体、同一构建体和可比较终点给出不一致方向时:
- 不删除任何原始记录
- 分别保存在实验结果表
- 标记构建体、测定平台与参考样品差异
- 生成
has_measurement_conflict,并保留对应变体 ID - 只有在构建体与测定条件足够一致时才进行合并分析
- 网页显示“存在测量冲突”,而不是给出一个人为平均值
同一位点的不同氨基酸替换产生不同方向时,记录为
mixed_substitution_effects(替换效应分化),不视为测量冲突。
定量观察去重
证据层保留论文同时报告的重量基准(w/w)和摩尔基准(molar)两行, 但它们来自同一受试者、同一实验方法和同一变体,不是两个独立观察。
observation key =
variant_id + assay_id + source_id + reference_construct_id
标准表示优先级 =
w/w → molar → study-reported basis
定量观察证据视图据此生成稳定 BVK-OBS-* 标识,
并通过 representation_count 保留原观察有几种数学表示。
显示规则
- 实验结果
- 实线边框标识
- 外部衍生证据
- 明确标注“衍生”或“计算”,绝不与实验测量混排;本项目内部产生的 ML、FoldX、候选设计、docking、BLI 与 MD 结果不属于 BVK Core,公开文献中的相关资料仍可收录
- 证据冲突
- 显式标记,不取平均
- 缺失信息
- 明确显示 未报告,不显示为空白
- 原始值与统一整理后的值
- 并列展示
- 配色
- 刻意避免红/绿对比,以兼顾色觉障碍用户
已知局限
正在读取当前版本快照…