feat: add import templates
This commit is contained in:
@@ -77,6 +77,8 @@
|
||||
|
||||
### M1.3 CSV/Excel 导入模板
|
||||
|
||||
状态:已完成。
|
||||
|
||||
目标:
|
||||
|
||||
- 建立真实数据的标准导入模板。
|
||||
@@ -87,23 +89,27 @@
|
||||
- `docs/import_templates/`
|
||||
- 后端导入校验接口。
|
||||
- Python analytics 导入脚本。
|
||||
- `config/import_templates.json` 作为模板规格源。
|
||||
|
||||
验收标准:
|
||||
|
||||
- 模板字段和数据库字段一一对应。
|
||||
- 模板字段和现有研究表字段一一对应。
|
||||
- 错误数据能返回明确错误信息。
|
||||
- 导入结果写入 `raw`/`silver`/`audit`。
|
||||
- Python CLI 可以校验 CSV/Excel,并将已支持模板写入本地研究库。
|
||||
- API 可以校验导入行的表头、类型、值域、日期、枚举和敏感文本。
|
||||
|
||||
### M1.4 原始数据留存与文件哈希
|
||||
|
||||
目标:
|
||||
|
||||
- 每次导入都记录原始文件位置、哈希、大小和导入人。
|
||||
- 每次导入都记录原始文件位置、哈希、大小、导入人和入库批次。
|
||||
- 正式导入结果写入 `raw`/`silver`/`audit`,并与 `audit.ingestion_runs` 关联。
|
||||
|
||||
交付物:
|
||||
|
||||
- `audit.raw_artifacts`
|
||||
- 导入批次关联 raw artifact。
|
||||
- PostgreSQL 导入执行接口。
|
||||
|
||||
验收标准:
|
||||
|
||||
|
||||
Reference in New Issue
Block a user