项目仓库:https://github.com/yicongl1/TN10-MOEX-OPC-Portfolio

在 TN10 实习里,我试着回答一个很具体的问题:一张现场照片,能不能自动变成整改项需要的“位置”?

答案是可以,但只能到“候选区域”为止。这篇拆两条 OpenCV 流水线:一条用红色标注验证基本链路,一条在真实吊顶场景里找开口。两条都刻意保持保守:输出候选框,不输出“这是缺陷”的结论。

案例 A:红色标注作为代理

第一条流水线不是检测缺陷,而是验证“分割 → 轮廓 → 定位”这条路能不能走通。测试图上有一个人工红圈,代码把它当成待定位的区域。

核心步骤:

hsv = cv2.cvtColor(img_bgr, cv2.COLOR_BGR2HSV)

# 红色在 HSV 中横跨 0 和 180 两端
mask = cv2.inRange(hsv, (0, 80, 80), (10, 255, 255)) | \
       cv2.inRange(hsv, (170, 80, 80), (180, 255, 255))

kernel = np.ones((5, 5), np.uint8)
mask = cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel, iterations=2)
mask = cv2.morphologyEx(mask, cv2.MORPH_OPEN, kernel, iterations=1)

contours, _ = cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

然后过滤面积过小的轮廓,把主轮廓转成 (x, y, w, h) 外接矩形。

案例 A:红色标注被转成候选外接矩形。它验证的是链路,不是缺陷检测器。
案例 A:红色标注被转成候选外接矩形。它验证的是链路,不是缺陷检测器。

这条链路在信号强、背景简单时很稳定。但它的局限也写在代码注释里:它检测的是人工标注,不是缺失的喷淋装饰圈本身。换一张没有红圈的现场照片,它就失效了。

案例 B:不依赖标注的吊顶开口

吊顶场景更难:没有人工标注,开口可能被阴影、管线、灯具和透视变化干扰。我的做法不是直接找“暗色区域”,而是先理解吊顶的网格结构,再看哪些格子不正常。

1. 用 blackhat 强化深色接缝

吊顶的接缝是细长的深色结构。用一个宽矩形核做 blackhat,可以保留这种“比周围暗的细长区域”,同时压掉大面积的亮度变化:

kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (41, 9))
blackhat = cv2.morphologyEx(blur, cv2.MORPH_BLACKHAT, kernel)
edges = cv2.Canny(blackhat, 40, 120)

2. 用 HoughLinesP 重建网格

从边缘里提取水平/垂直线,按角度分类,再合并邻近位置:

lines = cv2.HoughLinesP(
    edges, rho=1, theta=np.pi / 180,
    threshold=120, minLineLength=180, maxLineGap=25,
)

水平线和垂直线的中点合并后,得到一组 x、y 坐标,把图像切成若干单元格。图像边缘会被补进网格,保证最外圈也能形成封闭单元。

3. 找“异常单元”

对每个单元格计算三个量:

  • 平均亮度;
  • 标准差;
  • Laplacian 纹理能量。

规则很朴素:

if energy < 6.0:
    return True          # 太平,可能是空洞
if std > 35.0 and mean < 210:
    return True          # 又暗又不均匀,可能是开口/管线

阈值是经验值,必须按现场重新标定。它们不是物理常数,只是把候选范围缩小的启发式。

4. 在异常单元里找细长暗缝

对异常单元再做一次 blackhat,这次核更宽(51 × 9),然后 Otsu 阈值、形态学开闭、轮廓筛选:

  • 面积至少 1500 px²;
  • 长宽比至少 6;
  • 长边至少 120 px;
  • 内部比周围暗至少 12 个灰度级。
案例 B:吊顶网格上的候选开口。一个开口可能对应多个矩形,阴影和管线也会误检。
案例 B:吊顶网格上的候选开口。一个开口可能对应多个矩形,阴影和管线也会误检。

结果:候选区域,不是结论

两条流水线的输出都是候选框。它们能帮助人更快地看到“这里可能有问题”,但不能回答:

  • 这是不是合同意义上的整改项?
  • 应该由哪个分包负责?
  • 这个开口是缺陷,还是正常的检修口/设备接口?

在施工现场,整改项是工程和合同概念,不是图像上的暗色区域。同一块暗区,可能是缺陷,也可能是正常设备。模型没有合同、图纸和专业分包的信息,不能自动下结论。

如果继续做

合理的下一步不是继续堆规则,而是:

  1. 收集 OPR 阶段的现场照片,关联标签、分包和最终状态;
  2. 标注检测框或分割掩膜;
  3. 训练目标检测模型(YOLO、RetinaNet 等);
  4. 在独立样本上验证 precision / recall;
  5. 作为“建议”集成到 IDCapture:模型给候选框,MOE 确认后生成整改项。

实习期间没有完成训练,原因是时间和标注数据不足。这个原型只证明了一件事:照片可以被转换成可操作的几何信息,但“是否算整改项”仍然需要人。

代码、合成样例与公开材料:https://github.com/yicongl1/TN10-MOEX-OPC-Portfolio