USI | 当 AI 学会「读字」：如何用深度学习，驯服 SMT 产线的误报风暴

07/13/2026

当 AI 学会「读字」：如何用深度学习，驯服 SMT 产线的误报风暴

作者：Yi-Ming Chang、Ti-Li Lin、Hung-Chun Chi、Huang-Po Ying、Daniel Tsai, ALCMM/SMD AI应用开发部

在电子制造的世界里，有一种「假警报」每天都在上演。一块看似完美的电路板被机器判定为「疑似不良」，作业员放下手边工作、拉近萤幕仔细端详，最后发现：它根本没问题。这样的场景，在 SMT（表面黏着技术）产线上一天可能发生成千上万次。

USI 环旭电子的智慧制造团队决定正面迎战这个老问题。我们用一套结合深度学习与相似度比对的创新架构，让自动光学检测（AOI）系统真正「看懂」元件上的文字，把平均误报改善率推到 90%，同时守住制造业最在意的底线：零漏测（Zero Escape）。

图一｜AOI 系统运作流程（a）与元件标记的多样性（b）。每个被报警的影像都需要人工复检，是产线效率的隐形杀手。

痛点洞察：被「误报」绑架的产线

AOI 之所以能成为 SMT 产线不可或缺的检测工具，靠的是它的高可靠度、操作简便与低成本。它的运作逻辑其实很直觉：工程师事先替每个检测项目建立一批「黄金样品」（Golden Samples）作为标准答案，机器再计算待测影像与黄金样品之间的「相似度」，分数太低就报警。问题出在这套相似度比对对光影、颜色与位置的变化「过度敏感」。同一颗元件，只要打光角度不同、字体稍微偏移、或颜色略有差异，相似度分数就会剧烈下滑。于是机器频频误判，产生大量「狼来了」式的假警报。

图二｜同一型号元件（T250DCH7）对人眼是同一颗零件，对传统相似度演算法却是「截然不同」的影像。

具体来说，导入新方案之前，产线被三件事卡住：

误报拖垮效率：大量被标记为「疑似缺陷」的影像其实都是好件，却迫使作业员逐张人工确认，造成视觉疲劳，也拖慢整体设备效率（OEE）。
黄金样品难以维护：单一检测项目可能就需要 30 到 80 个黄金样品才能涵盖变异范围。在「少量多样」的生产模式下换线频繁，根本没有足够时间搜集。
OCR 也救不了：元件上的商标、不一致的字元长度、多变字体与特殊符号都会干扰光学字元辨识；有些元件甚至在同一行出现不同方向的字元，标准 OCR 难以招架。

而最致命的，是「漏测」（Escape／Underkill）。为了压低误报，工程师有时被迫放宽阈值，反而提高了把坏件当好件放行的风险。一旦供应商混料、或作业员上错料，错误元件流入下一站，往往就是无法挽回的电路失效。传统 MobileNet 模型面对「没学过的错误字样」时，特别容易误判成正确元件，这正是品质防线上最危险的破口。

解决方法：让 AI 同时「认得出」也「比得对」

USI 团队提出的核心思路，是不要把鸡蛋放在同一个篮子里。我们保留了传统 AOI 的相似度比对逻辑，再迭上深度学习强大的特征提取能力，形成「双重保障」。

轻量化的 MobileNet，为产线而生

考量产线对低延迟、低功耗与快速训练的需求，我们选用轻量化的 MobileNet 作为基础，正因为它够轻巧，能让单一 GPU 同时跑多个模型，应付多样的产品与元件。团队更进一步把模型末端改造成两个全连接层（FCL）：一层负责输出分类结果（这颗元件是什么类别），另一层则被抽取为「特征向量」，供后续相似度计算使用。

图三｜本方案架构。影像经 CNN 与两个全连接层后，两者皆过关才判定为良品。

双重验证机制：本方案的灵魂

这是整个方案最关键的创新。系统不再只看深度学习的分类结果（这正是传统 CNN 漏测的主因），而是要求「两个条件同时成立」，唯有两者都通过，才会被判定为良品。这道设计能有效阻止模型把「没见过的错误字样」误认为正确类别，把漏测率压到趋近于零：

条件一｜分类正确：模型先预测元件的类别。
条件二｜相似度达标：再把特征向量与黄金样品比对，以「最小距离估计法」（Minimum Distance Estimation）计算匹配程度，须高于设定阈值（例如 0.9）。

用迁移学习，破解「没资料」的难题

少量多样的生产特性，意味着短时间内很难累积大量训练影像。我们采用迁移学习：冻结预训练的 CNN 权重，只更新新加入的全连接层。如此一来，即便样本不多，模型也能快速收敛、维持良好的泛化能力，大幅缩短训练与部署时间。此外，针对元件可能出现的上下左右四种方向（电子极性），模型将其视为不同类别来训练；并额外加入一个「Other（其他）」类别来拦截错误字样，进一步强化模型的强健性。

新旧方法，差在哪里？

面向	旧方法	USI 新方法
抗干扰能力	依赖画素／特征比对，极度敏感。亮度、字体偏移或颜色改变都会让相似度分数骤降，结果是「好件被报错」、误报满天飞。	深度学习特征提取＋双重验证。MobileNet 萃取深层特征，对亮度与位置变化适应力极佳，显著降低误报且不受光影干扰。
训练与设置效率	耗时的人工调参。每个新元件需手动搜集 30–80 个黄金样品并反复微调，难以应对频繁换线。	迁移学习＋自动特征提取。仅需少量样本即可训练，系统自动学习特征，模型训练简单快速，可迅速部署。
品质风险（漏测率）	为减少误报而放宽标准，或演算法无法区分极相似的错字，容易发生漏测，坏件流入后段造成品质维修或电路失效。	以「相似度阈值」作第二道防线，即使分类出错也能拦截异常影像，实验证实达成零漏测，确保制程绝对品质。

不仅止于理论，产线上的实战成果

误报率大幅改善（90%）：相较传统 AOI，厂内平均误报改善率达 90%，作业员需人工复检的影像数量大幅下降；针对特定元件（如 T250DCH7）改善率甚至高达 92%。
实现零漏测：在约 25,000 张影像的训练资料与大量盲测中，本系统在各类测试场景（含未知错误字样的混料测试）皆达到 0% 漏测率；相较之下，未改良的 MobileNet 在某些测试中出现多达 8 次漏测。
成功拦截未知错料：在模拟上错料的实验中，本系统把所有错误元件正确识别（归为 Other 或因相似度过低而报警），完全避开了传统深度学习模型「把未知物料当良品」的风险。

更重要的是，这套方法已经实际导入真实产线。因为模型易于训练、部署快速，它不只是论文上的成果，而是每天在 USI 厂内守护品质的实战工具，它已经能在产线中直接为我们的客户带来显著的价值：

品质保证与可追溯性（Traceability）： 透过精确辨识元件标记，我们可以绝对确保只有正确的元件被组装进客户的产品中。同时，这也强化了供应链的可追溯性，这对于汽车、医疗等对安全性要求极高的产业至关重要。
提升生产效率与降低成本： 革命性地降低误报率，意味着减少了产线上因停机进行人工确认的时间，直接提升了产出率（Yield）并降低了制造成本。
加速新产品导入（NPI）： AI 模型具有强大的泛化能力。当客户推出使用新型元件的新产品时，AI 模型通常只需少量的数据进行「微调（Fine-tuning）」，就可以快速适应新元件的辨识，大幅缩短了新产品从研发到量产的时间。

用 AI 重新定义制程中的「信任」

对 USI 环旭电子而言，这项技术的意义远不止于「少按几次警报」。在客户日益走向少量多样、产品迭代飞快的时代，我们把智慧制造能力内建进制程的每一个环节：让 AOI 从一个「会吵的警报器」，进化成一个「看得懂、判得准」的品质伙伴，这项技术的核心在于以分类加相似度的「双重验证架构」，达成 90% 误报改善与「零漏测」。

这代表着三件事：对客户，是更稳定的良率与更短的导入时间；对供应链伙伴，是更可靠的品质承诺与更低的隐性风险；对 USI 自身，则是以 AI 与深度学习为核心的制造竞争力。当「零漏测」从口号变成可量测的事实，USI 在全球电子制造供应链中扮演的，正是那个值得托付的关键角色。

常见问答（Q&A）

Q：什么是 AOI 系统？它在 SMT 制程中有什么用途？
A：AOI（Automated Optical Inspection，自动光学检测）是一种以影像辨识自动检查电路板品质的系统。在 SMT（表面黏着技术）制程中，它用来快速检测焊点、零件位置与元件标记是否正确，因高可靠度、操作简便、成本低，已成为产线不可或缺的品质控管工具。

Q：为什么传统 AOI 会产生大量误报（False Alarms）？
A：传统 AOI 依赖「相似度比对」来判断良莠，这种方法对亮度、颜色与位置的变化非常敏感。同一颗元件只要打光不同、字体些微偏移或颜色略异，相似度分数就会骤降而被误判为不良，产生大量假警报，迫使作业员花费大量时间人工复检。

Q：USI 的深度学习 AOI 方案核心创新是什么？
A：核心是「双重验证机制」。系统同时要求两个条件成立：一是深度学习模型的分类结果正确，二是特征向量与黄金样品的相似度高于阈值（如 0.9）。两者皆通过才判定为良品，能有效防止模型把没见过的错误字样误认为正确元件，把漏测率压到趋近于零。

Q：什么是「漏测（Escape）」？为什么它比误报更危险？
A：漏测（又称 Underkill）是指 AOI 把有缺陷的产品误判为良品而放行。它比误报危险，因为一旦坏件流入下一站，可能造成无法挽回的电路失效，衍生昂贵的维修成本，甚至影响最终产品安全。USI 的方案以相似度阈值作为第二道防线，实验证实达成零漏测。

Q：为什么不直接用 OCR（光学字元辨识）来读元件上的文字？
A：在 SMT 元件检测中，OCR 效果不佳。元件上的商标、不一致的字元长度、多变字体与特殊符号都会干扰辨识；有些元件甚至在同一行出现不同方向的字元，标准 OCR 难以处理。因此 USI 改采深度学习特征提取结合相似度比对的架构。

Q：迁移学习如何解决训练资料不足的问题？
A：少量多样的生产模式很难短时间累积大量训练影像。迁移学习透过冻结预训练的 CNN 权重、只更新新增的全连接层，使模型在少量样本下也能快速收敛并维持良好泛化能力，大幅缩短训练与部署时间。

Q：这项技术为 USI 的客户与供应链带来什么价值？
A：对客户，带来更稳定的良率与更短的导入时间；对供应链伙伴，提供更可靠的品质承诺与更低的隐性风险；对 USI，则强化了以 AI 与深度学习为核心的智慧制造竞争力。此方案已实际导入真实产线，每日守护 SMT 制程品质。