浮力影院网址第①线路

【转载】(附链接)​CVPR2021 | 开放世界检测综述

网站首页    行业信息    【转载】(附链接)​CVPR2021 | 开放世界(jie)检测综述

在(zai)开(kai)放世(shi)界(jie)(jie)中分(fen)类是(shi)(shi)验证模(mo)型(xing)(xing)(xing)安全性的(de)重(zhong)要方(fang)式,也是(shi)(shi)一(yi)(yi)个真正能(neng)够商用(yong)落地的(de)模(mo)型(xing)(xing)(xing)不(bu)可避免要面对的(de)问题。传统的(de)分(fen)类模(mo)型(xing)(xing)(xing)都是(shi)(shi)在(zai)一(yi)(yi)个封(feng)闭的(de)世(shi)界(jie)(jie)中进行训(xun)(xun)(xun)练(lian),即假设测试数据和训(xun)(xun)(xun)练(lian)数据都来自同样(yang)的(de)分(fen)布(称作分(fen)布内(nei),in-distribution)。例(li)如我们利用(yong)一(yi)(yi)组猫、狗(gou)照(zhao)片(pian)(pian)训(xun)(xun)(xun)练(lian)一(yi)(yi)个猫、狗(gou)分(fen)类器。然而,部署的(de)模(mo)型(xing)(xing)(xing)在(zai)实际(ji)使(shi)用(yong)中总(zong)是(shi)(shi)会(hui)遇到(dao)一(yi)(yi)些不(bu)属(shu)于封(feng)闭世(shi)界(jie)(jie)类别的(de)图片(pian)(pian),例(li)如老虎。或者也会(hui)遇到(dao)一(yi)(yi)些和训(xun)(xun)(xun)练(lian)图片(pian)(pian)视觉上(shang)大相径(jing)庭的(de)照(zhao)片(pian)(pian),例(li)如卡通猫。模(mo)型(xing)(xing)(xing)应当如何去处理(li)这(zhei)些不(bu)属(shu)于训(xun)(xun)(xun)练(lian)分(fen)布的(de)图片(pian)(pian)(即分(fen)布外样(yang)本,out-of-distribution),是(shi)(shi)开(kai)放世(shi)界(jie)(jie)领域(yu)所(suo)关(guan)注的(de)问题。

 
开放世(shi)界领域中时(shi)常(chang)能够见到如下几(ji)个任(ren)务(wu):
 
  • OD: Outlier Detection, 离群检(jian)测
  • AD: Anomaly Detection, 异(yi)常检测

  • ND: Novelty Detection, 新类检测

  • OSR: Open Set Recognition, 开集(ji)识别

  • OOD Detection: Out-of-Distribution Detection, 分布外检测(ce)

 

它们之(zhi)间(jian)虽然(ran)(ran)各(ge)(ge)(ge)有(you)(you)千(qian)秋(qiu),却又(you)有(you)(you)千(qian)丝万缕的(de)(de)(de)联(lian)系(xi)。虽然(ran)(ran)现有(you)(you)工作也有(you)(you)尝试着将(jiang)自己(ji)的(de)(de)(de)任务(wu)(wu)和别的(de)(de)(de)任务(wu)(wu)进行区(qu)分(fen),但是(shi)各(ge)(ge)(ge)任务(wu)(wu)之(zhi)间(jian)也不统(tong)一,使(shi)得(de)整个领域都(dou)缺乏对(dui)各(ge)(ge)(ge)个任务(wu)(wu)准确的(de)(de)(de)定义。让外界甚至参与者都(dou)对(dui)各(ge)(ge)(ge)个任务(wu)(wu)的(de)(de)(de)具体目标困(kun)惑。
 
为(wei)了(le)解(jie)决这(zhei)个(ge)(ge)问题,一篇名(ming)为(wei)《Generalized Out-of-Distribution Detection: A Survey》的综(zong)述(shu)解(jie)决了(le)这(zhei)些困惑,将以上五个(ge)(ge)任务归纳进一个(ge)(ge)「广义 · 分布(bu)外(wai)检测」(Generalized OOD Detection)的大框架内。至此,这(zhei)些任务都能进行准确的定位,而它们之间的关系也顿时清(qing)晰可(ke)辨。
 

 

  • 论文地址(zhi):http://arxiv.org/abs/2110.11334

  • 项目主页:http://github.com/Jingkang50/OODSurvey

 

准备工作

 
为了方便(bian)理解「广义分布外检测框架(jia)」,我(wo)们(men)需(xu)要了解以下两个概念:
 

Covariate Shift:表层统计(ji)层面上(shang)的分布变化,简称统计(ji)偏移(yi)。

Semantic Shift:深层语(yu)(yu)义(yi)层面上(shang)的分(fen)布变化(hua),简(jian)称语(yu)(yu)义(yi)偏移(yi)。

 

规范地(di)讲(jiang),如果我(wo)们用 X 代表图片像素空(kong)间(jian)的变量,用 Y 代表图片语义空(kong)间(jian)的变量,这样我(wo)们可(ke)以(yi)用 P(X,Y)来表示一组图片的分(fen)布。
 

像素空间分布 P(X)的偏移就是(shi) Covariate Shift,可能来源于对(dui)抗样本或(huo)者(zhe)画风的变化。

语义空间分布 P(Y)的(de)偏移就是 Semantic Shift,可(ke)能(neng)来源于(yu)新类(lei)别的(de)加入。

 

下图生动地展(zhan)现了这两种分布偏移:
 

 

广义分布外检测(Generalized OOD Detection)

 
在学习到「统(tong)计偏移」和「语义偏移」这两个(ge)概念之后,我(wo)们可(ke)以利用下(xia)图来认识各个(ge)任务(wu)在框架中的位置。任务(wu)的定位使用四个(ge)维度:
 

(1)偏(pian)移(yi)类型:任务(wu)需要检测出表层(ceng)统计偏(pian)移(yi)或深层(ceng)语义偏(pian)移(yi); 

(2)分(fen)布内数据类(lei)别(bie)数:分(fen)布内数据包含一个(ge)类(lei)或多个(ge)类(lei);

(3)对分布内(nei)样(yang)本的处理(li):是否需(xu)要对分布内(nei)样(yang)本进(jin)行分类(lei);

(4)是否遵(zun)循“训练(lian) - 测试模(mo)式(shi)”:Transductive 学习(xi)需要利(li)用(yong)所有样本(ben)进行决策(ce);Inductive 学习(xi)则遵(zun)循训练(lian) - 测试模(mo)式(shi),目(mu)的是得到一个(ge)单独可用(yong)的模(mo)型(xing)。

 

 

根据上图(tu),“异常检(jian)测(ce)”AD 分为(wei)两个子任务,即(ji) Sensory AD 和 Semantic AD,即(ji) “感(gan)知上的(de)异常检(jian)测(ce)” 和“语义上的(de)异常检(jian)测(ce)”。

 
  • 感知上的(de)(de)异常检测(Sensory AD)需要识别出具有(you)统计偏移(yi)的(de)(de)样本(ben),无(wu)论(lun)分布内(nei)样本(ben)类别数(shu)。

  • 语义上(shang)的(de)异(yi)常(chang)检测(Semantic AD)需(xu)要识别(bie)出具有语义偏移的(de)样本,并要求(qiu)分(fen)布内只(zhi)有单类。

 

「新(xin)(xin)类(lei)(lei)检测」ND 也分为(wei)两个(ge)子任(ren)务。他们(men)都需要识别出具(ju)有语义偏移的(de)样(yang)本(ben)(ben),但是根据分布(bu)内样(yang)本(ben)(ben)类(lei)(lei)别的(de)不同分为(wei)「单类(lei)(lei)的(de)新(xin)(xin)类(lei)(lei)检测」(One-Class ND)和(he)「多类(lei)(lei)的(de)新(xin)(xin)类(lei)(lei)检测」(Multi-Class ND)。
 
「开集识别(bie)(bie)」OSR 同样需要识别(bie)(bie)出(chu)具有语义偏移的样本(ben),但是相比于 ND,它只关(guan)心分(fen)布(bu)内是多类(lei)别(bie)(bie)的情况,并且要求对(dui)分(fen)布(bu)内样本(ben)进行正确的分(fen)类(lei)。
 
「分(fen)布外检测(ce)」(OOD Detection)同样(yang)需要识别出(chu)具有语义偏移的(de)样(yang)本,但是相比 OSR,它(ta)还包含(han)了分(fen)布内(nei)是单类的(de)情况。因此,OOD Detection 可以理解(jie)成一个包含(han) Semantic AD, Novelty Detection, OSR 的(de)超(chao)级大(da)类。
 

对各个任务的具体介绍

 
AD: Anomaly Detection, 异常检测
 
背景:当人们提起异常(Anomaly)时,心中其实已经形成了一个 “正常” 的概念。例如,要创建一个 “热狗 / 非热狗检测器”,我们将“热狗” 的概念定义为正常,将不符合的定义为异常,也就是非热狗。
 
请注意,在这种情况下,热狗(gou)是一(yi)个统一(yi)的概念,无论热狗(gou)的大(da)小、酱汁、面(mian)包类型、价(jia)格、香肠的来源等可能存在差异。任何其(qi)他物(wu)体,如牛排、米饭,以及非食物(wu)物(wu)体,如猫和狗(gou),都被视为异常。
 
同时(shi)(shi),现(xian)有的(de)(de)异常(chang)检(jian)(jian)测(ce)通(tong)常(chang)会对(dui)(dui)目标(biao)环境有所限制。例如,“热狗(gou) / 非热狗(gou)检(jian)(jian)测(ce)器(qi)”会采(cai)用 “检(jian)(jian)测(ce)器(qi)只(zhi)会接触真实照片” 的(de)(de)假设,测(ce)试时(shi)(shi)不会存在(zai)卡通(tong)或素描图。这使得在(zai)检(jian)(jian)测(ce)统计偏(pian)(pian)移(yi)时(shi)(shi)避(bi)免(mian)(mian)了(le)语义偏(pian)(pian)移(yi)的(de)(de)出现(xian)。另(ling)一(yi)个现(xian)实的(de)(de)例子是工业(ye)缺陷检(jian)(jian)测(ce),它针对(dui)(dui)的(de)(de)只(zhi)是一(yi)组(zu)特定的(de)(de)产品(pin)装配线。这使得在(zai)检(jian)(jian)测(ce)统计偏(pian)(pian)移(yi)时(shi)(shi)避(bi)免(mian)(mian)了(le)语义偏(pian)(pian)移(yi)的(de)(de)出现(xian)。换(huan)句话说,“开(kai)放世界”假设通(tong)常(chang)不是完全 “开(kai)放” 的(de)(de)。然而,“非热狗(gou)”或 “缺陷” 其实已经形成了(le)一(yi)个巨大(da)的(de)(de)未知(zhi)空间,也早(zao)已打破(po)了(le) “封闭世界” 的(de)(de)假设。
 
综上所述(shu),异常检测(ce)任务的(de)主要特(te)征是其统一(yi)地定(ding)义了(le)“正(zheng)常”,并且假设(she)一(yi)个相(xiang)对(dui)封闭的(de)限制。
 
定义:异常检测(Anomaly Detection, AD)的任务旨在找出测试集中所有偏离 “预设的正常样本” 的异常样本。这种偏移可能是来源于 covariate shift 或者 semantic shift。该任务通常假设另一种偏移类型不存在。这两种不同的样本偏移类型对应着 “异常检测” 的两个子任务:“感知上的异常检测”sensory AD 和“语义上的异常检测”semantic AD。
 
Sensory AD,即(ji) “感知上的(de)(de)异常(chang)检(jian)(jian)测”。该任务希望识(shi)别出由 covariate shift 导致的(de)(de)异常(chang)样本。此处我(wo)们假设所(suo)有(you)(you)预定义好的(de)(de)“正常(chang)” 样本都(dou)具有(you)(you)同(tong)一(yi)(yi)种像(xiang)素空间分布(bu),并且整个(ge)测试(shi)集(ji)的(de)(de)样本空间不存在(zai)语义上的(de)(de)偏移,即(ji)测试(shi)集(ji)的(de)(de)所(suo)有(you)(you)样本都(dou)来自同(tong)一(yi)(yi)个(ge)类(lei)别。总的(de)(de)来说, “Sensory AD”旨在(zai)检(jian)(jian)测出同(tong)一(yi)(yi)个(ge)类(lei)别的(de)(de)所(suo)有(you)(you)测试(shi)样本中具有(you)(you) “异常(chang)” 像(xiang)素空间分布(bu)的(de)(de)样本。
 
Semantic AD,即(ji)(ji) “语(yu)义(yi)上的异常检(jian)测(ce)(ce)(ce)” ,该(gai)任务希望识别出(chu)由 semantic shift(label shift)导致的异常样(yang)(yang)本(ben)(ben)。此处我们假设(she)所(suo)(suo)有(you)(you)预定义(yi)好的“正常” 样(yang)(yang)本(ben)(ben)都(dou)具有(you)(you)相(xiang)同的语(yu)义(yi)分布,即(ji)(ji)来自同一个类(lei)别,并且整个测(ce)(ce)(ce)试集的样(yang)(yang)本(ben)(ben)空间具有(you)(you)相(xiang)同的像素空间分布。总的来说,“Semantic AD”旨(zhi)在(zai)检(jian)测(ce)(ce)(ce)出(chu)同种像素空间分布的所(suo)(suo)有(you)(you)测(ce)(ce)(ce)试样(yang)(yang)本(ben)(ben)中非 “正常” 类(lei)别的样(yang)(yang)本(ben)(ben)。
 
应用:
 
Sensory AD:工业检(jian)测,对抗(kang)样本防(fang)御,活体检(jian)测,艺术品的(de)伪造(zao)识别,伪证识别等。

Semantic AD:视频监(jian)控,数(shu)据筛选等(deng)。

 

ND: Novelty Detection, 新类检测
 
背景:“Novelty”这个词通常指的是未知的、新颖的、有趣的东西。虽然新类检测的目标与异常检测相似,但是它们之间有三个显著不同:
 
  • 在(zai)动机方面,新类检测通常不会像(xiang)异(yi)常检测那(nei)样(yang)将(jiang) “新类” 样(yang)本视(shi)为错误(wu)、恶意(yi)、应当丢弃的。反之(zhi),该任(ren)务会将(jiang)它们视(shi)为学(xue)习资(zi)源,以积(ji)极的学(xue)习态度供未(wei)来使用。例如(ru)新野生动物(wu)(wu)检测器(qi),检测到的新类可(ke)供生物(wu)(wu)学(xue)界进行研究(jiu)。

  • 新(xin)类检测主要侧(ce)重(zhong)于语义转移。它有一个可(ke)互相替(ti)换的名(ming)字:“novel class detection”。

  • 新类(lei)检测去除了分布内样本(ben)只能(neng)属于一(yi)个(ge)类(lei)的(de)限制。训练(lian)集可以出现一(yi)个(ge)或多个(ge)类(lei)。

 

定义:新类检测(Novelty Detection, ND)的任务旨在找出测试集中不属于训练集中任何类别的 “新类” 样本,检测到的 “新类” 样本通常会为下一步增量学习(incremental learning) 提供更多的学习样本,或者作为全新的类型进行探索研究。
 
基于训练集中的(de)类(lei)(lei)(lei)(lei)别数量,“新类(lei)(lei)(lei)(lei)检(jian)(jian)测(ce)”可被分(fen)(fen)为(wei)两(liang)个(ge)子类(lei)(lei)(lei)(lei)型: “单类(lei)(lei)(lei)(lei)新类(lei)(lei)(lei)(lei)检(jian)(jian)测(ce)”(One-class ND);以及 “多类(lei)(lei)(lei)(lei)新类(lei)(lei)(lei)(lei)检(jian)(jian)测(ce)”(Multi-class ND)。尽管“多类(lei)(lei)(lei)(lei)新类(lei)(lei)(lei)(lei)检(jian)(jian)测(ce)” 的(de)训练集样本(ben)中包含多个(ge)类(lei)(lei)(lei)(lei)别,其目(mu)的(de)只(zhi)是将(jiang)测(ce)试集中的(de) “新类(lei)(lei)(lei)(lei)” 样本(ben)与 “分(fen)(fen)布内” 样本(ben)区分(fen)(fen)开。因(yin)此,“单类(lei)(lei)(lei)(lei)新类(lei)(lei)(lei)(lei)检(jian)(jian)测(ce)”和 “多类(lei)(lei)(lei)(lei)新类(lei)(lei)(lei)(lei)检(jian)(jian)测(ce)” 的(de)本(ben)质(zhi)都(dou)是二分(fen)(fen)类(lei)(lei)(lei)(lei)问题。
 
应用:视频监控,行星探索,增量学习
 
OSR: Open Set Recognition, 开集识别
 
背景:在封闭世界中训练的机器学习模型通常将属于未知类别的测试样本错误地分类为具有高置信度的 已知类别。一些文献将模型这种过度自信的行为称为“模型的傲慢”。因此,OSR 于 2013 年被提出,旨在解决这个问题。
 
定义:“开集识别”(Open Set Recognition, OSR)要求多分类器同时达到如下两个要求:
 
  • 对测(ce)试集中(zhong)属于 “已知类别“的图片进行准确分类;“已知类别” 代表训练集中(zhong)存(cun)在(zai)的类别。

  • 检测(ce)出”未知”类别, “未知类别”不属于训练(lian)集中任(ren)何类别。

 

OOD Detection: 分布外检测
 
背景:类似的,鉴于深度学习模型通常会对来自不同语义分布的样本进行过度自信地分类,分布外检测领域应运而生,要求模型在保证分类性能的同时,拒绝语义偏移的样本,以保证可靠性和安全性。
 
定义:“分布外检测”任务和新类识别类似,都是在找出测试集中不属于训练集中任何类别的 “新类” 样本。但是在新类识别的基础上,同时完成多分类任务。相比于 “开集识别”,“分布外检测” 的训练集可以是单类别的也可以是多类别的。
 
备注:虽然当前学界的大多数论文都将 “out-of-distribution” 理解为“out-of-label/semantic-distribution”,但一些分布外检测的工作也考虑检测 covariate shift(统计偏移)。它们声称 covariate shift 通常会导致模型性能显着下降,因此需要模型进行识别和丢弃。然而,尽管在某些特定(通常是高风险)任务上检测 covariate shift 是合理的,例如由一家医院训练的医疗诊断模型应该更加保守地对来自其他医院、具有 covariate shift 的图像进行决策,但这个目标与另一个领域 out-of-distribution generalization(领域泛化)似乎有所冲突。综述原文对 out-of-distribution detection 和 out-of-distribution generalization 做了详细的讨论,欢迎大家阅读原文。但是无论如何,检测语义偏移一直是分布外检测任务的主流。
 
OD: Outlier Detection, 离群检测
 
背景:根据维基百科,outlier 是指与其他观测结果显着不同的数据点。不同于之前任务需要检测与训练数据分布不同的测试样本,离群检测则是直接处理所有观察结果,旨在从受污染的数据集中找出异常。由于离群检测不遵循“训练 - 测试模式”,而其方法通常依赖于所有观察结果,因此解决此问题的方法通常是 Transductive 传导学习而不是 Inductive 归纳学习。
 
定义:“离群检测”(Outlier Detection, OD)的任务旨在检测出给定数据集中与其他样本显著不同的样本,其中这种不同既可以来源于 covariate shift 也可以来源于 semantic shift。
 
应用:数据清洗
 
至(zhi)此,该研究希望读者对(dui)以上五个任务的异同有了(le)更(geng)加深(shen)入的理解。下图(tu)用图(tu)片案例的方(fang)式再次比较这些任务。
 

 

方法论

 
该研(yan)究(jiu)全面总结了(le)解(jie)决(jue) 「广义分布外(wai)检测」中各个任(ren)务(wu)的方法(fa)。由(you)于它们的目标大(da)体(ti)相同,它们的解(jie)法(fa)自然也相似。研(yan)究(jiu)发现(xian)它们的解(jie)法(fa)基本分为(wei)四(si)大(da)类(lei):
 
  • Density-based Methods 基(ji)于(yu)密度估计的方法

  • Reconstruction-based Methods 基于重构的方法

  • Classification-based Methods 基于分类的方法

  • Distance-based Methods 基(ji)于距离(li)的方(fang)法

 

欢(huan)迎大(da)家参考(kao)综(zong)述原文(wen)进行参考(kao),同时欢(huan)迎大(da)家在综(zong)述的(de) GitHub 主页提 issue/pr 进行补充。文(wen)尾附(fu)上(shang)了方法论的(de)目录(lu)。
 

 

挑战和展望

 
最终研究(jiu)人员总结(jie)了(le)目前该领域的问题、挑(tiao)战和发展方向。
 
挑(tiao)战 1: 建(jian)立正确并且规范的评价指(zhi)标
挑战 2: 不(bu)需要额(e)外(wai)数据的分布外(wai)检测
挑战 3: 分(fen)布(bu)内(nei)分(fen)类和分(fen)布(bu)外检(jian)测的(de)权衡
挑战 4: 建立有现实意义(yi)并(bing)且大规模(mo)的数据集
 
展(zhan)望 1: 框架中(zhong)不同任务互(hu)相借(jie)鉴及比较
展望(wang) 2: 分(fen)布外检测(ce)和分(fen)布外泛(fan)化(hua)的结合
展(zhan)望 3: 分(fen)布外检(jian)测和开集(ji)噪声(sheng)标签(qian)学习的结合(he)
展望 4: 期(qi)待进行更多的(de)理论研究
 

详情参考(kao)原文。该研究(jiu)希(xi)(xi)望(wang)开放世界领(ling)域能(neng)够发展(zhan)地更好(hao),并且希(xi)(xi)望(wang)更多研究(jiu)者能(neng)够关注(zhu)并投身到这个人(ren)工(gong)智能(neng)的重要问题上。

 

—版权声明—

仅用于学术(shu)分享,版权属于原作(zuo)者。

若有侵权,请联系(xi)高(gao)视科技删除或修改!

2021年11月26日(ri) 16:03
document.write("")