LeCun 70页长篇巨作!自监督学习“葵花宝典”,手把手教你学会

首页 > 科技

LeCun 70页长篇巨作!自监督学习“葵花宝典”,手把手教你学会

来源:综艺大集合 发布时间:2023-04-26 14:11

新智元报道

编纂:编辑部

【新智元导读】自监视学习入门指南,LeCun 70页论文都讲透了。

一本自监视学习全套攻略来了!

今天,Yann LeCun、田渊栋等机构的研究者共同发表了一篇70页论文「自监视学习的食谱」。

LeCun称,你曾经想知道,却又不敢问的自监视学习内容全在这儿了。

先来看看这篇论文阵容有多强盛,除了Meta AI的研究员,还汇集了纽约大学、马里兰大学、加利福尼亚大学戴维斯分校、蒙特利尔大学等6所大学研究职员的聪明。

可想而知,这篇论文含金量有多足了。

论文地址:https://arxiv.org/pdf/2304.12210.pdf

自监视学习(SSL),被称为人工智能的暗物质,是推进机器学习发展的一条有但愿的道路。

然而,就像烹饪一样,SSL是一门精致的艺术,有很高的门槛。

尽管人们对很多组件非常认识,但成功地练习一个SSL,需要做出从假设任务,到练习超参数等一系列令人眼花缭乱的选择。

这篇最新论文的目标就是,降低进入SSL研究的门槛,像烹饪书方式一样提供最新的「SSL食谱」。

Meta的研究科学家田渊栋表示,假如你想做SSL研究,就来看看这本书吧。

70页巨长论文看似让人劝退,但实在参考文献就占了26页。

SSL烹饪指南

这篇论文毕竟讲了什么内容,先来看看满屏糊脸的目录。

正如论文作者所称,要成功烹饪,你必需首先学习基本的技巧:切菜、炒菜等。

第一部门主要先容什么是SSL,重要性,以及写这本「食谱」的主要原因。

第二部门讲了SSL的家族和来源,给出了常用词汇,从自我监视学习的基本技巧开始手把手教你。

其中包括:

-SSL的发源

-深度度量学习家族:SimCLR/NNCLR/MeanSHIFT/SCL

-自蒸馏家族:BYOL/SimSIAM/DINO

-典型相关分析家族:VICReg/BarlowTwins/SWAV/W-MSE

-掩码图像建模

-自监视学习的理论同一:SSL理论研究;表征的维度坍缩

-预练习数据

方法有了,接下来,厨师必需学会纯熟运用这些技巧,做出一道甘旨的菜肴。

这不仅需要学习现有的食谱,还要会自己组合食材,并会评估这道菜。

因此,第三部门就是重中之重了。

这部分主要先容了常见的训练方法,包括超参数的选择,如何使用组建,以及评估方法。

-数据增强的作用:multi-crop的作用

-projector的作用

-SSL的同一先验仍是SSL在不平衡数据上的失败

-教师学生架构详细策略:移除均匀教师的作用;projector在自标记SSL中的作用

-尺度超参数的作用:

小批量大小的作用;学习率(调度器)和优化器的作用;重量衰减的作用;Transformer注意事项

-高性能掩码图像建模技术

-评估SSL模型:带标签评估;无标签评估;超越分类;视觉评估

-提速练习:分布式练习;用FFCV和其他加速练习更快;加速视觉Transformer的练习

第四部门:将自监视学习扩展到图像和分类之外

-其他数据域的策略

-将多个模式纳入SSL练习

-用本地化方法构建密集猜测任务的特征提取器

在此,作者还分享了前沿的研究职员关于常见练习配置,以及陷阱的实用技巧。

上一篇:微软 Edge 浏... 下一篇:Meta用CPU跑A...
猜你喜欢
热门阅读
同类推荐