Joey

这篇论文《Transductive Episodic-Wise Adaptive Metric for Few-Shot Learning》（TEAM）提出了一种新的小样本学习 框架，结合了元学习、度量学习和转导推理，以解决在数据极度稀缺的情况下如何学习一个泛化能力强且能快速适应新任务的分类器的问题。以下是对论文的详细解释：

---

一、研究背景与动机

1. 小样本学习的挑战

• 深度学习在大量标注数据上表现优异，但在数据稀缺的场景（如医疗图像、生物识别）中容易过拟合。
• 小样本学习旨在从极少数样本中快速学习新概念，是当前研究热点。

2. 现有方法的不足

• 任务无关的嵌入空间：大多数方法将所有样本嵌入到一个共享的度量空间，忽略了不同任务之间的特异性。
• 归纳推理的限制：传统方法在预测时逐个处理查询样本，未能充分利用查询集整体信息。

---

二、TEAM 框架概述

TEAM 的核心思想是： - 在元学习框架下，为每个任务 构建一个任务特定的度量空间； - 利用转导推理，在预测时同时考虑所有查询样本； - 通过双向相似度策略 更鲁棒地衡量查询与原型之间的关系。

这篇论文《Prototypical Networks for Few-shot Learning》（Snell 等，2017）提出了原型网络，这是一种简洁而高效的小样本分类方法。以下是对论文的详细解读：

---

一、研究背景与动机

1. 小样本学习的问题

• 目标：模型必须从极少量样本中学习对新类进行分类。
• 挑战：直接在新类上微调会导致严重过拟合。
• 人类擅长小样本学习，而机器模型在此方面仍有差距。

2. 已有方法

• Matching Networks：使用注意力机制对支持集嵌入进行加权，实现最近邻分类。
• Meta-Learning LSTM：训练LSTM来生成分类器更新策略。
• 问题：这些方法结构复杂，且未充分利用简单的归纳偏置。

3. 本文核心思想

• 提出原型网络：假设每个类在嵌入空间中聚集在一个原型周围。
• 原型 = 该类支持样本在嵌入空间中的均值。
• 查询样本通过最近原型进行分类。

---

这篇论文《PartialFed: Cross-Domain Personalized Federated Learning via Partial Initialization》提出了一种新颖的个性化联邦学习方法，通过部分参数初始化来解决跨域数据异构性问题。以下是对论文的详细解读：

---

一、研究背景与动机

1. 联邦学习的问题

• 联邦学习（FL）通过在多个数据孤岛之间仅传递模型参数来保护数据隐私，但在数据异构（non-IID）情况下，尤其是跨域（如交通、航拍、室内图像）时，性能显著下降。
• 传统FedAvg方法试图拟合一个“平均客户端”，当本地数据分布与全局分布差异较大时效果不佳。

2. 本文核心贡献

• 提出PartialFed方法，客户端在初始化时只加载全局模型的一部分参数，其余参数从本地上一轮模型加载，实现混合初始化。
• 提出两种策略：
  • PartialFed-Fix：基于人工先验的固定加载策略。
  • PartialFed-Adaptive：自适应学习每个客户端的个性化加载策略。
• 在跨域分类和检测任务上达到最先进性能，且对极端分布偏移的客户端具有鲁棒性。

---

二、方法：PartialFed

1. 整体流程