论文题目：Enhancing Mixture of Experts with Independent and Collaborative Learning for Long-Tail Visual Recognition
录用类别：IJCAI2025, Long Paper
作者：陈颜皓，简忠权，柯念昕，胡书豪，焦俊杰，洪清启*，吴清强*
完成单位：厦门大学
由于真实世界数据分布中固有的类别不平衡，深度神经网络（DNN）在长尾视觉识别（LTVR）中面临巨大挑战。混合专家模型（MoE）框架已成为解决这些问题的一种有前途的方法。然而，在 MoE 系统中，专家通常是为了优化集体目标而接受训练的，往往忽略了每个专家的个体最优性。由于不同专家的目标并不相互排斥，因此这种个体最优性通常会影响整体性能。为了解决这个问题，我们提出了一个独立协作学习（ICL）框架，该框架既能促进每位专家的独立优化，又能保持他们的优势，从而协作实现全局最优性能。具体而言，我们首先引入了多样优化学习（DOL），以增强专家的多样性并强化其表示空间，从而有效提高个体性能。随后，我们将专家概念化为并行电路的分支，并提出了竞争与协作学习（CoL），通过放大表现更好的专家的梯度来保持个体最优性。CoL 还利用相互蒸馏来促进协作，降低收敛到局部最优的风险。
