关键要点
- DP-SGD（差分隐私SGD）导致AI模型遗忘稀有数据模式
- 隐私保护以牺牲少数群体的公平性为代价
- 新研究揭示了隐私机器学习的根本权衡
问题是什么？
差分隐私通过在训练期间添加噪声来保护个别数据点。然而，这种噪声对稀有数据模式产生不成比例的影响，导致模型本质上”遗忘”少数群体。
为什么重要？
随着AI系统越来越注重隐私，我们面临一个困难的权衡：更强的隐私往往意味着数据中代表性不足群体的性能更差。
FAQ
Q：能否同时实现隐私和公平？
A：目前的研究正在探索平衡这些问题的方法，但根本性的权衡仍然存在。