羽毛币吧 关注:453贴子:8,392
  • 0回复贴,共1

从私人训练数据深度学习的半监督知识转移

取消只看楼主收藏回复

一些机器学习应用涉及到敏感的训练数据,例如临床试验中患者的病史。模型可能无意中隐含地存储其中的一些训练数据;因此,模型的仔细分析可能会显示敏感信息。为了解决这个问题,我们展示了一种普遍适用的方法,为培训数据提供强有力的隐私保证:教师组合的私人聚合(PATE)。该方法以黑匣子的方式组合了不同数据集训练的多个模型,例如来自不同用户子集的记录。因为他们直接依赖敏感数据,所以这些模型并没有出版,而是用作“学生”模型的“老师”。学生学习预测在所有教师之间由嘈杂投票选出的输出,不能直接访问个人教师或基础数据或参数。学生的隐私属性可以直观地被理解(因为没有单一的教师,因此没有单一的数据集决定了学生的培训),并且正式地在差异隐私方面。即使对手不仅可以查询学生,还要检查其内部工作,这些属性即使持有。与以前的工作相比,该方法对教师的培训方式仅施加了微弱的假设:它适用于任何模型,包括非凸型模型,如DNN。由于改进了隐私分析和半监督学习,我们在MNIST和SVHN上实现了最先进的隐私/公用事业权衡。
tensorflow http://www.tensorflownews.com/


1楼2017-08-16 14:19回复