斯坦福大学将差分隐私AI模型训练提速10倍，将使用新冠医学影像

显出厂处理方式。有效地出厂外观上等于不显出厂外观上等于局部累积总和。并不相同的只用和频率比被都用不同的有效地出厂外观上。因此，具备并不相同有效地出厂外观上的条目具备并不相同的人身安全确保保证。

纳米出厂DPSGD不都用的一个主要理由是它大大降越来越高了GPU的旅客量，以至于在ImageNet上试运行纳米出厂DPSGD ResNet-50须要要数日的时长。

相对来说，纳米出厂DPSGD在IPU上非常高效，结果比在GPU上快8到11倍，把时长从几天大大缩短到几小时。对于IPU，由于IPU的MIMD虚拟化和细粒度并行连续性可以实现高得多的处理方式效率，因此DPSGD所须要的额外可用的数值开销要越来越高得多（10%而不是50-90%）。

此外，人身安全确保和纳米出厂DPSGD须要要适用Group Norm（组标准化）而不是Batch Norm（出厂标准化），这可以由IPU加以减速处理方式，但会很大减慢GPU。Graphcore Research都只另一款了一项原先归一高效率——Proxy Norm（全权标准化），它直至了Group Norm的批标准化属连续性，并大大提高了执行效率。这是一个颇有意思的更进一步探索朝向。

表1：㯋S=1时不同硬件之间的旅客量尤其。GPU上的DPSGD适用vmap和TensorFlow种种系统人身安全库。左侧：上一代中央处理方式器。右侧：最新一代中央处理方式器。

5

在6小时内在ImageNet上锻炼纳米出厂DPSGD

这些高效率假定ResNet-50可以在将近6小时内在IPU-POD16种系统中都在ImageNet上锻炼100个初期（相对来说，GPU须要要数天）。达到了71%的准确率，比非私人水平线越来越高5%。由于频率的增加，因此这是预料之中的。虽然它比短期内的要好，但仍然是更进一步研究者的一个教育领域。

对于种种系统人身安全，举例来说还报告epsilon和delta参数。该论文辨识，对于10-6的delta，epsilon为11.4，这是一个很好的范围。该设计团队有一些关于如何促使下降这种具体情况的想法，如通过越来越激进的自学率计划来下降锻炼初期的数量。

表2：具备不同总出厂外观上（tbs）和配置的ImageNet上的种种系统人身安全结果（第100初期的再一%u3B5和准确度）。间隔时长以锻炼100个初期所须要的小时数来衡量。

这项研究者为大大提高医疗卫生和金融服务以及许多其他企业的归纳作法程序的 人身安全确保缺少了重要机会。在这些企业中， 参与者敏感数据资料的确保至关重要。

论文链接：

。

常德不孕不育医院哪家好
贵阳哪里治疗癫痫专业
北京治白癜风医院哪家好
自己家用的血糖仪选什么好
哪种血糖仪测的比较准一点
哪个血糖仪准确度高
哪个厂家的血糖仪准确度高
康恩贝肠炎宁颗粒的功效和禁忌