Federated Learning

KDD Invited Talks — Preserving Data Privacy in Federated Learning — Xiaokui Xiao

最近由於Apple, Google App Store隱私修改讓各個其他公司開始改良如何讓Machine learning 減少privacy leak問題

Federated Learning 最早由Google 2017年提出, 主要的概念就是在各個mobile用自己的data update local gradient再加密回傳過去cloud

cloud 則是只update global data (沒有個人訊息的)得到global gradient

Google那篇著重在細部架構如何implementation, 例如如何解決上傳速度還有latency的問題

KDD的演講則是著重在這個Federated Learning的前世今生跟未來展望

Federated Learning最早版本

但這樣有很大的data leak問題

Federated Learning-加強版1

使用了MPC(secure multi-party communication)

還是會data leak

Federated Learning-加強版2

使用了MPC(secure multi-party communication) over global gradient

我們只看到final model, 而不知道過程

兩個issues:

計算量太大

還是有data leak問題

Federated Learning-加強版3

更安全 但更難scalable, resource issue, 仍然有data leak issue

Federated Learning-加強版4: Different Policy

Add Noise!

結論: 凡事都是trade-off

如果我們要train一個model又有效而且準確度高, 勢必data leak

最naive不要data leak方式就是讓各種confident precision更低但這樣又會影響model training performance

Reference

KDD Invited Talks — Preserving Data Privacy in Federated Learning — Xiaokui Xiao — YouTube

Google AI Blog: Federated Learning: Collaborative Machine Learning without Centralized Training Data (googleblog.com)