侵权投诉
订阅
纠错
加入自媒体

联邦学习: 统一数据协作和隐私保护的技术解决之道

2020-06-24 10:58
将门创投
关注

实际案例讲解

通过上面的介绍,我们发现联邦学习在以下几个场景下非常有帮助:? 数据总量不够? 样品不够充分? 数据维度不够多? 数据隐私/核心价值保护

联邦学习的优点是整个学习训练过程,没有传输任何原始数据。那么联邦学可以具体应用在哪些场景中呢?以下两个案例希望能帮你更好的理解联邦学习的实际应用。

案例一:医疗数据联邦建模。A, B, C 代表三家地方医院,各自拥有疾病的诊断数据和诊断结果,但由于病人数目的限制, A, B, C本身的数据大小有限,单独建立的模型效果不佳;

如果将A, B, C数据的联合建模,使得模型样本更加充足。极大的提高疾病预测的准确度,使得智能基本辅助诊断成为可能。

案例二:个人信用风险评估项目。当前金融信贷业务中往往受限于数据不够丰富,在数据可解释性及稳定性、风控模型效果、风险策略和获客成本等层面面临诸多挑战,借助联邦建模可以在保护用户信息不泄露的前提下将来自通信运营商/支付机构等更多维度纳入联合风控模型中,从而构建更精准大数据风控模型用以测算借款自然人。

A是地方性银行,经营信贷业务,拥有完整的欺诈标签和用户存贷款/部分信用卡消费信息;B是通信运营商/支付机构,拥有相同用户的定位,网络浏览等信息,能够在不同维度捕捉用户特征。联邦学习可以聚合不同维度的特征在加密的状态下联合建模,从而提高模型的预测能力和稳定性,打击不法欺诈行为。

根据我们已有的实践效果,发现经过联合分析后可实现:? 评分卡模型交叉多方数据,增加模型入模变量,模型 AUC 提升近 3%;? 提升客户风险定价能力,辅助风险策略额外挖掘 2% 产品目标人群;

总结

联邦学习是为了解决跨设备、跨机构间的数据融合问题,无论是从隐私安全还是从保证数据格式统一层面,标准的制定对联邦学习的大规模落地具备重要意义。

从目前整个数据产业看,联邦学习可以增加可用数据的总量,能很好的解决现存数据孤岛的问题;对企业自身而言,使用联邦学习能简单、合法且低成本的获取外部有效的数据信息,快速解决某些因数据量或数据维度不足而导致的困扰,而且也不会造成合作企业间数据或商业机密的泄露。

规范数据使用可以在汇聚更多数据的基础上迎来数据价值挖掘的下一个爆发点,带动 AI 的数据基础设施进步,隐私计算未来会逐步成为 AI 的基础设施。

现阶段要用到联邦学习的场景需求是很多的,但大规模落地还未到来,除了以上提到的政策和标准待完善的问题,还有就是对工程师的技能要求很高,例如使用联邦学习做隐私建模等技术需要更多的知识普及和经验积累,但随着市场需求和技术解决方案的逐步清晰,相信越来越多的企业参与其中,联邦学习助力数据流动,让数据孤岛联结成网,推动人工智能的进一步发展。

互动交流

Q: 根据您工作经验,应用联邦学习的最佳应用场景有哪些?除了隐私数据挖掘以外,还有哪些?您认为目前在实际中应用联邦学习最大的障碍是什么?缺乏高效的学习模型还是缺乏有利的infra 支持,比如移动端计算资源和网络通信速率的限制。A: 最佳应用场景包括 1: 缺样本,需要多方一起补充 2: 缺特征,需要多方补齐。最大的障碍是效率,不仅仅是网络,也包括算力,需要工程和密码的共同优化。

Q: 多方安全计算和联邦学习的性能问题没有提及,这块会是应用受限的主要困难吗?A: 在落地的过程中,性能是非常重要的一个限制,这里的性能包括算力,网络通讯量,qps等,在相同安全性的前提下,提升性能也是我们重点优化对象。


<上一页  1  2  3  4  
声明: 本文由入驻维科号的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。

发表评论

0条评论,0人参与

请输入评论内容...

请输入评论/评论长度6~500个字

您提交的评论过于频繁,请输入验证码继续

暂无评论

暂无评论

    安防 猎头职位 更多
    文章纠错
    x
    *文字标题:
    *纠错内容:
    联系邮箱:
    *验 证 码:

    粤公网安备 44030502002758号