FATE v 1.10重磅发布:开发易用性显著提升,硬件指令集加速集成

题图摄于广州花城广场

在《2022中国开源发展白皮书》中，中国开源软件推进联盟指出，开源框架是降低企业技术研发成本、打破“计算孤岛”、实现跨平台互联互通、推动数据要素流通的重要途径。FATE（Federated AI Technology Enabler）作为全球首个联邦学习工业级开源框架，提供了一种基于数据隐私保护的安全计算框架，支持机器学习、深度学习和迁移学习算法的安全计算。

今年8月，FATE作为最新孵化级项目加入了LF AI & Data基金会，与其他项目一起推动人工智能和数据开源项目的可持续生态建设。根据LF AI & Data的数据，自2019年以来，FATE开源项目的贡献者增加了377%，总提交数量增长了494.92%。

截至2022年底，FATE开源社区已覆盖全球超过1200家知名企业和400家高校，GitHub上Stars数量达4700，Fork数量达1400，成为联邦学习领域最大的技术开源社区。

FATE及社区的高速发展，得益于“开源开放、共力创新”的愿景，在开发专委会的协调下，4000多名开发者群策群力，各成员单位共同建设。

FATE开源项目已迭代30余个版本，联邦算法组件发展至30余个，实现了工业场景算法与主流安全计算协议的全覆盖，其先发优势、技术积累及应用广度获得产学研用的实际验证和一致认可。近日，FATE / KubeFATE v1.10版本正式发布，这是2022年的第三次升级迭代。用户可通过以下网址获取v1.10的发布版：

FATE: https://www.php.cn/link/9b28c32a2fa00d78f5625807177a3db0

KubeFATE: https://www.php.cn/link/1f6922d7e707cc6877ea974d7f920589

与此同时，FATE 2.0版本将顺应开源开放的趋势，推进隐私平台互联互通的能力，提供灵活集成和标准接口的能力，促进异构平台实现互操作性。FATE 2.0 Alpha版本计划于2023年1月推出，正式版预计在2023年第二季度发布，欢迎用户使用和在互联互通方面的合作。有兴趣的用户和开发者可参加FATE开发专委会定期的社区例会，参与相关功能的讨论和实施工作。

1

FATE v1.10版本亮点概述

FATE v1.10版本的发布，显著提升了开发易用性，并集成了硬件指令集加速。整体上，FATE在功能、性能、生产完备性、互联互通等多方面得到了完善和提升。其亮点包括以下四点：

重构了横向和纵向神经网络联邦框架，支持用户自定义神经网络和数据集，降低了深度学习算法接入联邦机制的开发成本；集成了英特尔IPCL Paillier加密库，支持英特尔处理器的最新AVX512/IFMA指令集加速；新增了联邦半监督学习PU-Learning算法；KubeFATE增加了对FATE-Flow的依赖分发和高可用等功能的支持。

2

各模块新版本特色功能一览

此次发布的FATE v1.10版本，对FATE进行了全面升级，开发易用性显著提升，硬件指令集加速集成。此外，新版本对FederatedML、KubeFATE、Fate-Flow、Fate-Board等多个模块进行了更新和改进，各模块的改进点如下：

FederatedML

?横向神经网络基于Pytorch进行了全面升级与重构，支持灵活的模型定制：

支持对复杂训练模型的定制，可直接使用业界主流的pytorch模型，如DeepFM、ResNet、BERT、yolo等；支持多种数据集，可基于pytorch Dataset进行数据集定制化；支持对训练Loss的自定义；支持对整个训练流程的定制化：用户可自行开发client端流程代码与server端聚合逻辑；提供接口支持Aggregator的开发。

?纵向联邦神经网络升级，支持定制化模型以及使用多类型数据集：

支持对top, bottom模型更复杂的定制化需求，可直接使用各类pytorch模型；支持对训练Loss的自定义；支持多种数据集，可基于pytorch Dataset进行数据集定制化。

?横向联邦框架重构升级，适配横向所有算法，更易于开发和定制化算法。

?新增联邦半监督学习PU-Learning算法。

?集成了Intel IPCL同态加密加速库，支持在纵向联邦逻辑回归以及纵向联邦SecureBoost上使用。

?支持基于椭圆曲线的多方安全求交方案。

?支持多方安全计算交集基数的方案。

?纵向联邦特征分箱支持展示最优分箱gini、ks、卡方指标。

?纵向联邦特征分箱支持host方通过model loader加载自定义WOE分箱模型。

?纵向联邦特征分箱支持通过参数配置指定分箱点。

?采样组件支持指定列权重进行采样。

KubeFATE

?支持FATE v1.10.0，FATE-Serving v2.1.6的安装部署。

?支持为FATE-Flow启用依赖分发（dependent_distribution）功能，以更好地适配外部Spark集群。

?支持为部署的Jupyter Notebook设置访问密码以增强安全性。

?更好的支持管理由KubeFATE部署的StatefulSet资源。

?添加更灵活的配置选项以更好的支持和引入外部Pulsar引擎支持。

?支持FATE-Flow的高可用模式。

?解决了定义储存时existingClaim在nodemanager组件上可能失效的问题。

?解决了若干其他已知Bug。

FATE-Flow

?新增连通性检测接口。

?grpc传输数据量限制可配置化。

?修复model deploy按需复制组件问题。

FATE-Board

?sbt树状图叶子节点分流数据展示。

?sample组件新模式数据展示支持。

?新增半监督学习组件展示支持。

?binning组件最优分箱表格数据展示优化。

?针对模型数据请求进行优化过滤。

?样式库优化调整。

?日志展示高度适配优化。

FATE-Client

?flow cli集成最小化测试用例。

?pipeline支持data bind接口，方便用户本地开发调试。

?pipeline支持预测任务重设role和model_id\model_version参数，支持集群party_id变更后的预测使用场景。

FedLCM

根据社区的反馈，v0.2版本的FedLCM中新增了多个重大功能。其中，图形化建模与管理服务Site Portal从这个版本开始可以单独通过docker-compose部署和运行，不再仅能通过Lifecycle Manager来在Kubernetes上部署，并且在v0.2版本中加入了纵向联邦学习的支持。另一方面，生命周期管理服务Lifecycle Manager中对Site Portal的支持进一步增强，同时缩减了操作Kubernetes所需的权限要求，使用典型的仅Namespace的操作权限即可部署KubeFATE和FATE。除此之外，v0.2版本的FedLCM还包括了如下的更新，来进一步方便用户以图形化的方式部署FATE系统和FATE联邦任务，欢迎社区用户使用并提供进一步的反馈。

Lifecycle Manager服务新增了如下功能：

?支持部署1.9版本的KubeFATE、FATE和FATE Exchange；

?自动配置由其部署的Site Portal服务与FML Manager服务的TLS链接；

?支持使用某个或某几个namspace的管理权限来操作Kubernetes；

?在部署FATE系统时可以指定使用外部已存在的基础引擎服务；

?当FedLCM本身运行在Kubernetes上时，不用显示指定kubeconfig即可管理当前集群。

Site Portal服务新增了如下功能：

?Site Portal可以直接通过docker-compose单独部署使用，而不需要必须通过LCM服务部署；

?可以与使用Spark或Eggroll等不同基础引擎的FATE系统集成；

?可使用纵向联邦学习的HeteroLR和HeteroSBT来发起训练任务和预测任务；

?可以纳管已存在于FATE系统的存储引擎Table；

?支持将Site Portal从FML Manager和整个联邦中注销。

欢迎更多的用户和开发者加入FATE开源社区，开源社区的精神在于协作与共赢，社区成员不仅能够获得项目发展带来的成果，也可以通过参与项目贡献回馈社区，形成良性循环，推动整个社区的健康发展。

3

参与FATE开源社区

FATE开源社区是一个开放、平等、包容的学习社区，在这里你不仅可以从众多贡献者处获得技术帮助，还可以通过技术贡献的方式丰富社区资源并帮助其他用户。FATE开源社区欢迎更多开发者和用户加入社区建设并提出反馈意见！

建议关注FATE开源社区的公众号，并加入开源社区用户组：

https://www.php.cn/link/175b0230afbb0ad5a51a2c70b9c768df

https://www.php.cn/link/c39795cb0bf6b6135138917091c41d6d

Github：

https://www.php.cn/link/5ae61e13278118c23dae392753edacf8

公众号：

FATE开源社区

开源社区用户组：

Fate-FedAI @groups.io

开源社区维护者：

FedAI-maintainers @groups.io

开发专委会：

fate-dev-core @groups.io

运营专委会：

FATE-operation @groups.io

安全专委会：

FATE-security @groups.io

欢迎加入FATE联邦学习官方交流群，添加FATE小助手微信号（FATEZS001）即可。

【github直达】：阅读原文或复制链接https://www.php.cn/link/5ae61e13278118c23dae392753edacf8即可，点击star，方便下次使用。