强化学习、联邦学习、图神经网络,飞桨全新工具组件详解
机器之心Pro
机器之心发布
机器之心编辑部
11 月 5 日,在 Wave Summit+2019 秋季深度学习开发者峰会上,飞桨全新发布和重要升级了最新的 21 项进展,在深度学习开发者社区引起了巨大的反响。
很多未到场的开发者觉得遗憾,希望可以了解飞桨发布会背后的更多技术细节,因此我们特别策划了一个系列稿件,分别从核心框架、基础模型库、端到端开发套件、工具组件和服务平台五个层面分别详细解读飞桨的核心技术与最新进展,敬请关注。
今天给大家带来的是系列文章之飞桨工具组件解读。
飞桨深度学习平台工具组件,包括 PaddleHub 迁移学习、PARL 强化学习、PALM 多任务学习、PaddleFL 联邦学习、PGL 图神经网络、EDL 弹性深度学习计算、AutoDL 自动化深度学习、VisualDL 训练可视化工具等,旨在推动前沿深度学习技术的产业化落地,满足多样的产业需求。下面带来飞桨深度学习平台工具组件详细解读,核心内容 3993 字,预计阅读时间 4 分钟。

PaddleHub 迁移学习

PaddleHub 是预训练模型管理和迁移学习工具。开发者通过使用预训练模型,可以更便捷地开展迁移学习工作。PaddleHub 主要有以下特点:
丰富的预训练模型库
飞桨的预训练模型库,目前主要覆盖自然语言处理和计算机视觉两个方向,包含图像分类、目标检测、词法分析、语义模型、情感分析、语言模型、视频分类、图像生成、图像分割等 70 多个技术领先的而且经过长期的产业实践验证的优质模型,可以帮助开发者快速开始。
少量代码即可完成迁移学习
PaddleHub Fine-tune API 的开发,目的是帮助开发者降低迁移学习的门槛。在预训练模型的领域,我们可以认为模型都是标准化的,有标准化的输入,也有标准化的输出,跟软件是样的模块化。通过自定义数据集,再加上 Fine-tune API,组网的工作可以通过一行代码搞定,而且 PaddleHub 集成了工业级简单实用的策略,包括数据的预处理等,可供开发者尝试。同时,引入『模型即软件』的设计理念,通过 Python API 或者命令行实现一键预测,更方便地应用飞桨模型库。

支持超参优化,自动搜索超参数
PaddleHub AutoDL Finetuner 提供一个黑盒优化的策略,目标是用尽可能少的次数来找到一个更好的超参,使得我们的模型在验证集上的指标更好。这个问题没有很明确的公式描述,因此需要通过黑盒优化的技术来求解:通过定义一个超参的类型和范围,让机器来自动搜索,而且对于任意的机器学习的代码都可以使用黑盒优化,可以帮助开发者提高整个超参优化的效率。
通过 Hub Serving,实现一键 Module 服务化部署
Hub Serving 是为用户端到端体验打造的,从预训练模型快速的生成 API 的服务,可以实现安全可控、支持私有化的部署。开发者可以基于 PaddleHub 开放的模型在自己的企业内部搭建起预训练模型和服务,并通过 API 调用的方式快速接入。客户端的应用方式非常简单,通过我们最经典的 HTTP 的方式,可以快速的使用这些预训练模型,让更多的人能够用到预训练模型的效果。