针对 PyTorch 的自动架构搜索和超参数优化
Copyright (C) 2021 AutoML Groups Freiburg 和 Hannover 虽然早期的 AutoML 框架主要专注于优化传统的 ML 工作流及其超参数,但 AutoML 中的另一个趋势是专注于神经架构搜索。为了将这两个领域的优势结合起来,我们开发了 Auto-PyTorch,该框架同时且可靠地优化网络架构和训练超参数,从而实现完全自动化的 深度学习 (AutoDL)。
Auto-PyTorch 主要用于支持表格数据(分类、回归)和时间序列数据(预测)。关于 Auto-PyTorch 表格数据的最新功能,请参阅论文 "Auto-PyTorch Tabular: Multi-Fidelity MetaLearning for Efficient and Robust AutoDL" (下面有 bibtex 引用)。有关 Auto-PyTorch 用于多个横向时间序列预测任务的详细信息,请参阅论文 "Efficient Automated 深度学习 for Time Series Forecasting" (也请参阅下面的 bibtex 引用)。
从 v0.1.0 版开始,AutoPyTorch 进行了更新,通过使用 SMAC 作为底层优化包以及更改代码结构,进一步提高了可用性、可靠性和效率。因此,从 v0.0.2 版升级到 v0.1.0 版会导致兼容性问题。如果您想使用旧的 API,可以在 master_old 中找到。
在图中,数据由用户提供,而组合是一组在多种数据集上表现良好的神经网络配置。当前版本仅支持论文《Auto-PyTorch Tabular: Multi-Fidelity MetaLearning for Efficient and Robust AutoDL》中描述的贪婪组合。该组合用于启动 SMAC 的优化过程。换句话说,我们将在提供的数据上对该组合进行评估,以作为初始配置。然后,API 将启动以下过程:
暂无开放 Issues,或尚未同步最近议题。