Machine-Learning

机器学习原理

机器学习原理笔记整理. Gitbook地址https://shunliz.gitbooks.io/machine-learning/content/
前半部分关注数学基础，机器学习和深度学习的理论部分，详尽的公式推导。
后半部分关注工程实践和理论应用部分

内容基本都是从互联网上扒来的，侵权的话联系：[email protected]。

如何贡献？

赞助

如果您觉得这个资料还不错，您也可以打赏一下。

由于我可爱的女儿出生，最近半年这个仓库都没有更新。昨天收到可爱的T*o同学的打赏，提醒我要坚持更新。

• 前言
• 第一部分 数学基础
• 第一章 数学分析
  • 常用函数
  • 牛顿法
  • 梯度下降
  • 最小二乘
  • 拉格朗日乘子法（Lagrange Multiplier) 和KKT条件
  • 凸优化
  • 数值计算
• 第二章 概率论和统计
  • 统计学习方法概论
  • 最大似然估计
  • 蒙特卡罗方法
  • 马尔科夫链
  • MCMC采样和M-H采样
  • Gibbs采样
• 第三章 线性代数和矩阵
  • LAPACK
  • 特征值与特征向量
• 第二部分 机器学习
• 第四章 机器学习基础
  • 机器学习库（numpy,scikit,scipy）
  • 机器学习库（Pandas,pySpark）
  • 机器学习库（tensorflow, keras）
  • 机器学习库（scipy,matplotlib）
  • 模型度量
  • 交叉验证
  • 生成模型和判别模型
  • 机器学习中的距离
  • 机器翻译模型度量
  • 模型选择
  • 常用激活函数总结
  • 深度学习损失函数
• 第六课：数据清洗和特征选择
  • PCA
  • ICA
  • scikit-learn PCA
  • 线性判别分析LDA
  • 用scikit-learn进行LDA降维
  • 奇异值分解(SVD)原理与在降维中的应用
  • 局部线性嵌入(LLE)原理
  • scikit-learn LLE
  • Spark特征提取
  • 数据图示分析
  • 异常数据监测
  • 数据预处理
  • 特征工程
  • 区分度评估指标(KS)
  • 变量编码方法
    • One-hot编码
    • 数据处理：离散型变量编码及效果分析
  • 变量分箱方法
    • 最优卡方分箱法
    • Best-KS分箱方法
    • 最优IV分箱方法
    • 基于树的最优分箱方法
  • 变量选择
    • 特征筛选
    • spark特征选择
    • 过滤法
    • 包装法
    • 嵌入法
• 第七课： 回归
  • 1. 线性回归
  • 10.最大熵模型
  • 11.K-L散度
  • 坐标下降和最小角
  • 线性回归小结
  • Logistic回归
  • Logistic回归小结
  • SoftMax回归
• 第九课：决策树
  • ID3
  • C4.5
  • CART
  • 总结
  • 实现代码
• 第十三课：SVM
  • 感知机模型
  • 线性SVM
  • 软间隔最大化模型
  • 核函数
  • SMO算法原理
  • SVM回归
  • scikit-learn SVM
  • 支持向量机高斯核调参
  • SVM代码实现
• 集成学习
  • Adaboost原理
  • scikit-learn Adaboost
  • 梯度提升树（GBDT）
  • scikit GBDT
  • Bagging与随机森林
  • XGBOOST
  • scikit-learn 随机森林
• 第十五课：聚类
  • K-Mean
  • KNN
  • scikit-learn KNN
  • KNN 代码
  • scikit-learn K-Means
  • BIRCH聚类算法原理
  • scikit-learn BIRCH
  • DBSCAN密度聚类算法
  • scikit-learn DBSCAN
  • 谱聚类（spectral clustering）原理
  • scikit-learn 谱聚类
  • 近邻传播算法
  • 混合高斯模型
• 关联分析
  • 典型关联分析(CCA)原理
  • Apriori算法原理
  • FP Tree算法原理
  • PrefixSpan算法原理
  • Spark FP Tree算法和PrefixSpan算法
• 推荐算法
  • 矩阵分解协同过滤推荐算法
  • SimRank协同过滤推荐算法
  • Spark矩阵分解推荐算法
  • 分解机(Factorization Machines)推荐算法原理
  • 美团推荐算法
  • MapReduce ItemCF
  • 基于标签的用户推荐系统
  • 10种传统机器学习算法，阿里工程师总结
• 第十七课：EM算法
• 第十九课：贝叶斯网络
  • 朴素贝叶斯
  • scikit-learn朴素贝叶斯
  • 朴素贝叶斯实际应用
  • 朴素贝叶斯代码
  • 变分贝叶斯推断
• 第二十一课：LDA主题模型
• 第二十三课：隐马尔科夫模型HMM
  • HMM前向后向算法评估观察序列概率
  • 鲍姆-韦尔奇算法求解HMM参数
  • 维特比算法解码隐藏状态序列
  • 用hmmlearn学习隐马尔科夫模型HMM
  • 马尔科夫蒙特卡洛
• 条件随机场CRF
  • 从随机场到线性链条件随机场
  • 前向后向算法评估标记序列概率
  • 维特比算法解码
• 第三部分 深度学习
• 深度学习层
  • 核心层
  • 卷积层
  • 池化层
  • 局部连接层
  • 循环层
  • 嵌入层
  • 合并层
  • 高级激活层
  • 归一化层
  • 噪声层
  • 层包裹
  • 自定义层
• 第二十五课：深度学习
  • 基本概念
  • 深度神经网络（DNN）模型与前向传播算法
  • 深度神经网络（DNN）反向传播算法(BP)
  • 反向传播
  • 反向传播2
  • DNN损失函数和激活函数的选择
  • 深度神经网络（DNN）的正则化
  • 参考文献
• 第二十六课 卷积神 经网络(Convolutional Neural Netowrk)
  • 卷积神经网络(CNN)模型结构
  • 卷积神经网络(CNN)前向传播算法
  • 卷积神经网络(CNN)反向传播算法
• 对抗生成网络(Generative Adversarial Networks)
  • GAN原理
  • InfoGAN
  • DCGAN
  • VAE
• 受限波尔兹曼机
  • RBM code
  • DBN
  • RBM原理
• RNN
  • Bidirectional RNNs
  • Deep (Bidirectional) RNNs
  • LSTM模型与前向反向传播算法
  • 随时间反向传播（BPTT）算法
  • 循环神经网络(RNN)模型与前向反向传播算法
• 自动编码器
  • 堆叠降噪自动编码器
  • 降噪自动编码器
  • sparse自动编码器
  • Keras自动编码器
• word2vec
  • CBOW与Skip-Gram模型基础
  • 基于Hierarchical Softmax的模型
  • 基于Negative Sampling的模型
• 强化学习
  • Q-Learning
  • 梯度下降策略优化推导
  • 策略网络
  • bandit算法
  • 蒙特卡洛树搜索
  • 多臂赌博机(Multi-arm Bandits)
  • 马尔可夫决策过程MDP
  • 动态编程
  • 蒙特卡洛方法
  • 时序差分学习
  • A3C算法
  • Multi-steps bootstraping
  • Planning and Learning with Tabular Methods
  • DQN
  • Policy Gridient
  • Actor Critic
  • DDPG (Deep Deterministic Policy Gradient)
  • PPO(Proximal Policy Optimization )
  • Alpha-Beta剪枝算法详解
  • 流式在线学习
• 进化算法
  • 遗传算法
  • 进化策略
  • NEAT
• 迁移学习
  • TrAdaBoost
  • JDA
  • DTELM
• 自然语言处理
  • 文本挖掘的分词原理
  • HashTrick
  • TF-IDF
  • 中文文本挖掘预处理
  • 英文文本挖掘预处理
  • 潜在语义索引(LSI)
  • 非负矩阵分解(NMF)
  • LDA基础
  • LDA求解之Gibbs采样算法
  • LDA求解之变分推断EM算法
  • scikit-learn LDA主题模型
  • beam search
  • 词向量Glove
  • ELMo
• 语音识别
  • GMM-HMM
  • 目录
• 大模型
  • seq2seq
  • Transformer
    • Transformer输入
    • Attention注意力机制
    • Encoder 结构
    • Decoder结构
  • FlashAttention
  • BERT
  • MOE
  • [ViT](bm