近几年AI大火，深度学习作为AI领域最火的研究子方向，从最早的RBM、Auto-encoder、最原始的CNN、RNN到LeNet、AlexNet、VGG、GoogLeNet、ResNet等多样化的深度网络，深度学习的算法和模型层出不穷，发展迅猛，但所有这些模型的低层原理和子单元却是大同小异殊途同归的。Simon Haykins 这本书详细解读了神经网模型的底层原理、中层的方法论和思想总结、上层复杂模型的构建和应用，虽然这本书出版比较早，但其中的基础原理和方法论一点也不过时，对于理解神经网络和深度学习模型很有帮助，非常值得仔细研读。
以下是精读过程中，做的一些简要的记录，对该书感兴趣而又没有时间细读全书的同学，可以根据以下内容，选择性的挑选相关章节阅读 :) （个人认为前三部分内容是比较普适性的方法论，讲得比较精彩，推荐精读）
15岁上大学，其实保送原因很简单，就是因为数学拿了全国奥林匹克竞赛一等奖
科大少年班 数学+工商管理双学位
01年911，出国三次拒签，初恋在国外，比较失落，就算出国也会回来，大机会在国内
数学是一个研究模型和方法论的学科
一个叫硬件，硬件就像 CPU、内存一样，比如说人的智商、情商、体力、精力等
第二叫思维模型，就是操作系统：对一个事务抽离出来，抽象化思考的低层能力，数学是把任何一个事务抽象化的能力，能够想背后的问题
第三是那些软件，它上面装的各种应用，今天怎么融资，明天怎么带队伍等
特征选择(排序)对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升模型的性能，更能帮助我们理解数据的特点、底层结构，这对进一步改善模型、算法都有着重要作用。
特征选择主要有两个功能：
减少特征数量、降维，使模型泛化能力更强，减少过拟合
增强对特征和特征值之间的理解
拿到数据集，一个特征选择方法，往往很难同时完成这两个目的。通常情况下，我们经常不管三七二十一，选择一种自己最熟悉或者最方便的特征选择方法（往往目的是降维，而忽略了对特征和数据理解的目的）。
在许多机器学习相关的书里，很难找到关于特征选择的内容，因为特征选择要解决的问题往往被视为机器学习的一种副作用，一般不会单独拿出来讨论。
本文将结合Scikit-learn提供的例子介绍几种常用的特征选择方法，它们各自的优缺点和问题。
原创 2018-05-05 潘乱 乱翻书
腾讯总办，左起：汤道生(SNG)/James（首席战略官）/任宇昕（COO兼IEG MIG OMG）/马化腾（CEO）/刘炽平（总裁）/张小龙（WXG）
腾讯正在丧失产品能力和创业精神，变成一家投资公司。
这家快20岁的公司正在变得功利和短视，他的强项不再是产品业务，而是投资财技 。
回归模型评估常用的有四种方法，分别是：平均绝对值误差、均方误差、均方根误差和R平方值，如下表所示：
| 指标 | 描述 | metrics方法 |
|---|---|---|
| Mean Absolute Error(MAE) | 平均绝对误差 | from sklearn.metrics import mean_absolute_error |
| Mean Square Error(MSE) | 均方误差 | from sklearn.metrics import mean_squared_error |
| Root Mean Square Error(RMSE) | 均方根误差 | from sklearn.metrics import root_mean_squared_error |
| R-Squared | R平方值 | from sklearn.metrics import r2_score |
更多评估指标参见 sklearn 官方文档：sklearn.metrics 文档.
本次推文介绍用线性模型处理回归问题。从简单问题开始，先处理一个响应变量和一个解释变量的一元问题。然后，介绍多元线性回归问题（multiple linear regression），线性约束由多个解释变量构成。紧接着，介绍多项式回归分析（polynomial regression问题），一种具有非线性关系的多元线性回归问题。最后，介绍如果训练模型获取目标函数最小化的参数值。在研究一个大数据集问题之前，先从一个小问题开始学习建立模型和学习算法
有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。通过总结和归纳，人们认为特征工程包括以下方面：
选自Medium，作者：Leon Fedden
机器之心编译，参与：Nurhachu Null、刘晓坤
这篇文章基于 GitHub 中探索音频数据集的项目。本文列举并对比了一些有趣的算法，例如 Wavenet、UMAP、t-SNE、MFCCs 以及 PCA。此外，本文还展示了如何在 Python 中使用 Librosa 和 Tensorflow 来实现它们，并用 HTML、Javascript 和 CCS 展示可视化结果。
Jupyter Notebook：https://gist.github.com/fedden/52d903bcb45777f816746f16817698a0
浏览器可视化代码：https://github.com/fedden/umap_tsne_embedding_visualiser
作者希望能和我们分享两个代码库。第一个是用来制作这篇文章的 notebook，它不像我通常喜欢的那样精美，但是花了很长时间，读者可以随意使用并扩展它。
此外，作者也上传了浏览器中的这些可视化代码到 github 上。他使用 Material Design Lite 库以相对简洁的方式创建用户界面，用 THREE.js 库来快速绘制数据并进行优化，还使用 webaudiox.js 可以让音频生成得更容易。
文章从用户生命周期的四个阶段并贴合活跃这一维度，罗列了Pinterest内部关注的20多项指标。从Pinterest我们可以延伸至内容类产品来看待这些指标，因为和电商、互金等产品相比，活跃的波动对内容类产品有着更直接的影响。为了便于理解，文章最终提炼出了19项指标并部分添加了描述和解读，供参考。
文章内容可能会相对比较多，读者可以点击上方目录，直接阅读自己感兴趣的章节。
关于xgboost的原理网络上的资源很少，大多数还停留在应用层面，本文通过学习陈天奇博士的PPT、论文、一些网络资源，希望对xgboost原理进行深入理解。（笔者在最后的参考文献中会给出地址）
说到xgboost，不得不说gbdt，两者都是boosting方法（如图1所示），了解gbdt可以看我这篇文章 地址。
