FM和FFM模型是最近几年提出的模型，凭借其在数据量比较大并且特征稀疏的情况下，仍然能够得到优秀的性能和效果的特性，屡次在各大公司举办的CTR预估比赛中获得不错的战绩。美团点评技术团队在搭建DSP的过程中，探索并使用了FM和FFM模型进行CTR和CVR预估，并且取得了不错的效果。本文旨在把我们对FM和FFM原理的探索和应用的经验介绍给有兴趣的读者。

前言

在计算广告领域，点击率CTR（click-through rate）和转化率CVR（conversion rate）是衡量广告流量的两个关键指标。准确的估计CTR、CVR对于提高流量的价值，增加广告收入有重要的指导作用。预估CTR/CVR，业界常用的方法有人工特征工程 + LR(Logistic Regression)、GBDT(Gradient Boosting Decision Tree) + LR[1][2][3]、FM（Factorization Machine）[2][7]和FFM（Field-aware Factorization Machine）[9]模型。在这些模型中，FM和FFM近年来表现突出，分别在由Criteo和Avazu举办的CTR预测竞赛中夺得冠军[4][5]。

很多朋友很想知道神策分析（Sensors Analytics）是如何实现在每天十亿级别数据的情况下可以做到秒级导入和秒级查询，是如何做到不需要预先指定指标和维度就能实现多维查询的。今天正好在这篇文章里面，和大家交流一下我们的技术选型与具体的架构实现，希望能够对大家有所启发。

当然，脱离客户需求谈产品设计，不太现实；而脱离产品设计，纯粹谈技术选型与架构实现，也不现实。因此，我们首先会跟大家探讨一下神策分析从产品角度，是如何从客户需求抽象产品设计的，而产品设计，又是如何确定我们的技术选型。然后，我们则会从产品的整体架构出发，逐步介绍每一个模块和子系统的具体实现。

Hive是基于Hadoop平台的，它提供了类似SQL一样的查询语言HQL。有了Hive，如果使用过SQL语言，并且不理解Hadoop MapReduce运行原理，也就无法通过编程来实现MR，但是你仍然可以很容易地编写出特定查询分析的HQL语句，通过使用类似SQL的语法，将HQL查询语句提交Hive系统执行查询分析，最终Hive会帮你转换成底层Hadoop能够理解的MR Job。

对于最基本的HQL查询我们不再累述，这里主要说明Hive中进行统计分析时使用到的JOIN操作。在说明Hive JOIN之前，我们先简单说明一下，Hadoop执行MR Job的基本过程（运行机制），能更好的帮助我们理解HQL转换到底层的MR Job后是如何执行的。我们重点说明MapReduce执行过程中，从Map端到Reduce端这个过程（Shuffle）的执行情况，如图所示（来自《Hadoop: The Definitive Guide》）：

精准化营销一直以来都是互联网营销业务在细分市场下快速获取用户和提高转化的利器。在移动互联网爆发的今天，数据量呈指数增长，如何在移动和大数据场景下用数据驱动进行精准营销，从而提高营销效能，成为营销业务部门的主要挑战之一，同时也是大数据应用的一个重要研究方向。本文通过数据体系架构和技术实现案例，分享美团大众点评数据应用团队在这个方向上的一些尝试和实践经验。

总体框架

在介绍数据体系和框架前，为了方便大家理解，先简单阐述一下O2O营销的基本组成：O2O营销是由营销发生的渠道（站内，站外）与营销的主题业务（流量，交易）两个维度组成的，其中产生了多种营销的形态，如精准化用户营销活动、DSP的精准投放、渠道价值排名和反作弊等，数据分析和挖掘在这些环节都能发挥很大的价值。本文主要阐述站内的精准化用户营销活动。

一个站内用户运营活动的生命周期大概可以归纳为：确定目标、选取活动对象、设计活动方案、活动配置与上线、线上精准营销与动态优化以及效果监控与评估六个环节。如下图所示。

一、神经网络中隐层数和隐层节点数问题的讨论

1.1 隐层数

一般认为，增加隐层数可以降低网络误差（也有文献认为不一定能有效降低），提高精度，但也使网络复杂化，从而增加了网络的训练时间和出现“过拟合”的倾向。一般来讲应设计神经网络应优先考虑3层网络（即有1个隐层）。一般地，靠增加隐层节点数来获得较低的误差，其训练效果要比增加隐层数更容易实现。对于没有隐层的神经网络模型，实际上就是一个线性或非线性（取决于输出层采用线性或非线性转换函数型式）回归模型。因此，一般认为，应将不含隐层的网络模型归入回归分析中，技术已很成熟，没有必要在神经网络理论中再讨论之。

这是很早前（2012年底）小龙在腾讯内部的8h分享，15年下半年有个一起封陪的小伙伴离职创业了，离职前在朋友圈提到了了这个分享，才知道有这个仅内部的闭门分享，于是也完整的听了一遍，做了一些关键信息的笔记。在很长一段时间里，这个分享都没有对外公开的资料，最近看到一个相对完整的资料是15年9月的这个：164页PPT。

以下是我个人观看的笔记：

微信背后的产品观——张小龙，2012年8月，准备了半年，平时的想法记录。

微信回顾

✔433天，1亿用户。10年11月19日立项，11年1月发布1.0，5月2.0，10月3.0，12年4月4.0
✔成为移动互联网新入口

Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。

在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有了比较深入的理解。对这一过程的理解不仅帮助我们解决了一些Hive的bug，也有利于我们优化Hive SQL，提升我们对Hive的掌控力，同时有能力去定制一些需要的功能。

本文翻译自英文文章，原文作者 ReddyNHema，以下是译文。

我在IT行业工作超过14年，但技术为满足业务需求而快速演进的步伐仍然令我惊叹不已。技术计算的发展历程从最早占据整个房间的计算机，到大型机，再到个人电脑，然后是Web和SaaS应用，接着是移动设备，如今又到了云计算和物联网时代。

正是这段漫长的发展历程，使得大数据成为了世界上最新的自然资源。大数据的价值不言自明，而企业对能够释放这些价值的强大分析能力的需求日益迫切。企业领导者不再质疑数据中是否蕴含价值，他们只想知道如何提取这些价值，以更好地了解客户并满足关键业务需求。

这种需求催生了一代数据丰富、分析驱动的企业，它们热切地关注着大数据和分析领域的趋势。下面让我们深入了解IBM如何帮助客户找到创新的大数据解决方案。

1. 数据化驱动的创新

数据是竞争优势的新基础。利用数据和高级分析的企业能够将洞察转化为创新，创建高效的新业务流程，为战略决策提供信息支撑，并在多个方面超越同行。

一、背景介绍

最近1~2年电商行业飞速发展，各种创业公司犹如雨后春笋大量涌现，商家通过各种活动形式的补贴来获取用户、培养用户的消费习惯。

但任何一件事情都具有两面性，高额的补贴、优惠同时了也催生了"羊毛党"。

"羊毛党"的行为距离欺诈只有一步之遥，他们的存在严重破环了活动的目的，侵占了活动的资源，使得正常的用户享受不到活动的直接好处。

今天主要分享下腾讯自己是如何通过大数据、用户画像、建模来防止被刷、恶意撞库的。

在线音乐服务已经成为了大势所趋。但是如何在这个领域胜出呢？答案只有一个： 针对每一个用户量身打造最适合他音乐品味的歌单 。Spotify 就在这方面给我们做了很好的示范。它不是人们所想象的那样单纯凭借智能算法来做到这一切，真正有效的方式是人工筛选与计算机算法有机结合起来！

Spotify 上有一个播放歌单「Discover Weekly」。这个列表每周一就会收录各式各样的歌曲，做全面的更新.有一些歌也许耳熟能详，有一些也许从来没听过，但是它们无一例外的全部击中每一个用户的内心。人们纷纷表示这个歌单里面每一首都要值得收藏！ Spotify 似乎有着一种洞悉每一个人内心喜好的魔力，对每一个人的音乐品味都了如指掌！