Bill's Blog

【美团】Hive SQL的编译过程详解

Hive是基于Hadoop的一个数据仓库系统,在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建,每天执行近万次的Hive ETL计算流程,负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。 在几次升级Hive的过程中,我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力,在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程...

【译】大数据分析八大趋势及企业启示

本文翻译自英文文章,原文作者 ReddyNHema,以下是译文。 我在IT行业工作超过14年,但技术为满足业务需求而快速演进的步伐仍然令我惊叹不已。技术计算的发展历程从最早占据整个房间的计算机,到大型机,再到个人电脑,然后是Web和SaaS应用,接着是移动设备,如今又到了云计算和物联网时代。 正是这段漫长的发展历程,使得大数据成为了世界上最新的自然资源。大数据的价值不言自明,而企业对能够...

【高可用架构】腾讯基于用户画像大数据的电商防刷架构

一、背景介绍 最近1~2年电商行业飞速发展,各种创业公司犹如雨后春笋大量涌现,商家通过各种活动形式的补贴来获取用户、培养用户的消费习惯。 但任何一件事情都具有两面性,高额的补贴、优惠同时了也催生了”羊毛党”。 “羊毛党”的行为距离欺诈只有一步之遥,他们的存在严重破环了活动的目的,侵占了活动的资源,使得正常的用户享受不到活动的直接好处。 今天主要分享下腾讯自己是如何通过大数据、用户画像...

揭秘:Spotify 是如何实现歌曲的个人品味精准推送的

在线音乐服务已经成为了大势所趋。但是如何在这个领域胜出呢?答案只有一个: 针对每一个用户量身打造最适合他音乐品味的歌单。Spotify 就在这方面给我们做了很好的示范。它不是人们所想象的那样单纯凭借智能算法来做到这一切,真正有效的方式是人工筛选与计算机算法有机结合起来! Spotify 上有一个播放歌单「Discover Weekly」。这个列表每周一就会收录各式各样的歌曲,做全面的更新....

【标点符】腾讯分析系统架构解析

TA(Tencent Analytics,腾讯分析)是一款面向第三方站长的免费网站分析系统,在数据稳定性、及时性方面广受站长好评,其秒级的实时数据更新频率也获得业界的认可。本文将从实时数据处理、数据存储等多个方面带你深入探寻TA的系统架构及实现原理。 网站分析(Web Analytics)主要指的是基于网站的用户浏览行为,对网站的点击流数据和运营数据进行分析,以监控网站的运营状况,为网站的...

Google C++ 编程规范要点总结

Google C++ Style Guide是业界最为著名的C++编程规范之一。本文对其核心要点进行梳理总结,涵盖头文件管理、命名规范、类设计、内存管理等方面。 1. 头文件(Header Files) 通常每个 .cc 文件应该有一个配套的 .h 文件. 常见的例外情况包括单元测试和仅有 main() 函数的 .cc 文件. 正确使用头文件会大大改善代码的可读性和执行文件的大小、性...

徽杭古道之行

这一阵子一直都在忙着写论文,改论文,改论文,再改论文,还是该论文,上周末终于抽出一点时间去离杭州不远的徽杭古道玩了两天,这周又忙于专利、预审、写开题报告、考驾照等等等,所以拖到现在才写这个游记(其实主要是帖照片了),我也是醉了。 下面是徽杭古道安徽绩溪入口处,大约12点左右就到这儿了。注意要在这个地方买票哦(全价¥68),检票口在后面。。。 下图是上图入口处的古道全程景点示意图 ...

匆匆2014

匆匆又一年。 这段时间一直都在忙着写毕业论文,快一个月没有更新博客了,昨天是2014最后一天,也是学校举行的第一个学生节,在去紫荆港吃免费晚餐前将论文的模板提交到了github,这也是2014年最后一次commit了。在校园的最后一个跨年和元旦,就这样一个人在风雨操场看现场晚会度过了。今天是新年的第一天,又是一个人宅在实验室边听着二次元plus萌系的SNH48的『化作樱花树』边写着这篇本该...

《你不可不知道的音乐大师及其名作》读书笔记

豆瓣链接:你不可不知道的音乐大师及其名作 花了接近两个月的时间,终于把这本厚达623页的书看完了,这本书主要讲述了31位在音乐史上赫赫有名、贡献卓著的音乐大师的生平及其著名代表作,主要是西方古典音乐大师,包括我们耳熟能详的巴赫、海顿、莫扎特、贝多芬、舒伯特、肖邦等等,本文整理一下书中这些音乐大师及其代表作。 1、巴赫(Bach,1685-1750,音乐之父):1685年3月21日,出生于...