会议 时间 资料 比较match的内容 Qcon 2017 ArchSummit 北京2017大会演讲 PPT 合集 Qcon北京2017PPT合集 百度MPP数据仓库Palo开源架构解读与应用 FreeWheel OLAP实践 美团点评用户行为分析系统的构建与优化 2018 Qcon北京2018合集下载 QCon上海2018大会演讲 PPT 合集 ArchSummit北京2018大会演讲 PPT 合集 快手万亿级实时 OLAP 平台的建设与实践 ...

背景 本文档用于收集程序员基础的系统、语言及组件、生活中的学习资料以及效率工具等信息。 目前还没有细化，只是索引,所以只是一份列表，通过列表可以获取别人整理的细节，而不直接是知识细节。提到的工具，也只是工具列表而不是具体的工具怎么使用。 大家有比较好的资料索引，都可以放上来，对于类目及内容有任何想法都可以直接修改，多人维护效果更好。 所以本文内容就像是这样的一个索引： github上的各种awsome列表 (可以搜索https://github.com/sindresorhus/awesome) 以下是分了大致类目的资料索引: 一、系统 1. ...

一、背景 最近的一个任务是搜索索引数据生产重构，目前亿级以上的搜索引擎基本还是c++的(阿里除外)，我们的也不例外，无论是分词还是写索引文件格式都是c++工具实现，所以这个系统之前也是hadoopStreaming调c++跑在调度系统上的。 任务目标也挺明确，就是压缩现在小时级的做库时间。这样对于业务修改上线、研发人员自测数据这样的生产效率，以及线上系统的可用性，都会有较大的提升。修改的做法简单粗暴，就是用flink或者spark来替换hadoop，减少shuffle以及多次mapReduce之间的持久化操作。 而可以使用的方式，包括JNI/JNA/JNR/SWIG, ...

一、背景 目前越来越多的互联网公司将特征工程集成到机器学习平台中了，而特征工程作为其中非常重要的一环，也在最近两年快速的平台化。我这边遇到的一个需求是将特征存到FeatureService中，以便线上进行预估时读取，按之前的设计，FS是本地缓存-》redis-》TiKV(也有可能是别的基于SSD的kv)。 特征会以的SequenceFile存在HDFS的指定目录, 其中value中的BytesWritable是将原始的特征以protobuf的格式写入，特征平台如果没有proto文件也无法反序列化出来做监控预警，所有的数据传递都是bytes，而线上模型是知道怎么反序列化。 单个的k-v字节数会比较少，例如k可能只是一些id，而value是一些基本特征，就算是embedding的也可能只在50个字节左右。在这篇文章中, Redis百亿级Key存储方案, 提到了如何去优化。我这边做的优化类似，另外对于为什么直接k-v存储的内存占用会的扩大到10倍左右， ...

一、背景 我需要使用udf将hive查询结果中的每一行写出到redis集群里面。当加上limit时，一切正常。 maven-shade-plugin打完包后，进行清理:zip -d target/validater-1.0-SNAPSHOT.jar META-INF/*.RSA META-INF/*.DSA META-INF/*.SF maven-assembly-plugin打包不用清理 进入hive: hive>add jar {localPath} ...

一、命名风格我做得不好的 有时为了让名字短一些，没有描述清楚变量名 DAO没有严格来按方法命名:get,list,count,save/insert,remove/delete,update 二、关于常量做得不好的 常量类需要分开来维护 跨应用共享常量(第二方库中)、应用内共享常量(子模块中的constant目录)、子工程内共享常量(当前子工程的constant目录)、包内共享常量(在当前包下单独的constant目录下)、类内共享常量（直接在类内部private ...

一、背景 一般来说，测试完成后，上线前不用真实的流量测试一下效果，总觉得不太妥，所以需要有工具来copy一下线上流量过来。 项目地址:https://github.com/session-replay-tools/tcpcopy tcpcopy有两种结构，本文介绍的是intercept与测试机就是同一台机器的情况 二、操作 线上服务 aws-vicviz-p2(172.31.12.83):9091 需要转到 aws-vicviz-r2( ...

在回家路上听的广播经济之声的"那些年"节目，从三国聊到了隋唐英雄这段了，前两天说的宇文化及，从他的经历讲到了创业的问题，听着挺有兴趣所以记录一下。 一、有欲望: 宇文化及是被推选出来起哄杀了隋炀帝的，目标是让骁果军能'回家(回北方)'以及'吃饭(能生存)'，自己并没有称王的心，所以拿到了隋最强大的部队也只能在隋唐英雄中失败。 欲望是指对所做产品成功的欲望,例如可以为了产品的成功不惜得罪同事，可以牺牲掉自己的私人时间去做工作上的事情，做这件事已经融入了你的生活。可以模糊掉了上班还是下班的时间概念，或者在下班时间凝聚精力彻底放松在上班的9个小时内能集中精力高效工作全力以赴(程序员高效和不高效战斗力能确实能差好几倍，高效时会累脑袋麻木) 如果想的是" ...

协作 不要为了同事的赞扬，而浪费本能写出更好的工具的时间去做苦力。成为一个好人并没有用，有用的是带领团队做出好业绩，会得到同事们更多的欣赏。 每一次自己轻松的时候，一定是有同事在帮你顶着压力。且行且珍惜。 保持善良的心，保持对生活和对工作的热爱。 维护好个人名片。 工具 不要浪费每一次优化代码的机会，有时候错过了后面就没有机会改了。没有整理过的代码会让后面接手的人很痛苦，会附带着把自己的声誉也会被损掉。 效率来源于程序员工具箱，需要一步步的丰富自己的工具箱，很多事情会事半功倍。常用工具的优化，例如编辑器，开发语言的优化和工具化，会让效率提升很快。之前的工具可以不断的在深度和广度上补充。 点好技能树， ...

使用springboot1.5.6可以非常简单的使用参数完成kafka的客户端集成，而不用再像之前一样写个复杂的config类填参数了。 参考的官网 mvn 配置 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-parent</artifactId> ...

几天前遇到了一些问题，想查看线上的debug日志但是不好重启服务，有人建议使用了一下log4j的日志等级调整。于是写了一个后台api可以简单的实现日志等级调整的接口让后续维护更简单一些，当然起新服务再tcpcopy流量到备份服务上也ok但是麻烦。本文只是记录一下这样可以。 public class LogTools { public static Level changeLevel(String value) { Level nowRootLevel = LogManager.getRootLogger().getLevel(); String nowLevel =nowRootLevel.toString(); if (nowLevel. ...

今天是从纸质书转向电子书的转折点，因为我发现由于小书架空间有限，并且可能几年后还会搬家，以后就不再买纸质书了。想到我还没有一个系统的信息来源获取办法，所以写一篇博客记录一下。 这里记录的是我所不知道的信息的渠道，也就是我的被动推送信息来源。在我打开前，并不知道这里面有什么，只有当我进入这个渠道后，我才知道这里面有哪些信息更新了。例如当我打开微信的看一看，我才知道今天我有哪些新的文章可以阅读。而不是记录哪个网站有某个具体的知识点。 这次整理也有一些反思，写在前面： 与人沟通获取到的信息少得可怜。真人沟通这个渠道在别人那里可能是最主要的信息，很多有价值的信息只有面对面的沟通才会得到，例如一个新的项目、新的生意、更高收益的app和股票、带娃经验、或者新的开源组件。还是性格问题以及太忙， ...

在前东家测试过java8以及java6的性能对比，发现增长不大，另外自己也快离职了所以一直没有升级主服务到java8，自己平时写代码也都基本没有使用新的语言特性，主要还是和别的同事保持一致就好。现在新同事能用新特性的会使用新的特性，产品要求必须是jdk8的环境，所以看一下书记一下看的过程。 lambda表达示 lambda表达式名称源于字母λ，是参数的意思。在java8中可以使用参数，箭头，表达式来组成一个lambda表达式 如果表达式比较复杂不能用一行写清楚，可以放在{}里面 参数一般形式是(类型 参数1，类型 参数2, ...)，对于可以推断出来的类型，可以省略；如果只有一个参数，可以不用小括号； ...