升级ghost博客系统

背景最近把云服务器从阿里云迁移到了腾讯云,另外域名也是可以迁移的不用再做验证,所以把ghost的服务也迁移了。之前用的还是1.0版本之前的,一晃7年过去了,现在已经到了4.*版本,想了一下还是使用新的吧。 优点: 整体更像是一个产品了,插件完备,安装管理更简单; 不足:1)不能迁移旧的blog(只能中间找个1.0过渡),所以我只是手动copy了一些可能还会用到的过来。2) ...

程序员小资料

背景本文档用于收集程序员基础的系统、语言及组件、生活中的学习资料以及效率工具等信息。 目前还没有细化,只是索引,所以只是一份列表,通过列表可以获取别人整理的细节,而不直接是知识细节。提到的工具,也只是工具列表而不是具体的工具怎么使用。 大家有比较好的资料索引,都可以放上来,对于类目及内容有任何想法都可以直接修改,多人维护效果更好。 所以本文内容就像是这样的一个索引: github上的各种awsome列表 (可以搜索https://github.com/sindresorhus/ ...

java调用c++

一、背景最近的一个任务是搜索索引数据生产重构,目前亿级以上的搜索引擎基本还是c++的(阿里除外),我们的也不例外,无论是分词还是写索引文件格式都是c++工具实现,所以这个系统之前也是hadoopStreaming调c++跑在调度系统上的。 任务目标也挺明确,就是压缩现在小时级的做库时间。这样对于业务修改上线、研发人员自测数据这样的生产效率,以及线上系统的可用性,都会有较大的提升。修改的做法简单粗暴,就是用flink或者spark来替换hadoop,减少shuffle以及多次mapReduce之间的持久化操作。 ...

redis短kv

一、背景目前越来越多的互联网公司将特征工程集成到机器学习平台中了,而特征工程作为其中非常重要的一环,也在最近两年快速的平台化。我这边遇到的一个需求是将特征存到FeatureService中,以便线上进行预估时读取,按之前的设计,FS是本地缓存-》redis-》TiKV(也有可能是别的基于SSD的kv)。 特征会以的SequenceFile存在HDFS的指定目录, 其中value中的BytesWritable是将原始的特征以protobuf的格式写入,特征平台如果没有proto文件也无法反序列化出来做监控预警,所有的数据传递都是bytes,而线上模型是知道怎么反序列化。 单个的k-v字节数会比较少,例如k可能只是一些id,而value是一些基本特征,就算是embedding的也可能只在50个字节左右。 ...

小工具:tcpcopy

一、背景一般来说,测试完成后,上线前不用真实的流量测试一下效果,总觉得不太妥,所以需要有工具来copy一下线上流量过来。 项目地址:https://github.com/session-replay-tools/tcpcopy tcpcopy有两种结构,本文介绍的是intercept与测试机就是同一台机器的情况 二、操作线上服务 aws-vicviz-p2(172.31.12. ...