当前动态:解剖屎山,寻觅黄金之第二弹
大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内容达到N次去重和一天内N次相同渠道频次去重。
(相关资料图)
在最开始,我的第一版实现是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//运营总规则去重(一天内用户收到最多同一个渠道的消息次数)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}
那时候很简单,基本主体逻辑都写在这个入口上了,应该都能看得懂。后来,群里滴滴哥表示这种代码不行,不能一眼看出来它干了什么。于是怒提了一波pull request重构了一版,入口是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}
我猜想他的思路就是把构建去重参数和选择具体的去重服务给封装起来了,在最外层的代码看起来就很简洁了。后来又跟他聊了下,他的设计思路是这样的:考虑到以后会有其他规则的去重就把去重逻辑单独封装起来了,之后用策略模版的设计模式进行了重构,重构后的代码 模版不变,支持各种不同策略的去重,扩展性更高更强更简洁
确实牛逼。
我基于上面的思路微改了下入口,代码最终演变成这样:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}
到这,应该大多数人还能跟上吧?在讲具体的代码之前,我们先来简单看看去重功能的代码结构(这会对后面看代码有帮助)
去重的逻辑可以统一抽象为:在X时间段内达到了Y阈值,还记得我曾经说过:「去重」的本质:「业务Key」+「存储」。那么去重实现的步骤可以简单分为(我这边存储就用的Redis):
通过Key从Redis获取记录判断该Key在Redis的记录是否符合条件符合条件的则去重,不符合条件的则重新塞进Redis更新记录为了方便调整去重的参数,我把X时间段和Y阈值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有两种去重的具体实现:
1、5分钟内相同用户如果收到相同的内容,则应该被过滤掉
2、一天内相同的用户如果已经收到某渠道内容5次,则应该被过滤掉
从配置中心拿到配置信息了以后,Builder就是根据这两种类型去构建出DeduplicationParam,就是以下代码:
DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);
Builder和DeduplicationService都用了类似的写法(在子类初始化的时候指定类型,在父类统一接收,放到Map里管理)
而统一管理着这些服务有个中心的地方,我把这取名为DeduplicationHolder
/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMap serviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}
前面提到的业务Key,是在AbstractDeduplicationService的子类下构建的:
而具体的去重逻辑实现则都在LimitService下,{一天内相同的用户如果已经收到某渠道内容5次}是在SimpleLimitService中处理使用mget和pipelineSetEX就完成了实现。而{5分钟内相同用户如果收到相同的内容}是在SlideWindowLimitService中处理,使用了lua脚本完成了实现。
LimitService的代码都来源于@caolongxiu的pull request,建议大家可以对比commit再学习一番:https://gitee.com/zhongfucheng/austin/pulls/19
1、频次去重采用普通的计数去重方法,限制的是每天发送的条数。
2、内容去重采用的是新开发的基于redis中zset的滑动窗口去重,可以做到严格控制单位时间内的频次。
3、redis使用lua脚本来保证原子性和减少网络io的损耗
4、redis的key增加前缀做到数据隔离(后期可能有动态更换去重方法的需求)
5、把具体限流去重方法从DeduplicationService抽取出来,DeduplicationService只需设置构造器注入时注入的AbstractLimitService(具体限流去重服务)类型即可动态更换去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是当前的时间戳
针对滑动窗口去重,有会引申出新的问题:limit.lua的逻辑?为什么要移除时间窗口的之前的数据?为什么ARGV[4]参数要唯一?为什么要expire?
A: 使用滑动窗口可以保证N分钟达到N次进行去重。滑动窗口可以回顾下TCP的,也可以回顾下刷LeetCode时的一些题,那这为什么要移除,就不陌生了。
为什么ARGV[4]要唯一,具体可以看看zadd这条命令,我们只需要保证每次add进窗口内的成员是唯一的,那么就不会触发有更新的操作(我认为这样设计会更加简单些),而唯一Key用雪花算法比较方便。
为什么expire?,如果这个key只被调用一次。那就很有可能在redis内存常驻了,expire能避免这种情况。
推荐项目最后再叨叨吧,很多人可能会发一段截图,跑来问我为什么要这样写,为什么要以这种方式实现,能不能以这种方式实现。这时候,我更想看到的是:你已经实现了第二种方式了,然后探讨你写的这种方案好不好,现有的代码差在哪里。
毕竟问问题很简单,我又不是客服,总不能没诚意的问题我都得一一回答吧。
如果想学Java项目的,我还是强烈推荐我的开源项目消息推送平台Austin,可以用作毕业设计,可以用作校招,可以看看生产环境是怎么推送消息的。
仓库地址(可点击阅读原文跳转):https://gitee.com/zhongfucheng/austin
我开通了股东服务内容,感兴趣可以点击下方看看,主要针对的是项目哟
VIP服务
标签:
抢先读
- 生肖运势:6月20号起,喜迎运势上上签,财运、桃花运都直线飙升
- 聚焦“天府菜油”丨另辟蹊径 中豪粮油开辟黄菜籽油全新赛道 快讯
- 外媒:英特尔将从德国政府获得近110亿美元的补贴 世界观点
- 暗访|谁“偷”了我的信息:星巴克扫码点餐时3次弹窗加会员,“Wagas”霸王要位置
- 环球热消息:国企招聘应届毕业生有80后?回应来了
- Economic Watch: China intensifies moves to bolster economy as recovery continues
- 推荐一款轻量级全栈式开源测试平台!_全球今热点
- 聚焦服务高成长创新型企业 2023年创业军机处启动
- amd确认mi300xgputbp为750w|天天播资讯
- 全球速讯:商务部部长助理陈春江会见嘉吉公司全球总裁兼首席执行官尚博远
- 2023乌当区幼升小报名对象 世界快播报
- COSMO态度:流行下去,才是传统
- 银行结汇是什么意思 银行结汇需要提交什么资料_全球新视野
- 杭州最新规划了42处郊野公园 来看看分布在哪些地方?
- 每日聚焦:DraftKings(DKNG.US)出价1.95亿美元收购PointsBet美国业务 较Fanatics报价高30%
- 每日报道:23068期大乐透晒票,无论跌了多少次,你都要坚强地再次站起来
- 第十五届海峡论坛准备就绪 邀请台湾嘉宾5000余人
- 宝骏云朵续航曝光:2款车型 续航360/460km_世界快讯
- 全球今头条!伊朗媒体:美国打造“亚洲版北约”是场危险游戏 注定以失败收场
- 我省首批城市公园绿地开放共享清单 225个公园可供休闲游憩
- 【天天速看料】肌底液可以天天用吗 ?使用要规律
- 宁夏固原警方打掉一集资诈骗犯罪团伙 涉案资金1.8亿余元
- 天天通讯!城地香江:公司目前自持3个数据中心项目
- 小小说短篇小说_小小说作家网_当前关注
- 微资讯!DIGITIMES Research:印度电信行业将在2023年快速部署5G
- 中国人寿海外公司获批注册资本变更为110.56亿元|天天播报
- 中国香港老戏骨张英才去世:曾出演张卫健版《西游记》|每日资讯
- 2023小米徕卡影像大赛特展开幕,小米携手周云蓬用影像讲述心里的故事 世界看热讯
- 普通白领怎么赚钱? 做到这四点就可以
- 世界银行新行长彭安杰:中国不是竞争对手
- 直击梅西中国行,快手上线独家专访,60分钟累计观看人数达1.5亿
- 6月16日华泰柏瑞匠心臻选混合A净值上涨1.29%
- 6月18日起,胜利西街清平路交叉口将半封闭施工
- 微动态丨警方通报“球迷冲场拥抱梅西”:邸某某,18岁,行拘
- 6月16日中石化西布尔丁腈橡胶价格下调 每日信息
- 东方精工:嘉腾机器人是国内领先的AGV及智能物料配送解决方案提供商
- 深圳宝安新桥街道:筑牢全社会安全生产防线保障高质量发展
- 五部门:加强种业振兴等农业关键核心技术攻关金融支撑|速读
- 保护千年古城 安徽黟县向全球聘贤
- 【世界播资讯】助力汽车产业高质量发展 第十四届山东汽博会开幕
- 焦点!发布千亿投资机会 成都未来公园社区沪上“吸金”
- 全球快消息!莎莎国际2023财年实现扭亏为盈 内地版图正加速缩减
- 环球微速讯:《封神第一部》《超能一家人》等80余部影片鏖战暑期档!
- 英德市气象台发布暴雨黄色预警【III级/较重】【2023-06-16】
- 复星医药(02196):注射用拉氧头孢钠获药品注册批准_热消息
- 赣锋锂业:终止与PMI代加工合作协议
- 环球视讯!(成都大运纪事)成都大运会5个项目53个场次门票首批开售
- 快看点丨什么水果维生素C含量高 维生素c含量最高的十种水果
- 德固特(300950.SZ)股东上海青望及魏锋合计减持225万股 减持数量过半|天天资讯
- 环球视点!注意!下周要调仓换股了!
- 刚刚,“中特估”狂飙!更大行情已开始? 世界微速讯
- 当前滚动:河南省渑池县发布大风蓝色预警
- 自媒体:梅西今晚启程去罗萨里奥,预计参加里克尔梅的退役赛_全球即时
- 全球热文:婴幼儿奶粉板块股票有哪些?婴幼儿奶粉板块股票一览
- 吉林延边打造东北亚最大纺织服装生产加工集散地
- 【天天报资讯】房企“门外汉”逆势入场,房地产市场格局迎来深度调整?
- 江门深入推进专项整治标本兼治 大力加强执法队伍建设-快资讯
- 鼎信通讯:预中标4亿元电网采购项目 环球快报
- 独家对话天文学家邓李才:在冷湖仰望星空 打造国际最好的天文台-每日消息
- 我国首艘海陆一体化生产运营的智能FPSO“海洋石油123”交付
- 普京:俄罗斯2023年4月GDP同比增长3.3%
- 今亮点!生态环境部:从未授权“生态环境导向的开发(EOD)模式”项目相关活动
- 前沿资讯!巨星待遇!孙兴慜替补待命,记者纷纷将相机对准替补席的韩国天王
- 世界观点:每日优鲜再被执行215万,未履行总金额2396万余元
- 慈利:释青春活力 展运动风采 环球快讯
- 环球简讯:中国科学家发现沙漠变土壤“密码”
- 焦点热门:发言人来了|个个会应急!江北区11人获评“最美应急人”
- SHEIN产品环保问题惹争议,在法国发展受阻
- 形容大树生长茂盛的词语_形容大树生长的词语 环球热点评
- 一图读懂“亮剑浦江”上海个人信息保护专项行动:为期半年,“剑”指八大消费场景-前沿资讯
- 世界看热讯:埃曼纽尔施_埃曼纽尔 施
- 北向资金今日大幅净买入105.46亿元
- 天天视点!莫桑比克主要反对党最后一座军事基地关闭
- 仰望登临粤港澳大湾区车展,仰望U8、U9成展会焦点|简讯
- 天天新动态:试车日志 | 凯迪拉克GT4:面子和里子我都要
- 用户故事 | 思看科技 X 东芝水电:协同创新,聚力能源数字化未来
- 世界银行新行长彭安杰:中国不是竞争对手 全球热头条
- 伊朗媒体:美国打造“亚洲版北约”是场危险游戏 注定以失败收场
- 河北藁城:强筋麦成为农民的“增收麦”
- 花都区打造全省唯一“互联网+”现代农业产业园 当前资讯
- 全新首发!40年前考古镜头记录了什么?|全球热资讯
- 世界热点评!4层以上住户留意了,新规下,高层住宅将消失?这“3类人”将受益
- “长沙GDP被郑州反超?”——综合因素分析 观天下
- 今头条!国家发改委:统调电厂存煤达历史新高 迎峰度夏电力保供基础坚实
- 第十届“创青春”中国青年创新创业大赛启动报名_当前信息
- 2023昆明市第七届运动会闭幕式时间及地点 时快讯
- 郑尧:爱学习的妈妈
- 动力参数亮眼/调校有待提升 凯翼昆仑500试驾体验
- 呼和浩特:校园足球联赛点燃夏日激情 世界信息
- 心意之礼 致敬父爱 尼康诚意佳作献礼父亲节 天天观速讯
- 【世界聚看点】许金泉获批担任富邦财险董事长
- 每日简讯:通信设备板块涨2.91% 光库科技涨20%居首
- 瀚铠RX 7900 XT次旗舰显卡 直降1320元! 世界热闻
- 每日热点:国产开放世界游戏《仙剑世界》开启预载,推荐 RTX 3060 显卡
- “法律援助进校园”活动走进西安高新第二小学 全球微动态
- 橱柜专家融合技艺创新 海南砖体橱柜引领行业潮流
- 央企入局,中海抄底摘得紫兰苑地块 世界信息
- 焦点快播:东吴证券:二季度相对明确的基本面拐点确立 建议重视保险板块回调带来的布局机会
- 每日焦点!南岭民爆:子公司中标工程项目 中标金额47亿元
- 【全球时快讯】大通县气象台发布雷电黄色预警信号【2023-06-16】