创造新看点
首页 >> 科技咖 >> 正文

618 前夕,不谈促销,京东云带你聊聊技术……

日期:2019-06-11 19:52:08 来源:互联网 编辑:小狐 阅读人数:954

“技术,技术,技术”被誉为京东未来12年的重要战略。在零售创新的趋势影响下,恰逢一年一度618来临之际,京东究竟如何做到通过技术创新打造品牌和合作商的基础设施服务商呢?

这不,就在前不久刚刚结束的京东云技术沙龙活动中,多位来自京东云的技术大咖面对面针对零售业以及社交电商方面的核心技术以及成功解决方案进行了深入探讨,其中干货满满。

618 前夕,不谈促销,京东云带你聊聊技术……(图1)

沙龙现场座无虚席

618 前夕,不谈促销,京东云带你聊聊技术……(图2)

京东数据库服务如何应对“大促活动”

京东云产品研发部高级总监 郭理靖

618 前夕,不谈促销,京东云带你聊聊技术……(图3)

“众所周知,京东商城业务繁多,很多业务在研发设计初期并不想选用太多种类的数据库,因为并不知道着手的业务规模大小,所以开始选择只使用MySQL是最简单的,基于研发的速度考虑有时候还选择写入日志和大字段数据。随着数据积累量增多,用户规模扩大,未来会涉及数据切换的问题。“ 京东云产品研发部高级总监郭理靖表示。因此对于针对这此“后来居上”的业务,还是要进行一些数据架构优化的工作。

另外,京东云数据库“上马”了一些弹性数据库服务,可以做到在一台物理上同时配置多个数据库,将单机利用率提升到比较高的水平;同时配置的灵活调度,能够在两个数据库之间完成对压力不大的数据库数据迁移,节省费用有方法。此外,在使用MySQL的基础上,性能势必受限于机器,京东商城内部还使用Jproxy这类分布式数据库服务。郭理靖表示,在京东商城的实践中,针对线上选择构建两个机房,分别是生产环境以及在灾备环境。

618 前夕,不谈促销,京东云带你聊聊技术……(图4)

关于智能分析,京东云在助力电商的过程中,一方面着手SQL日志分析以及容量分析,例如连接数是不是一直在增长、IO压力、CP压力等;同时也尝试做一些故障自愈以及磁盘清理等。

在”京东云的服务实践”方面,在云端丰富的数据库服务,例如MySQL、Percona、MariaDB、SQL Server、MongoDB等。从京东云的统计角度来看,国内者使用MySQL可以高达95%,另外5%会使用Percona或者MarinDB。

618 前夕,不谈促销,京东云带你聊聊技术……(图5)

618 前夕,不谈促销,京东云带你聊聊技术……(图6)

在监控引擎方面,京东云的尝试也是比较细致的,其中包括监控服务、报警服务等。值得提及的是,其中所有监控项都可以设置规则,比如CPU内存超过70%,就可以设置一个短信报警,而其中所有的指标都是对接到云监控。“我们也支持只读实例创建,需要只读最大支持创建8个只读实例,每个只读实例都分配一个独立域名,都可以用域名进行访问。”他补充道。

618 前夕,不谈促销,京东云带你聊聊技术……(图7)

618 前夕,不谈促销,京东云带你聊聊技术……(图8)

数据安全性方面,京东云采用了云硬盘加密的功能,对于用户担心的数据库信息“被偷窥”的问题,京东云方面表示只要启动了数据加密的功能,使用云端RDS就可以充分放心享受其安全保障的服务。对于哪些IP可以访问特定的数据库这个事儿,灵活设置白名单即可。

重点强调的一点,在京东云数据库服务中还涉及到DRDS,所谓DRDS是分布式关系型数据库,追溯本源是将京东商城上的Jproxy技术移植到京东云上,主要作用还是在数据量特别大的情况下,单机无法支撑的前提下完成分库分表,操控起来比较便捷。

据了解,DRDS服务主要解决了几个困难:例如随着数据量和访问量的增长,单机数据库会遇到很大的,依赖硬件升级并不能完全解决问题,也就是单机数据库容量瓶颈亟需被重视;此外传统数据库容量扩展往往意味着服务中断,很难做到业务无感知或者少感知等,被认为是扩展窘境;更重要的一点,传统数据库使用成本较高,当业务数据访问量增加到一定程度时,传统数据库需要依赖特定的高端存储和小型机设备,这样一来成本就完成了快速上升了。

618 前夕,不谈促销,京东云带你聊聊技术……(图9)

据介绍,DRDS可以做到多台部署,但值得注意的一点,整个DRDS性能受限于后端实例数量。简单来说后端的实例量越多,DRDS的性能越好。通过实测,DRDS中间件给SQL带来的延迟是非常低的,DRDS对SQL语句的解析速度进行了专门的优化 ,因此因中间件带来的延迟基本可以忽略不计。

“DRDS本身不存储数据,数据存放在后端的RDS MySQL 数据库上。为保障稳定性,每个分库所在的MySQL版本必须一致。DRDS会在每个RDS实例上创建8个分库,另外还会单独创建0号分库,用于存放非拆分数据。”他总结道。

众所周知,的最大处理能力取决于分库的数量,因此在需要创建之后就应该规划好整个的容量以及能力,比较好的做法是根据初步的规划,前期使用小规格的MySQL实例,但分库数足够多,这样就可以预留出足够的扩容能力。

在技术中,郭理靖还介绍了扩容的方方面面,例如两核4G的DRDS,性能相对较小,如果将后端RDS升级到更高配置,就被称为是垂直扩容,操作起来十分容易。无论是水平扩容还是垂直扩容,尽管具体的操作方法不同,但过程平滑且随时随地都是共通的。

618 前夕,不谈促销,京东云带你聊聊技术……(图10)

尽管DRDS 与传统的单机数据库相比,在扩展性上有了巨大的提升,但同时也带来了一些限制,例如可保证同一个分库中的事务一致性,但不支持分布式事务;只支持单个分库内的join操作,不支持跨库的join;只支持UTF8字符集,因此并不是任何基于MySQL的应用都可以无疑迁移到DRDS上,还需要进行一些改造。

企业级监控设计与实践

京东云产品研发部总监 郑永宽

618 前夕,不谈促销,京东云带你聊聊技术……(图11)

作为本场沙龙的第二位嘉宾,京东云产品研发部总监郑永宽为者们现场带来了主题为“企业级监控设计与实践”的技术演讲。

监控是什么?监控是运维生命线。监控解决什么问题?远远不止发现问题,还需要解决发现问题以后的定位,和定位后止损的问题,从而降低故障MTTR,即故障平均恢复时间。针对京东这种体量的电商,发生不明原因的宕机所导致的损失是十分惨重的。“为了高效解决降低故障恢复时间的问题,在故障发生之前提前做好相应故障的恢复预案;在故障发生之后明确故障类型并且准确定位故障,是非常有效的手段。”郑永宽总结道。

为了解决快速响应的问题,监控通常需要具备丰富的数据采集手段、度数据实时聚合计算、准确的异常检测、及时的告警、可定制的dashbord、根因定位与辅助决策推荐,以及预案平台等功能,通过以上功能实现快速止损、业务高可用/可扩展等目标。

根据以上功能定位,京东云会针对每个不同的业务特征,故障恢复预案推荐,用以来保证的高效运转;对于监控来说,无论是发现问题、定位问题还是解决问题,了解其中循环迭代的状态十分重要,京东云的监控平台根据丰富的监控手段可可靠有效的运维情况反馈,同时基于监控数据和业务分析进行多样化的预案推荐,帮助业务快速恢复。

618 前夕,不谈促销,京东云带你聊聊技术……(图12)

618 前夕,不谈促销,京东云带你聊聊技术……(图13)

“监控需要保证数据采集手段丰富化、计算聚合多样化、存储高效化以及数据展示有效化等几个方面。其中数据的存储以及数据可视化展示等是监控最基础的需求,不管多庞大的运维都是如此。”他补充道。

京东云采用多种采集方式,包括Agent采集,API推送,外部探测点。通过遍布全国的探测点,可以模拟发起各种协议的访问,同时API推送接口,支持用户自己发送数据过来,可以进一步展示用户需要的数据。另外我们自研的tsdb时序数据存储,采用基于Cassandra+自研cache+esmeta的方案,我们将最近3h的数据存入自研cache,增加了查询的时效性和可靠性。其中自研cache基于的Facebook论文gorilla实现,追求极致的压缩比。通过这些手段,存储的空间可以降低到1/10,同时保证了查询性能。

另外京东云的监控CMDB表现出色。首先CMDB可以将资源和业务同时起来,这是监控CMDB解决的第一个问题;另一方面,大规模集群中的某台机器发生问题后,通过JNS名字服务可以迅速定位受影响的业务,并基于CMDB业务/应用/集群的监控配置推荐,这是监控CMDB重点突出的地方。

618 前夕,不谈促销,京东云带你聊聊技术……(图14)

谈及如何定位问题,郑永宽总结道,首先监控可视化是关键一环,度的聚合计算使数据更有意义,这是基于京东云多年的运维经验总结得到的。京东云的监控体系可以定位多种故障原因,例如某一业务是否有变更,是否配有相应的报警,网络等资源是否异常,是哪个业务出现的问题等…通过以上方面的监控,我们可以知道某一业务的故障恢复操作的执行情况,此方式对故障快速定位以及查找故障非常有效。基于以上确认故障原因的能力,京东云快速迭代升级了变更可视化产品,对可能导致故障发生的所有问题进行事件监控,从上线操作、配置变更的单任务监控到平台全局事件的监控,进一步助力京东云监控体系定位问题能力的提升。

618 前夕,不谈促销,京东云带你聊聊技术……(图15)

问题定位后,为使用户接收到有意义的报警进而快速回复问题,我们对异常问题进行分析合并,京东云支持各种策略的合并,可按照固定接收人报警、不同业务范围报警、固定时间报警等策略进行报警,减少告警风暴,另外对于下游的对接,我们实现了、短信、电话等多种方式报警。

据悉,未来京东云还会着手配置化功能的优化,更好支持事件自动恢复。“结合监控CMDB和报警设置,我们可以真正把故障和报警联动起来,对于相关的报警事件,监控可以自动调取对应的预案,从而达到的故障自愈的目标。”

现场精彩仍在继续,者互动气氛活跃。

在关于“社交电商SAAS产品技术架构”的中,京东云应用研发部社交电商负责人赵金勇强调,“同样,无论是宝宝树还是小红书的场景化社交,这种势头的兴起是有目共睹的;现在的消费群体更注重设计感及品牌的内在价值等,面对电商发展的四化,传统电商群体遇到了前所未有的瓶颈期。”

社交电商SAAS产品技术架构

京东云应用研发部社交电商负责人 赵金勇

618 前夕,不谈促销,京东云带你聊聊技术……(图16)

从整个电商发展来看可以被总结为”四化“分别是去中心化、场景化、碎片化以及个性化。逐一说明,我们发现流量成本越来越高,“带领着”获客成本、品牌商成本也一路居高不下,这恐怕就是品牌商自己不做选择其他途径的原因,正所谓“品牌形象宣传去中心化” 就是这个道理。

618 前夕,不谈促销,京东云带你聊聊技术……(图17)

所谓社交电商,必然与”社交”关系密切,进而社交工具自然必不可少。除了凭借五花八门的推送工具,京东云社交电商还凭借京东与生俱来的海量商品以及优势供应链屡获成绩。基于京东大数据营销的能力,海量用户的精准画像以及商品推销、智能选品等这些稳定可靠的基础服务来打造。

618 前夕,不谈促销,京东云带你聊聊技术……(图18)

总结一下,京交电商支持分佣自动结算、灵活设计类目返佣点数、自定义会员晋升规则、自动统计团队业绩以及丰富的营销推广玩法等。

谈及具体的技术架构,赵金勇表示京东云商微服务架构是数据库、硬盘以及统一运维。其中公共平台、开放平台、装修服务还有市场、数据搬运、流量统计等都是基于微服务架构,业务层统一的、原子化的API接口, 上层业务在这些接口之上构建而成。

618 前夕,不谈促销,京东云带你聊聊技术……(图19)

据了解,京交电商分三端,分别是买家端、供应商端和PC端。社交电商的已接入到京东庞大的商品池,大家可以在整体的商品池中挑己的产品,共同的良性生态就此构建。

618 前夕,不谈促销,京东云带你聊聊技术……(图20)

此外,我们还基于京东大数据打造的鹊桥插件,鹊桥连接人和货,完成精准营销。从交易完成之后,所有交易数据和货源数据以及货源行为数据汇总到一起,京东大数据平台就对所有的数据进行分析,完成实时监控,在此基础上基于数据驱动彰显出广告优化、客群聚类、千人千面、自动化营销。

“整体的是基于京东云技术来构建,京东云作为京东对外赋能的窗口,一些可信赖的基础服务,包括技术服务以及支持,这部分主要涉及电商云。”他认为。

618 前夕,不谈促销,京东云带你聊聊技术……(图21)

自成立以来,公司服务平台积累中小企业用户数据1800多万,旗下B2B平台注册中小企业会员近200万家,为全国超过30万家中小企业基础B2B电子商务应用服务,并与其中2400多家具有单品优势的实体企业共同构建了单品电子商务交易平台,在此过程中与京交电商开展了密切合作。

压轴中,从京东区块链整体架构出发,京东数科区块链产品创新负责人张作义介绍到,京东区块链品牌名叫京东智臻链,京东区块链的架构体系分为JD Chain和JD BaaS(Blockchain as a Service)两部分,JD Chain作为核心引擎,在数据账本、共识协议、密码算法、存储等方面引入新的研究成果和工程架构,解决处理性能、伸缩性、扩展性、安全性等基础和关键的技术问题,建立创新性的技术架构和应用方案。JD BaaS是服务平台,灵活易用和可伸缩的区块链能力,无缝融合包括JD Chain、Fabric在内多种区块链的部署,向企业级用户公有云、私有云及混合云环境快速部署能力,降低企业使用成本,加快应用落地。

基于企业级区块链框架JD Chain的技术实践

京东数科区块链产品创新负责人 张作义

618 前夕,不谈促销,京东云带你聊聊技术……(图22)

打个比方,BaaS可以被认为是汽车发动机的“底盘”有了底盘就可以围绕底盘配置其他零部件,JD Chain就是里面的“发动机”适用于不同的场景的区块链应用场景。BaaS帮助企业或者者搭上区块链的“顺风车”而且京东也整合了很多在BaaS平台基础上的应用服务。

“JD Baas、JD Chain是京东区块链的两大技术架构体系。基于区块链去匹配各种各样的应用场景,主题就是怎么用区块链去创造真实的价值,也可以被称为是可持续价值。”

618 前夕,不谈促销,京东云带你聊聊技术……(图23)

据了解,京东 JD BaaS平台比较重要的特色,就是身份认证服务,这也是区块链和联盟链不同的地方。联盟链是一个许可链,京东方面身份认证服务,例如身份注册、企业证照审核等一系列内容审核加入区块链,以保障联盟链各主体的合规性、关联性、安全性。

在这个过程中,无论是企业还是个人的身份认证信息都会存储到区块链中,在区块链节点之间做一个协同,包括对外展示都是基于身份认证发生一系列关系,这较之无认证的关系发生将有很大的区别,也是未来比较看好的方向。

618 前夕,不谈促销,京东云带你聊聊技术……(图24)

据了解,京东自主知识产权区块链底层框架JD Chain于2019年3月正式宣布开源,在“万级交易处理、秒级交易确认、海量账户和交易、动态伸缩、账户存储、多核并行、密码算法”等方面符合经典区块链对存储、对计算的定义和要求,同时还把Key Value结构用现有recycle极大处理效率,这也是可以支持更高速度的原因。

618 前夕,不谈促销,京东云带你聊聊技术……(图25)

众所周知,京东长于零售、物流与数字科技等领域,这同时也是京东区块链主要服务的方向。例如参与广州互联网“网通法链”建设、区块链增值税专用发票试点、与宿迁的电子证照打通试点等,实际赋能数字存证、电子发票、电子证照等方面的诸多实际应用。

举个例子来说,区块链的数字存证。我们参与了北京互联网和广州互联网的区块链项目,需要把使用司法服务的内容搭载一条司法联盟链,主要可以实现什么作用呢?打比方说签署一个合同,去公证处公证是必要流程之一,如果有了这个联盟链,所有的操作都可以在司法朋友圈实现。司法联盟链可被理解为是数字签名的技术,以此判断合同签署的合法性,同时签完的合同会及时备份到这条联盟链中,这样,公证处以及司法鉴定部门,包括合同双方的签署人都能够及时获知该信息。

618 前夕,不谈促销,京东云带你聊聊技术……(图26)

此外,京东区块链在防伪追溯方面做得最多,京东区块链防伪追溯平台曾经受住四五次大促考验,用户复购率、用户率明显提高,京东目标客群对追溯对消费体验升级、商品品质保证的高度认可。

618 前夕,不谈促销,京东云带你聊聊技术……(图27)

京东云技术沙龙针对技术赋能零售的探讨虽然暂时告一段落,但零售企业有关科技创新的深入探索似乎才刚刚开始!

618 前夕,不谈促销,京东云带你聊聊技术……(图28)

即刻获取课程PPT

网友评论
  • 富士通用户
    京东苹果手机618是不是会降价,幅度多大?
    2019-08-12 20:25 140