达达双云双活实践
达达双云双活实践 文章来源：infoq杨森 引言 过去6年，达达集团秉承“万千好物 即时可得”的初心和愿景，不断迭代和升级技术能力，持续提升履约效率和服务体验。为保障系统持续稳定和业务不间断地高效运行， 我们在数据库高可用架构升级、数据库垂直/水平拆分、 微服务治理及可观测性、容量弹性和多活容灾等方面进行了不断实践并取得一定成果。 本文主要分享达达在双云双活容灾能力建议方面的实践和经验。 为什么做双活？ 首先，介绍一下高可用（High Availability）和容灾（Disaster Recovery），两者相互联系、相互补充，但也有明显区别： 从故障角度看，高可用主要处理单组件故障导致的负载在集群内服务器之间做切换，容灾则是应对大规模故障导致的负载在数据中心之间做切换。 从网络角度看，局域网是高可用的范畴，广域网是容灾的范畴。 从云的角度看，高可用是一个云环境内保持业务连续性的机制，容灾是多个云环境间保持业务连续性的机制。 从目标角度看，高可用主要是保证业务高可用，而容灾则是在保证数据可靠的基础上，业务对外连续可用，以尽可能降低RPO(灾难发生时丢失的数据量)和RTO(灾难发生时系统恢复时长)。 由此，我们可以看出，高可用往往是指本地的高可用系统或架构，表示在任一服务器出现故障时，应用程序或系统能迅速切换到其他服务器上运行的能力；而容灾是指异地（同城或者异地）的冷备/热备/双活系统，表示在大规模集群或云级别灾难发生时，数据、应用和业务在灾备数据中心的恢复能力。容灾通常可以从网络接入、应用治理、主机、数据存储等层面去实施，业界如大型银行的“两地三中心”同城双活+异地灾备、蚂蚁金服的“三地五中心”异地多活、饿了么的北京上海双机房“异地双活”都是典型的容灾架构方案。 从支付宝527大规模宕机事故、携程528数据库全线崩溃、AWS北京光缆被挖断、腾讯云硬盘故障、谷歌云K8s服务(GKE)宕机19小时不可用、微盟删库事件，再到近期的华为云香港机房因制冷设备故障导致整个机房崩溃，无论是天灾，还是人祸，居安思危并建立容灾能力对一个企业的重要性是不言而喻的。 达达在2017-2018年饱受网络故障之苦，如云网关组件故障、NAT网关故障、单运营商线路网络连接故障等，这些问题往往让我们束手无策。为规避单云灾难级风险，我们在调研并比较业界容灾方案后，最终选择双云架构做同城双活的探索。 双云双活一期
Read more