会员注册 | 登录|微信快捷登录 QQ登录 微博登录 |帮助中心 精品学习网 专业在线学习考试资料文档分享平台

系统架构设计

收 藏 此文档一共:27页 本文档一共被下载: 本文档被收藏:

显示该文档阅读器需要flash player的版本为10.0.124或更高!

关 键 词:
  文库屋所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
文档介绍
技术架构 技术架构总览 业务框架 技术方案 运营监控 治理 安全防范 接入层 前后台分离 动静分离 预处理 业务量监控 流量切换 Https 接入 接口层 服务****,路由分发 业务链 微服务/组件 MQ API SLA 灰度 黑白名单 订单 日志收集 隔离/降级 Oauth 认证 服务层 调用栈 Hystrix 熔断 产品 服务器状况 动态规划 异步/离线 MapReduce 安全巡检 资源 供应商 SSO AI 身份认证 … DB 水平扩充/ HDFS 读写分离 数据层 数据存储 分布式缓存 NoSQL 网络状况 IP 限制 技术方案 前台技术架构 PC 根据用户设备及浏览器尺寸路由 Mobile 其它智能设备 页面自适应、最小宽度 PAD 页面自适应 element-ui + vuejs + Echarts 页面自适应 vuejs + muijs vuejs + muijs 金豆云 CMS 配置 编译 发布 自自 系统构建:Webpack , Gulp 基础组件库 基础样式库 定定 JS CSS Resource Html5 义义 *.js,*.vue *.sass,*.css Font,Img Font,Img 组样 件式 技术方案 微服务架构 结合现实情况,平台服务计划分二个阶段完成,先完成服务化,后续在服务化的基础上重构成微服务 第一步:服务化 第二步:微服务 Load Balancer 服务注册中心 – zookeeper WebServer WebServer 服务提供者 服务提供者 服务提供者 服务监控 基础服务框架 业务代码 业务代码 业务代码 **** spring boot 异构 服务提供者 服务提供者 服务提供者 实时数据 分布式 RPC 服务框 语言 监控 架 Proxy 业务代码 业务代码 业务代码 暂停 dubbo 恢复 集群 下线 服务注册中心 zookeeper 用户 订单 商品 … 服务提供者 服务提供者 服务提供者 业务代码 业务代码 业务代码 服务发布容器 服务 服务 服务 docker 服务治理 持续集成工具 jenkins 用户 订单 商品 … 服务依赖 调用链路 服务流量 性能瓶颈 SLA **** 历史信息 关系**** 追踪 控制 **** 统计 DB DB DB DB 技术方案 动静分离 - CDN 静态数据返回 静态资源访问加速 静态资源文件(html,css,js,img 等) 业务静态图片 用户 CDN ECS(服务器) OSS(云存储 用户动态 动态数据 用户静态 回源请求 请求数据 结果返回 数据请求 抓取数据 Web 程序 数据库 内网访问, 静态脚本 附件 数据更新维护 图片 视频\音频 智能压缩 对静态资源进行压缩,减少传输大小,加速分发效果 可视化监控 可通过视化监控管理,查看监控日志和统计****制定合 适的缓存策略,并可通过从源站刷新缓存等手段主动维 护高访问资源的缓存 技术方案 四层 DDoS 攻击防护,支持应用防火墙和 CC 防护,提供防护 统计页面,实时抵御网络攻击 负载均衡 + 弹性扩展 流量调度 多台云服务器自动进行流量分发,获得更 高水平的容错性能 扩展性 支持云服务器动态扩展,实现无缝伸缩, 伸缩过程不用更换任何设备,对相关调 用和访问者零影响 安全 前期方案 ECS 云服务器 ECS 负载均衡 云服务器 ECS 云 服 务 器 E C S 负载均衡 云服务器 ECS 后期根据 业务扩展 增强 负载均衡 云服务器 ECS 技术方案 消息系统 消息队列采用阿里云 MQ 消息发送/发布方 消息接收/订阅方 TCP UDP HTTP SOAP … 消息接收器 消息发送器 消息持久 流入路由器 流出路由器 消息状态 **** **** 消息 内部服务 元数据 转换器 组件调用 事务管理 组件容器 故障恢复 技术方案 推荐引擎 基于阿里云的 RecEng(推荐引擎)和 MaxCompute(大数据计算服务)搭建金豆云推荐引擎,实现千人千面 基本推荐流程 推荐建模流程 客户效果数 客户接入数据 推荐请求 据 API 特征提取 计算用户/ 相关性计算+ 模型样本 OTS 物品实 物品评分 邻近计算 时修正表 基于业务目标 推荐处理线 OTS 离线计 用户的候选 的监督学习 OTS 用户实 程 算结果表 推荐集/物品 针对业务目标的 时修正表 用户/物品 用户/物品 相似物品集 Ranking Model 的原始特征 评分矩阵 用户/物品 用户/物品 API 返回 关系计算 的耦合特征 OTS 离线 在线计算 计 算结果表 离线计算 技术方案 微店系统 用户认证 SSO + OAuth2 内部系统 内部系统采单点登陆方式进行管理 供应系统 金豆云 认证系统 资源系统 用户 信息 人脉系统 … 外部系统 请 求 外部系统连接主要分为 2 种方式: 用 1. 通过 ROP 平台实现数据交互 户 2. 金 豆 云 提 供 OAuth2 认 证 机 O pe 制给第三方,实现页面与数 nI 据的交互 D Reque Request Info Url st User 生成 OpenID Url 获 跳转用户授权 取 用 请求 Access Token 户 资 Request 源 Access Url 通过 token 生成 Access Token 技术方案 ****平台 JSON Echarts | CuBI REST API 报表 Spring,SpringMVC,JMS,Sqoop 事件监听 定时任务 数据导入 数据融合 API 接口 Spark 数据**** MQ 消息队列 HBase Hadoop HDFS Hadoop HDFS 支持分布式存储 • ****平台基于业务数据进行数据映射与融合 • 整体架构基于大数据****框架设计,并通过模块化 设计进行内部解耦,将数据收集,导入及****功能 围绕****模型系统处理 • 业务数据收集工作通过异步消息及定时导入方式实 现 • 底层技术实现 • 前端主要提供 REST API 供产品平台进行数据获取。 同时采用 Echarts 或 CuBI 进行报表展现 • 中台服务逻辑层使用 Spring,SpringMVC 作为应用构建 及 对 外 接 口 发 布 , 配 合 MQ 队 列 机 制 处 理 异 步 消 息 。 Spark 作为核心数据处理引擎,进行 MapReduce 处理 • 持久层主要采用 HBase 进行大数据存储,同时使用 技术方案 数据库 设计原则 1 统一数据视图 业务 业务 Mongo Mongo HBase 数据库 DB DB 保证数据的及时性、一致 性、准 数据库 确性、完整性 (Master) (Slave) Master Slave 2 数据应用分离 Redis Hadoop HDFS Slave 应用系统只依赖逻辑数据库 报表数据 Redis Doc Doc Doc 应用系统不直接访问其它宿 主的数 库 Master 据库,只能通过服务 访问 • 产品平台数据库设计方案采用二级缓存机制 3 数据读写分离 • 一级缓存使用 Redis 副本集,对频繁访问数据进行缓存。同时围绕 Redis 单线程机制,针对大量并发场景设计 访问量大的数据库做读写分离 了同一用户的并发锁策略。 数据量大的数据库做分库分表 不同业务域数据库做分区隔离 重要数据配置备库; 4 合理使用缓存 • 二级缓存使用 MongoDB 副本集,对结构化数据及频繁更新数据进行文档化数据存储 • 业务数据库使用 MySQL 集群方案 • ****平台基于大数据架构设计方案,数据库使用区域 HBase 部署策略,同时采用 Hadoop HDFS 进行分布式文件存 储 技术架构 – 运营监控 1. 分流 水平 扩展 应用:集群,无状态,提高访问量 业务分区 数据:读写分离,提高性能 流量控制 无法缓解大流量 分片 应用:按业务域划分成不同子系统 2. 降级 页面降级 动静分离 数据:数据分区 业务功能降级 应用系统降级 应用:不同业务类型分片 数据:分库分表,提高数据容量 应用:分层,功能与非功能分开 数据:冷热数据分离 1. 动态页面降级到静态 无法缓解 3. 限流 Nginx 前端限制 大流量 2. 整体降级到其他页面 应用系统限流 3. 页面部分内容 客户端限流 舍弃一些非关键业务, 服务端限流 如购物****存状态 降级一些下游系统, 如一次拆分暂停 数据降级 远程服务降机到本 数据库限流 地缓存 技术架构 – 运营监控 多线接入,0M SLA 数据可销毁性 数据持久性 数据无法恢复 不低于 99.9999999% 数据私密性 数据可迁移性 网络层访问控制技术实现对不同用户资源的隔离 迁入迁出 数据知情权 服务可用性 对于数据、备份数据所在数据中心地理位置、 数据备份数量具有知情权 不低于 99.95% 服务资源调配能力 故障恢复能力 用户可在 10 分钟内启用或释放 100 台云服务器, 7×24 小时的运行维护 或在 5 分钟内完成停机升级 CPU 和内存,并支 持在线实时升级公网带宽 网络接入性能 服务提供方 SLA 服务消费方 技术架构 – 治理 老系统 老系统 DB 部分请求到旧系统上,另一部分请求到了新的灰度系统上.走到 转发 新系统 DB 旧系统的请求,还是照原样处理.走到了新版灰度系统的请求, 灰度发布 需要同时将请求转发给旧系统上来对应的接口上修改旧系统的数 新系统 据.如果走到新系统的请求查不到该用户的数据,还需要首先同 Client 步一份来新系统上 Client 请求首先走到了新版本需要灰度的服务A上,在经过该服务处理后, 给请求打上了 tag A,由于带上了 tag,后续访问的都是配套灰度 A 服务 新版 A 服务 B 服务 Tag A 的 C服务 B 服务 Tag A C 服务 新版 C 服 务 技术架构 – 安全 安全策略 2 黑白名单 1 Https 接入 设置黑名单,使用 3 OAuth2 认证 haproxy、nginx 过 数据传输入过来加密, 滤恶意请求 使用 Spring-security- 防止传输过程中数据被 oauth2 篡改、安全级别更高 实现与第三方系统认证授权 6 安全巡警 安全策略 购买阿里安骑士、 防止恶意 CC 攻击, Web 应用防火墙, 避免网站挂马篡改 5 IP 限制 设置数据库访问 IP 列 4 Hystrix 熔断 表,保障核心数据不 受到侵犯 通过 Hystrix 防护 和控制系统依赖, 防止故障连锁, 以完成对应用的熔 断、降级等策略
关于本文
本文标题:系统架构设计 链接地址:http://www.topstudy.com.cn/zhuanye/it/872.html
上一篇:数据库设计说明书
下一篇:智能公务车管理系统

当前资源信息

高级会员

爱学习共有文档769 篇

编号:WENKUWU872

类型: IT/计算机

格式: doc

大小: 4.68 MB

上传时间:2019-07-12

相关搜索

关于我们-联系我们-网站声明-文档下载-网站公告-版权申诉-网站客服

文库屋  www.wenkuwu.com (精品学习网 专业在线学习考试资料文档分享平台)

本站部分文档来自互联网收集和整理和网友分享,如果有侵犯了您的版权,请及时联系我们.
© www.topstudy.com.cn 2016-2012 精品学习网 版权所有 并保留所有权  ICP备案号:  粤ICP备14083021号-8              

收起
展开