CDN 大数据分析
概述
CDN（Content Delivery Network，内容分发网络）通过分布式节点缓存内容，使用户能够从最近的节点获取数据，从而加快访问速度，提升用户体验，CDN 的数据分析对于优化性能、提升服务质量、保障网络安全等方面至关重要。
| 字段 | 类型 | 说明 |
| client_ip | text | 客户端 IP |
| content_type | text | 数据类型 |
| domain | text | 域名 |
| hit_info | text | 缓存命中信息 HIT 或者 MISS |
| method | text | 请求方法 |
| refer_domain | text | 请求来源域名 |
| refer_param | text | 请求来源 URL 参数 |
| refer_uri | text | 请求来源 URI |
| remote_ip | text | 远程 IP |
| remote_port | long | 远程端口 |
| request_size | long | 请求输入大小，单位 byte |
| request_time | long | 响应延时，单位毫秒 |
| response_size | long | 请求返回大小，单位 byte |
| return_code | long | HTTP 状态码 |
| scheme | text | 请求协议，如 http |
| uri | text | 请求 URI |
| uri_param | text | 请求参数 |
| user_agent | text | 请求 Agent 信息 |
| uuid | text | 标识请求的唯一 ID |
| xforwordfor | text | forword IP 地址 |
数据需求
海量：每秒钟有数千万的数据访问，每天沉淀出5PB的系统日志。
可靠：数据必须准确无误，因为应用场景苛刻，如计费和监控。
实时：需要分钟级甚至秒级的实时数据处理能力。
数据收集与处理
数据来源：包括边缘节点和用户端的数据。
数据预处理：在节点上完成通用的流量、命中率、QPS等指标的预处理。
数据传输：使用流式传输平台SLS进行数据的抽取、转化、分发。
数据存储：原始数据和分析后的业务数据存储在ODPS中，时序数据存储在OTS数据库中。
数据分析
离线分析：主要用于运营报表和数据挖掘。
实时分析：用于自动化运维、智能调度、用户画像和事件中心。
异常检测：通过专家系统检测数据异常，并用机器学习算法分类问题。
数据应用
业务监控：提供各类报表，监控系统健康度和流量情况。
实时报警：对服务性能进行实时监控和报警。
成本节省：通过实时日志服务大幅降低资源、人力运维和分析成本。
多维SQL分析：支持每天千亿、万亿级别的日志7*24小时不间断采集和实时多维度分析。
CDN的大数据分析不仅提高了服务质量和用户体验，还为业务的智能化和自动化提供了坚实的数据基础，通过对海量、可靠、实时的数据进行全方位的分析和应用，CDN服务商能够更好地应对复杂的业务场景和用户需求。
原创文章，作者：未希，如若转载，请注明出处：https://www.kdun.com/ask/1232181.html
本网站发布或转载的文章及图片均来自网络，其原创性以及文中表达的观点和判断不代表本网站。如有问题，请联系客服处理。
发表回复