CDN 收集数据详解
概述
CDN（内容分发网络）是一种分布式网络服务，通过在多个地理位置分散的服务器缓存和分发内容，提高用户访问速度和网站性能，CDN 在处理海量数据时，需要高效地收集、存储和分析这些数据，以便提供更优质的用户体验。
数据需求
1、海量：每秒钟有数千万的数据访问量，每天沉淀出5PB的系统日志。
2、可靠：数据必须准确无误，以确保计费和监控的准确性。
3、实时：从五分钟一次的分析提升到分钟级甚至秒级的实时数据处理能力。
数据收集
1、边缘节点数据：
数据来源主要是全球边缘节点，包括访问日志、回源日志等。
在节点上进行预处理，如流量、命中率、QPS等指标，并通过流式传输发送至数据中心。
2、用户数据：
包括浏览器或SDK访问数据、管理员配置数据等。
通过流式传输平台SLS客户端直接发出。
3、中心传输层：
采用阿里云的SLS产品进行数据抽取、转化、分发。
使用Blink进行流式处理，原始和分析后的业务数据存储在ODPS中。
数据分析
1、离线分析：
主要生成运营报表和进行数据挖掘。
2、实时分析：
用于自动化运维、智能调度、用户画像和事件中心。
异常检测和问题定位，结合机器学习算法进行分类。
数据应用
1、业务层数据：
提供各类报表，关注CDN使用情况。
内部监控系统，分钟+秒级监控。
事件数据，显示平台流量和事件等级。
2、安全与合规：
联合IDST对文本、图片、视频等内容进行筛查，防止违规内容传播。
CDN的数据收集和分析形成了一个闭环系统，从业务接入、策略执行、数据生产到决策中心，确保了系统的自动化和智能化，通过高效的数据收集和分析，CDN能够更好地满足用户需求，提高服务质量。
原创文章，作者：未希，如若转载，请注明出处：https://www.kdun.com/ask/1226085.html
