学习视频来源于尚硅谷，视频链接：尚硅谷大数据项目数据仓库,电商数仓V1.2新版
，Respect！

1 数据仓库的概念

• 数据仓库（Data Warehouse），是为企业所有决策制定过程，提供所有系统数据支持的战略集合。
• 通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本、题号提高产品质量等。
• 数据仓科，并不是数据的最终目的地，而是为数据最终的目的地做好准备。这些准备包括对数据的：清洗、转义、分类、重组、合并、拆分、统计等等。

2 项目需求分析

1. 用户行为数据采集平台搭建
2. 业务数据采集平台搭建
3. 数据仓库维度建模
4. 分析：用户、流量、会员、商品、销售、地区、活动等电商核心主题，统计的报表指标近100个
5. 采用即席查询工具，随时进行指标分析
6. 对集群新能及逆行监控，发生异常需要报警
7. 元数据管理
8. 质量监控

3 项目框架

3.1 技术选型

3.2 系统数据流程设计

3.3 框架版本选型

3.4 服务器选型

• 本地搭建3台Centos6虚拟机（4g内存 40g硬盘）

3.5 集群资源规划设计

3.5.1 集群规模计算

1. 每天日活用户100万，每人一天平均生产100条：100万*100条=1亿条
2. 每条日志1kb左右，每天1亿条：100000000/1024/1024=100G
3. 半年内不扩容：100G*180=18T
4. 保存3个副本：18T*3=54T
5. 预留20%~30%=54T/0.7=77T
6. 共计8T*10台服务器（128G内存，8T硬盘）

3.5.2 本地测试集群服务器规划

• 注意：HDFS的NameNode、SecondaryNameNode和Yarn的ResourceManager要配置在不同的服务器中，因为都很耗内存

4 数据生成

4.1 埋点数据基本格式

• 公共字段：基本所有手机都包含的字段
• 业务字段：埋点上报的字段，有具体的业务类型

1587692644625 | {
	"cm": { //公共字段
		"ln": "-66.7", //double lng经度
		"sv": "V2.0.1", //String sdkVersion
		"os": "8.1.7",
		"g": "50F3N8XP@gmail.com", //String gmail
		"mid": "998", //String 设备唯一id
		"nw": "3G", //String 网络模式
		"l": "en", //String language 系统语言
		"vc": "18", //String versionCode 程序版本号
		"hw": "750*1134", //String height width 屏幕宽高
		"ar": "MX", //String area 区域
		"uid": "998", //String 用户标识
		"t": "1587650831270", //String 客户端日志产生时的事件
		"la": "5.2", //double lat纬度
		"md": "HTC-16", //String model 手机型号
		"vn": "1.3.1", //String versionName 程序版本名
		"ba": "HTC", //String brand 手机品牌
		"sr": "N" //String source 渠道号，应用从哪个渠道来的
	},
	"ap": "app", //项目数据来源 app pc
	"et": [{ //事件
		"ett": "1587626436201", //客户端事件产生时间
		"en": "loading", //事件名称
		"kv": { //事件结果，key-value
			"extend2": "",
			"loading_time": "0",
			"action": "3",
			"extend1": "",
			"type": "1",
			"type1": "201",
			"loading_way": "2"
		}
	}, {
		"ett": "1587604641583",
		"en": "ad",
		"kv": {
			"activityId": "1",
			"displayMills": "38392",
			"entry": "1",
			"action": "1",
			"contentType": "0"
		}
	}, {
		"ett": "1587672451544",
		"en": "active_background",
		"kv": {
			"active_source": "1"
		}
	}, {
		"ett": "1587631751514",
		"en": "favorites",
		"kv": {
			"course_id": 8,
			"id": 0,
			"add_time": "1587610751419",
			"userid": 1
		}
	}, {
		"ett": "1587633225209",
		"en": "praise",
		"kv": {
			"target_id": 7,
			"id": 9,
			"type": 2,
			"add_time": "1587692182176",
			"userid": 2
		}
	}]
}

4.2 事件日志数据

4.2.1 商品列表页 loading

4.2.2 商品点击 display

4.2.3 商品详情页 newsdetail

4.2.4 广告 ad

4.2.5 消息通知 notification

4.2.6 用户后台活跃 active_background

4.2.7 评论 comment

4.2.8 收藏 favorates

4.2.9 点赞 praise

4.2.10 错误日志

4.3 启动日志数据

最后

以上就是纯真菠萝为你收集整理的数据仓库 — 01_项目需求分析与技术选型（数仓概念、项目需求及架构设计、数据生成模块格式要求）1 数据仓库的概念2 项目需求分析3 项目框架4 数据生成的全部内容，希望文章能够帮你解决数据仓库 — 01_项目需求分析与技术选型（数仓概念、项目需求及架构设计、数据生成模块格式要求）1 数据仓库的概念2 项目需求分析3 项目框架4 数据生成所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。