智客公社
标题:
如何做好数据挖掘工作？
[打印本页]
作者:
干掉自己
时间:
2022-6-24 09:53
标题:
如何做好数据挖掘工作？
一个完整的应用示例所需要经历的步骤
[attach]746553[/attach]
项目背景和业务分析需求的提出
数据分析师参与需求讨论
针对需求收集相关的背景数据和指标，与业务方一起熟悉背景中的相关业务逻辑，并收集业务方对需求的相关建议、看法，这些信息对于需求的确认和思路的规划乃至后期的分析都是至关重要的。从数据分析的专业角度评价初步的业务分析需求是否合理，是否可行。
制定需求分析框架和分析计划
分析需求转化成数据分析项目中目标变量的定义。分析思路的大致描述。分析样本的数据抽取规则。潜在分析变量（模型输入变量）的大致圈定和罗列。分析过程中的项目风险思考和主要的应对策略。项目的落地应用价值分析和展望。
抽取样本数据、熟悉数据、数据清晰和摸底
按计划初步搭建挖掘模型
进一步筛选模型的输入变量。尝试不同的挖掘算法和分析方法，并比较不同方案的效果、效率和稳定性。整理核心变量。
与业务方讨论模型的初步结论，提出新的思路和模型优化方案
按优化方案重新抽取样本并建模，提炼结论并验证模型
完成分析报告和落地应用建议
模型的预测效果和效率，以及在最新的实际数据中验证模型的结果，即模型的稳定性。通过模型整理出来的可以作为运营参考的重要自变量及相应的特征、规律。提出建议。
制定具体的落地应用方案和评估方案
业务方事实落地饮用方案并跟踪、评估效果
落地应用方案在实际效果评估后，不断修正完善
不同运营方案的评估、总结和反馈
项目应用后的总结和反思
数据挖掘建模的优化和限度
模型的优化和完善是有限度的。
数据挖掘模型的优化要遵循有效、适度的原则
如何有效地优化模型
从业务思路上优化：
有没有更加明显且直观的规则、指标可以代替复杂的建模？有没有一些明显的业务逻辑（业务假设）在前期的建模阶段被疏忽了呢？通过前期的初步建模和数据熟悉，是否有新的发现，甚至能颠覆之前的业务推测或业务直觉呢？目标变量的定义是否稳定？
从建模的技术思路上优化：
针对细分群体分别建模也是建模过程中常用的、有效的模型优化思路和方法之一。
从建模的技术技巧上优化
如何思考优化的限度
时效性、投入产出比
模型效果评价的主要指标体系
评价模型准确度和精度的系列指标
[attach]746554[/attach]
正确率、错误率、灵敏性、特效性、精度、错正率、负元正确率、正元错误率
ROC
KS
LIFT
模型稳定性的评估：不同时间窗口的数据
数据挖掘实践的质量保障流程和制度
一个有效的质量保障流程制度
[attach]746555[/attach]
业务需求的收集
明确责任人明确数据分析需求的两个来源需要给出需求文档
评估小组评估需求的优先级
需求评估小组定期（或不定期）对于各业务线的接口数据分析师所提交的业务分析需求进行评估。了解背景、数据、业务逻辑。需求评估小组负责人负责。
课题组的成立及前期摸底
向业务方提交课题（项目）计划书
数据分析挖掘的课题展开
向业务方提交结论报告及业务裸体应用建议
课题（项目）的落地应用和效果监控反馈
质量保障流程制度的非常重要
如何支持与强化质量保障流程制度
组织架构、项目管理、个人绩效考核
作者:
美丑一张脸Miss
时间:
2022-6-24 15:00
顶
作者:
1550216188
时间:
2022-6-27 07:52
楼主呀，，，您太有才了。。。
欢迎光临 智客公社 (https://bbs.cnaiplus.com/)
Powered by Discuz! X3.5