找回密码
 立即注册
搜索

如何做好数据发掘工作?

一个残缺的运用示例所需求阅历的步骤


项目背景和业务分析需求的提出

数据分析师参与需求讨论
    针对需求搜集相关的背景数据和目的,与业务方一同熟习背景中的相关业务逻辑,并搜集业务方对需求的相关建议、看法,这些信息对于需求的确认和思绪的规划乃至后期的分析都是至关重要的。从数据分析的专业角度评价初步的业务分析需求能否合理,能否可行。

制定需求分析框架和分析计划
    分析需求转化成数据分析项目中目的变量的定义。分析思绪的大致描画。分析样本的数据抽取规则。潜在分析变量(模型输入变量)的大致圈定和罗列。分析过程中的项目风险思索和次要的应对策略。项目的落地运用价值分析和展望。

抽取样本数据、熟习数据、数据明晰和摸底

按计划初步搭建发掘模型
    进一步挑选模型的输入变量。尝试不同的发掘算法和分析方法,并比较不同方案的效果、效率和波动性。整理核心变量。

与业务方讨论模型的初步结论,提出新的思绪和模型优化方案

按优化方案重新抽取样本并建模,提炼结论并验证模型

完成分析报告和落地运用建议
    模型的预测效果和效率,以及在最新的实践数据中验证模型的结果,即模型的波动性。经过模型整理出来的可以作为运营参考的重要自变量及相应的特征、规律。提出建议。

制定详细的落地运用方案和评价方案

业务方理想落地饮用方案并跟踪、评价效果

落地运用方案在实践效果评价后,不断修正完善

不同运营方案的评价、总结和反馈

项目运用后的总结和反思

数据发掘建模的优化和限制

模型的优化和完善是有限制的。

数据发掘模型的优化要遵照有效、过度的准绳

如何有效地优化模型

从业务思绪上优化:
    有没有愈加分明且直观的规则、目的可以代替复杂的建模?有没有一些分明的业务逻辑(业务假设)在后期的建模阶段被忽略了呢?经过后期的初步建模和数据熟习,能否有新的发现,甚至能颠覆之前的业务揣测或业务直觉呢?目的变量的定义能否波动?

从建模的技术思绪上优化:

针对细分群体分别建模也是建模过程中常用的、有效的模型优化思绪和方法之一。

从建模的技术技巧上优化

如何思索优化的限制

时效性、投入产出比

模型效果评价的次要目的体系

评价模型准确度和精度的系列目的

正确率、错误率、灵敏性、特效性、精度、错正率、负元正确率、正元错误率

ROC

KS

LIFT

模型波动性的评价:不同工夫窗口的数据

数据发掘实际的质量保障流程和制度

一个有效的质量保障流程制度

业务需求的搜集
    明白责任人明白数据分析需求的两个来源需求给出需求文档

评价小组评价需求的优先级
    需求评价小组定期(或不定期)对于各业务线的接口数据分析师所提交的业务分析需求停止评价。了解背景、数据、业务逻辑。需求评价小组担任人担任。

课题组的成立及后期摸底

向业务方提交课题(项目)计划书

数据分析发掘的课题展开

向业务方提交结论报告及业务裸体运用建议

课题(项目)的落地运用和效果监控反馈

质量保障流程制度的非常重要

如何支持与强化质量保障流程制度

组织架构、项目管理、个人绩效考核

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

大神点评3

人家叫母鸡 2019-9-29 12:23:59 显示全部楼层
啥也不说了,大佬,给你个赞
回复

使用道具 举报

补天者 2019-9-30 15:44:01 显示全部楼层
那个啥吧。。。就是这个。。。你知道我要说啥吧。。。
回复

使用道具 举报

迪拜小女子 2019-10-1 19:28:26 显示全部楼层
对不起,我就来看看,不说话
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies