关联分析

关联分析在机器学习领域属于无监督模型，它的试用场景还是非常广泛的。比如数据挖掘中一直有个广为流程的一个故事，啤酒与尿布的故事。美国沃尔玛超市管理人员分析其销售数据时，发现了一个奇特的现象：在日常的生活中，“啤酒”与“尿布”这两件商品看上去风马牛不相及，但是经常会一起出现在消费者的同一个购物篮中。沃尔玛的管理人员发现该现象后，立即着手把啤酒与尿布摆放在相同的区域，让年轻的美国父亲非常方便地找到尿布和啤酒这两件商品，并让其较快地完成购物。这样一个小小的陈列细节让沃尔玛获得了满意的商品销售收入。当然后来听说这个故事是Teredata编的，编的。。。。

美国学者艾格拉沃（Agrawal）在1993年从数学及计算机算法角度提出了商品关联关系的计算方法——Aprior算法，即通过分析购物篮中的商品集合，找到商品之间关联关系的关联算法，根据商品之间的关系，利用这些insight可以应用在不同场景：

• 对于门店来说，可以把频繁一起购买的商品放在临近的地方，消费者买了A，看到B，大概率会买B
• 对于CRM来说，如果消费者买过A，那么可以给他们推些B的券，提高买B的可能性，也提高券的兑换率
• 对于CRM来说，可以设置一些商品组合折扣，比如同时买A和B可以享受8折，这样可以提高券的兑换率
• 最经常购买的商品可以组套包

本文主要是概述下关联分析的基本概念以及在真实案例中如何用，hands on coding前，我们介绍下关联分析的基本原理

基本原理

频繁项集的几个基本指标：support、confidence、lift

1. support(支持度)：数据集中所有包含该商品的记录占总体记录数的比例，公式为：$support(A)=\frac{包含A的记录数}{总体记录数}$
2. confidence(置信度，可信度)：同时包含商品A和B的记录数除以仅包含商品A的记录数，公式为：$confidence(A->B)=\frac{同时包含A,B的记录数}{包含A的记录数}$。这个指标是衡量，当消费者买了A时，有多大可能性也会买B，数值越高越好
3. lift(提升度)：这个和支持度和置信度有关,就是confidence除以support。公式为：$lift(A->B)=\frac{confidence(A->B)}{support(B)}$当这个提升度大于1时，说明商品A对商品B是有提升作用的。用户买A，大概率会买B，这个规则是有效的。当提升度等于1时，说明商品A和商品B没有相关性。当提升度小于1时，说明商品A对于商品B有负面作用。

关联算法大概的步骤都可以归为两步，第一步是找到频繁项集，第二步是找到有效的关联规则。找到频繁项集的方法目前有两种，Apriori和FP-Growth.大牛们早就把基础代码打包成了library，我们这里简单理解下这两种算法的区别。

• Apriori: 频繁项的指标是support（支持度），也就是说找支持度超过阈值的集合。当商品数目为4种时，要遍历所有的集合，需要扫描数据集15次。如果商品数目为N时，需要扫描$2^N-1$次。这个运算时间和空间都是巨大的。aprior原理是说如果某个集合是频繁的，那么这个集合的子项也是频繁的。反过来，如果一个集合是非频繁项，那么它的超集也是非频繁的。比如{0，1}是非频繁的，那么包含{0，1}元素的集合如{0，1，2}也是非频繁的。因此，如果我们算出{0，1}是非频繁项，那么就不需要计算{0，1，2}的support了。这样，可以避免项集数目的指数增长。
• FP_Growth：Fp-Growth只会扫描数据集两次，第一次建立FP树，第二次挖掘FP树的频繁项集。

上代码实例

导入libraries

import pandas as pd
import numpy as np
pd.set_option('display.max_columns', None)
import pandas as pd
from mlxtend.preprocessing import TransactionEncoder
from mlxtend.frequent_patterns import apriori, association_rules,fpgrowth

数据预处理

看下rawdata的结构

df_order_sh.tail()

需要将原始数据处理成算法输入的结构，这里省掉数据本身的清洗过程。在实际工程案例中，数据本身的清洗过程也非常重要，当然也非常耗时。

lis_dataset = []
start = dt.datetime.now()
df_item = df_order_sh.groupby(by='order_key',as_index=False).agg({'product_code':lambda x:list(set(x))})
lis_dataset = df_item['product_code'].values
te = TransactionEncoder()
# oht_ary = te.fit(lis_dataset).transform(lis_dataset, sparse=True)
# sparse_df = pd.DataFrame.sparse.from_spmatrix(oht_ary, columns=te.columns_)
te_ary = te.fit(lis_dataset).transform(lis_dataset)
df = pd.DataFrame(te_ary, columns=te.columns_)
end = dt.datetime.now()
print('Time taken: %s' % (end - start))

Time taken: 0:00:13.465850

看下数据结构,行是每笔交易订单，column是产品

df.head()

关联算法

对比下fpgrowth和apriori的速度

• fpgrowth

start = dt.datetime.now()
fp_df = fpgrowth(df, min_support=0.005, use_colnames=True)
end = dt.datetime.now()
print('Time taken: %s' % (end - start))

Time taken: 0:00:07.011471

• apriori

start = dt.datetime.now()
apriori_df = apriori(df, min_support = 0.005,use_colnames = True)
end = dt.datetime.now()
print('Time taken: %s' % (end - start))

Time taken: 0:01:06.819719

df.shape

(1397433, 427)

这个case看，apriori找到频繁项集需要76s，但是fpgrowth却需要7.2s,是apriori耗时的1/10。我们的实验集差不多1百多万行记录，如果数据集更大，差距会更明显。

apriori和fpgrowth的找频繁项集的原理不一样，但是输出基本是一致的。后面我们用apriori的结果寻找关联规则。

找到频繁项集后，最后一步是找到合适的规则

rules = association_rules(apriori_df, metric ="lift", min_threshold = 1)
rules = rules.sort_values(['confidence', 'lift'], ascending =[False, False])

# 看下结果
rules

从这个结果看，实验集中最多两个产品之间会存在关联关系。我们这里support(支持度)设的是0.005，很低，实际案例中可以根据分析场景进行调节。

最后

以上就是魁梧日记本为你收集整理的购物篮分析-关联分析关联分析的全部内容，希望文章能够帮你解决购物篮分析-关联分析关联分析所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。