1. 首页
  2. 文章中心
  3. pyton

TextRank的原理和TextRank4zh的简单使用

80 阅读 0 评论
我是靠谱客的博主 高高世界，这篇文章主要介绍TextRank的原理和TextRank4zh的简单使用，现在分享给大家，希望可以做个参考。

版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。
本文链接： https://blog.csdn.net/wotui1842/article/details/80351386

    TextRank算法是一种文本排序算法，由谷歌的网页重要性排序算法PageRank算法改进而来，它能够从一个给定的文本中提取出该文本的关键词、关键词组，并使用抽取式的自动文摘方法提取出该文本的关键句。其提出论文是： Mihalcea R, Tarau P. TextRank: Bringing order into texts[C]. Association for Computational Linguistics, 2004. 论文的百度学术下载地址为：点击打开链接。本文将首先介绍TextRank算法的基本原理，然后给出Python中TextRank算法的中文文本实现模块textrank4zh的使用实例。

1 TextRank算法的基本原理

    TextRank算法是由网页重要性排序算法PageRank算法迁移而来：PageRank算法根据万维网上页面之间的链接关系计算每个页面的重要性；TextRank算法将词视为“万维网上的节点”，根据词之间的共现关系计算每个词的重要性，并将PageRank中的有向边变为无向边。所以，在介绍TextRank算法之前，先介绍一下PageRank算法。

1.1 PageRank算法的基本概念和原理

    PageRank算法的起源要从搜索引擎的发展讲起。早期的搜索引擎普遍采用分类目录方法，即通过人工对网页进行分类，整理出高质量的网站。随着网页的增多，人工分类的方法变得不现实，人们开始尝试使用文本检索的方法，即通过计算用户查询的关键词与网页内容的相关程度来返回搜索结果。这种方法突破了网页数量的限制，但是这种方法的效果并不总是很好，因为某些网站会刻意“操作”某些关键词从而使自己的搜索排名靠前。这一问题在1998年4月的第七届国际万维网大会上得以解决——Larry Page和Sergey Brin提出了PageRank算法。该算法通过计算网页链接的数量和质量来粗略估计网页的重要性，算法创立之初即应用在谷歌的搜索引擎中，对网页进行排名。

    PageRank算法的核心思想如下：

  • 如果一个网页被很多其他网页链接到，说明这个网页比较重要，即该网页的PR值（PageRank值）会相对较高；
  • 如果一个PR值很高的网页链接到一个其他网页，那么被链接到的网页的PR值会相应地因此而提高。

    以投票机制的观点来看，一个网页的得票数由所有链向它的网页的得票数经过递归算法来得到，有到一个网页的超链接相当于对该网页投了一票。

    为了便于理解，考虑以下情境：

          

1）如上左图，假设一个只由4个网页组成的集合：A、B、C和D，如果网页B、C、D都链向网页A，且网页B、C、D均没有链出，那么网页A的PR值将是网页B、C、D的PR值之和:


2）如上右图，继续假设在上述情境下，网页B有链接链向网页C，网页D有链接链向网页A、B、C，一个网页不能多次投票，所以网页B投给它链向的网页1/2票，网页D投给它链向的网页1/3票，计算此情境下网页A的PR值为：


即，在一个网页为其他网页投票时，根据链出总数平分该网页的PR值，将其作为该网页为其链向网页所投票数，即：


3）再抽象一下，建立一个简化模型，对于任意的网页i，它的PR值可以表示如下：


：网页i的PR值

：网页j的PR值

：所有链接到网页i的网页集合

：网页j的对外链出数

    以上讲的是PageRank算法的简单模型，但是简单模型并不适用于只链出自己的网页或几个网页的链出形成一个循环的情况，所以考虑更具普遍性的PageRank算法模型——随机浏览模型。

    随机浏览模型的假设是这样的：假定一个网页浏览者从一个随机页面开始浏览，浏览者不断点击当前网页的链接开始下一次浏览。但是，浏览者会逐渐厌倦并开始随机浏览网页。随机浏览的方式更符合用户的真实浏览行为，避免了上述情况的发生，由此产生了随机浏览模型，随机浏览模型中每个网页的PR值通过以下公式计算：


：网页i的PR值

：网页j的PR值

：网页j的对外链出数

：所有链接到网页i的网页集合

：网络中网页的总数

：阻尼系数，即按照超链接进行浏览的概率，一般取经验值为0.85

：浏览者随机跳转到一个新网页的概率

    一个网页的PR值是由其他网页的PR值计算得到的。由于PR=A*PR（A为概率转移矩阵）满足马尔科夫链的性质，那么通过迭代可以得到所有网页的PR值。经过重复计算，这些网页的PR值会趋于正常和稳定。

    随着研究的深入，目前PageRank算法被广泛应用于众多方面，例如学术论文的重要性排名、学术论文作者的重要性排序、网络爬虫、关键词与关键句的抽取等。

1.2 从PageRank算法到TextRank算法

    TextRank算法是由PageRank算法改进而来的，二者的思想有相同之处，区别在于：PageRank算法根据网页之间的链接关系构造网络，而TextRank算法根据词之间的共现关系构造网络；PageRank算法构造的网络中的边是有向无权边，而TextRank算法构造的网络中的边是无向有权边。TextRank算法的核心公式如下，其中用于表示两个节点之间的边连接具有不同的重要程度：


    为了便于理解，给出使用TextRank算法提取关键词和关键词组的具体步骤如下：

1）将给定的文本按照整句进行分割，即；

2）对于每个句子，对其进行分词和词性标注，然后剔除停用词，只保留指定词性的词，如名词、动词、形容词等，即，其中为句子i中保留下的词；

3）构建词图，其中V为节点集合，由以上步骤生成的词组成，然后采用共现关系构造任意两个节点之间的边：两个节点之间存在边仅当它们对应的词在长度为K的窗口中共现，K表示窗口大小，即最多共现K个单词，一般K取2；

4）根据上面的公式，迭代计算各节点的权重，直至收敛；

5）对节点的权重进行倒序排序，从中得到最重要的t个单词，作为top-t关键词；

6）对于得到的top-t关键词，在原始文本中进行标记，若它们之间形成了相邻词组，则作为关键词组提取出来。

    从给定文本中提取关键句时，将文本中的每个句子分别看作一个节点，如果两个句子有相似性，则认为这两个句子对应的节点之间存在一条无向有权边，衡量句子之间相似性的公式如下：


：两个句子

：句子中的词

    分子部分的意思是同时出现在两个句子中的同一个词的数量，分母是对句子中词的个数求对数后求和，这样设计可以遏制较长的句子在相似度计算上的优势。

    根据以上相似度计算公式循环计算任意两个节点之间的相似度，设置阈值去掉两个节点之间相似度较低的边连接，构建出节点连接图，然后迭代计算每个节点的TextRank值，排序后选出TextRank值最高的几个节点对应的句子作为关键句。

1.3 textrank4zh模块源码解读

    textrank4zh模块是针对中文文本的TextRank算法的python算法实现，该模块的下载地址为：点击打开链接

    对其源码解读如下：

    util.py：textrank4zh模块的工具包，TextRank算法的核心思想在该文件中实现。

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
629
630
631
632
633
634
635
636
637
638
639
640
641
642
643
644
645
646
647
648
649
650
651
652
653
654
655
656
657
658
659
660
661
662
663
664
665
666
667
668
669
670
671
672
673
674
675
676
677
678
679
680
681
682
683
684
685
686
687
688
689
690
691
692
693
694
695
696
697
698
699
700
701
702
703
704
705
706
707
708
709
710
711
712
713
714
715
716
717
718
719
720
721
722
723
724
725
726
727
728
729
730
731
732
733
734
735
736
737
738
739
740
741
742
743
744
745
746
747
748
749
750
751
752
753
754
755
756
757
758
759
760
761
762
763
764
765
766
767
768
769
770
771
772
773
774
775
776
777
778
779
780
781
782
783
784
785
786
787
788
789
790
791
792
793
794
795
796
797
798
799
800
801
802
803
804
805
806
807
808
809
810
811
812
813
814
815
816
817
818
819
820
821
822
823
824
825
826
827
828
829
830
831
832
833
834
835
836
837
838
839
840
841
842
843
844
845
846
847
848
849
850
851
852
853
854
855
856
857
858
859
860
861
862
863
864
865
866
867
868
869
870
871
872
873
874
875
876
877
878
879
880
881
882
883
884
885
886
887
888
889
890
891
892
893
894
895
896
897
898
899
900
901
902
903
904
905
906
907
908
909
910
911
912
913
914
915
916
917
918
919
920
921
922
923
924
925
926
927
928
929
930
931
932
933
934
935
936
937
938
939
940
941
942
943
944
945
946
947
948
949
950
951
952
953
954
955
956
957
958
959
960
961
962
963
964
965
966
967
968
969
970
971
972
973
974
975
976
977
978
979
980
981
982
983
984
985
986
987
988
989
990
991
992
993
994
995
996
997
998
999
1000
1001
1002
1003
1004
1005
1006
1007
1008
1009
1010
1011
1012
1013
1014
1015
1016
1017
1018
1019
1020
1021
1022
1023
1024
1025
1026
1027
1028
1029
1030
1031
1032
1033
1034
1035
1036
1037
1038
1039
1040
1041
1042
1043
1044
1045
1046
1047
1048
1049
1050
1051
1052
1053
1054
1055
1056
1057
1058
1059
1060
1061
1062
1063
1064
1065
1066
1067
1068
1069
1070
1071
1072
1073
1074
1075
1076
1077
1078
1079
1080
1081
1082
1083
1084
1085
1086
1087
1088
1089
1090
1091
1092
1093
1094
1095
1096
1097
1098
1099
1100
1101
1102
1103
1104
1105
1106
1107
1108
1109
1110
1111
1112
1113
1114
1115
1116
1117
1118
1119
1120
1121
1122
1123
1124
1125
1126
1127
1128
1129
1130
1131
1132
1133
1134
1135
1136
1137
1138
1139
1140
1141
1142
1143
1144
1145
1146
1147
1148
1149
1150
1151
1152
1153
1154
1155
1156
1157
1158
1159
1160
1161
1162
1163
1164
1165
1166
1167
1168
1169
1170
1171
1172
1173
1174
1175
1176
1177
1178
1179
1180
1181
1182
1183
1184
1185
1186
1187
1188
1189
1190
1191
1192
1193
1194
1195
1196
1197
1198
1199
1200
1201
1202
1203
1204
1205
1206
1207
1208
1209
1210
1211
1212
1213
1214
1215
1216
1217
1218
1219
1220
1221
1222
1223
1224
1225
1226
1227
1228
1229
1230
1231
1232
1233
1234
1235
1236
1237
1238
1239
1240
1241
1242
1243
1244
1245
1246
1247
1248
1249
1250
1251
1252
1253
1254
1255
1256
1257
1258
1259
1260
1261
1262
1263
1264
1265
1266
1267
1268
1269
1270
1271
1272
1273
1274
1275
1276
1277
1278
1279
1280
1281
1282
1283
1284
1285
1286
1287
1288
1289
1290
1291
1292
1293
1294
1295
1296
1297
1298
1299
1300
1301
1302
1303
1304
1305
1306
1307
1308
1309
1310
1311
1312
1313
1314
1315
1316
1317
1318
1319
1320
1321
1322
1323
1324
1325
1326
1327
1328
1329
1330
1331
1332
1333
1334
1335
1336
1337
1338
1339
1340
1341
1342
1343
1344
1345
1346
1347
1348
1349
1350
1351
1352
1353
1354
1355
1356
1357
1358
1359
1360
1361
1362
1363
1364
1365
1366
1367
1368
1369
1370
1371
1372
1373
1374
1375
1376
1377
1378
1379
1380
1381
1382
1383
1384
1385
1386
1387
1388
1389
1390
1391
1392
1393
1394
1395
1396
1397
1398
1399
1400
1401
1402
1403
1404
1405
1406
1407
1408
1409
1410
1411
1412
1413
1414
1415
1416
1417
1418
1419
1420
1421
1422
1423
1424
1425
1426
1427
1428
1429
1430
1431
1432
1433
1434
1435
1436
1437
1438
1439
1440
1441
1442
1443
1444
1445
1446
1447
1448
1449
1450
1451
1452
1453
1454
1455
1456
1457
1458
1459
1460
1461
1462
1463
1464
1465
1466
1467
1468
1469
1470
1471
1472
1473
1474
1475
1476
1477
1478
1479
1480
1481
1482
1483
1484
1485
1486
1487
1488
1489
1490
1491
1492
1493
1494
1495
1496
1497
1498
1499
1500
1501
1502
1503
1504
1505
1506
1507
1508
1509
1510
1511
1512
1513
1514
1515
1516
1517
1518
1519
1520
1521
1522
1523
1524
1525
1526
1527
1528
1529
1530
1531
1532
1533
1534
1535
1536
1537
1538
1539
1540
1541
1542
1543
1544
1545
1546
1547
1548
1549
1550
1551
1552
1553
1554
1555
1556
1557
1558
1559
1560
1561
1562
1563
1564
1565
1566
1567
1568
1569
1570
1571
1572
1573
1574
1575
1576
1577
1578
1579
1580
1581
1582
1583
1584
1585
1586
1587
1588
1589
1590
1591
1592
1593
1594
1595
1596
1597
1598
1599
1600
1601
1602
1603
1604
1605
1606
1607
1608
1609
1610
1611
1612
1613
1614
1615
1616
1617
1618
1619
1620
1621
1622
1623
1624
1625
1626
1627
1628
1629
1630
1631
1632
1633
1634
1635
1636
1637
1638
1639
1640
1641
1642
1643
1644
1645
1646
1647
1648
1649
1650
1651
1652
1653
1654
1655
1656
1657
1658
1659
1660
1661
1662
1663
1664
1665
1666
1667
1668
1669
1670
1671
1672
1673
1674
1675
1676
1677
1678
1679
1680
1681
1682
1683
1684
1685
1686
1687
1688
1689
1690
1691
1692
1693
1694
1695
1696
1697
1698
1699
1700
1701
1702
1703
1704
1705
1706
1707
1708
1709
1710
1711
1712
1713
1714
1715
1716
1717
1718
1719
1720
1721
1722
1723
1724
1725
1726
1727
1728
1729
1730
1731
1732
1733
1734
1735
1736
1737
1738
1739
1740
1741
1742
1743
1744
1745
1746
1747
1748
1749
1750
1751
1752
1753
1754
1755
1756
1757
1758
1759
1760
1761
1762
1763
1764
1765
1766
1767
1768
1769
1770
1771
1772
1773
1774
1775


  1. 

    

    

    

    

    
# -*- encoding:utf-8 -*-

    

  2. 

    

    

    

    

    
"""

    

  3. 

    

    

    

    

    
@author:
letian

    

  4. 

    

    

    

    

    
@homepage: http://www.letiantian.me

    

  5. 

    

    

    

    

    
@github:
https://github.com/someus/

    

  6. 

    

    

    

    

    
"""

    

  7. 

    

    

    

    

    
from __future__
import (absolute_import, division, print_function,

    

  8. 

    

    

    

    

    
unicode_literals)

    

  9. 

    

    

    

    

    

    

  10. 

    

    

    

    

    
import os

    

  11. 

    

    

    

    

    
import math

    

  12. 

    

    

    

    

    
import networkx
as nx

    

  13. 

    

    

    

    

    
import numpy
as np

    

  14. 

    

    

    

    

    
import sys

    

  15. 

    

    

    

    

    

    

  16. 

    

    

    

    

    
try:

    

  17. 

    

    

    

    

    
reload(sys)

    

  18. 

    

    

    

    

    
sys.setdefaultencoding(
'utf-8')

    

  19. 

    

    

    

    

    
except:

    

  20. 

    

    

    

    

    
pass

    

  21. 

    

    

    

    

    

    

  22. 

    

    

    

    

    
sentence_delimiters = [
'?',
'!',
';',
'？',
'！',
'。',
'；',
'……',
'…',
'n']

    

  23. 

    

    

    

    

    
allow_speech_tags = [
'an',
'i',
'j',
'l',
'n',
'nr',
'nrfg',
'ns',
'nt',
'nz',
't',
'v',
'vd',
'vn',
'eng']

    

  24. 

    

    

    

    

    

    

  25. 

    

    

    

    

    
PY2 = sys.version_info[
0] ==
2

    

  26. 

    

    

    

    

    
if
not PY2:

    

  27. 

    

    

    

    

    
# Python 3.x and up

    

  28. 

    

    

    

    

    
text_type = str

    

  29. 

    

    

    

    

    
string_types = (str,)

    

  30. 

    

    

    

    

    
xrange = range

    

  31. 

    

    

    

    

    

    

  32. 

    

    

    

    

    

    

  33. 

    

    

    

    

    
def as_text(v):
## 生成unicode字符串

    

  34. 

    

    

    

    

    
if v
is
None:

    

  35. 

    

    

    

    

    
return
None

    

  36. 

    

    

    

    

    
elif isinstance(v, bytes):

    

  37. 

    

    

    

    

    
return v.decode(
'utf-8', errors=
'ignore')

    

  38. 

    

    

    

    

    
elif isinstance(v, str):

    

  39. 

    

    

    

    

    
return v

    

  40. 

    

    

    

    

    
else:

    

  41. 

    

    

    

    

    
raise ValueError(
'Unknown type %r' % type(v))

    

  42. 

    

    

    

    

    

    

  43. 

    

    

    

    

    

    

  44. 

    

    

    

    

    
def is_text(v):

    

  45. 

    

    

    

    

    
return isinstance(v, text_type)

    

  46. 

    

    

    

    

    

    

  47. 

    

    

    

    

    
else:

    

  48. 

    

    

    

    

    
# Python 2.x

    

  49. 

    

    

    

    

    
text_type = unicode

    

  50. 

    

    

    

    

    
string_types = (str, unicode)

    

  51. 

    

    

    

    

    
xrange = xrange

    

  52. 

    

    

    

    

    

    

  53. 

    

    

    

    

    

    

  54. 

    

    

    

    

    
def as_text(v):

    

  55. 

    

    

    

    

    
if v
is
None:

    

  56. 

    

    

    

    

    
return
None

    

  57. 

    

    

    

    

    
elif isinstance(v, unicode):

    

  58. 

    

    

    

    

    
return v

    

  59. 

    

    

    

    

    
elif isinstance(v, str):

    

  60. 

    

    

    

    

    
return v.decode(
'utf-8', errors=
'ignore')

    

  61. 

    

    

    

    

    
else:

    

  62. 

    

    

    

    

    
raise ValueError(
'Invalid type %r' % type(v))

    

  63. 

    

    

    

    

    

    

  64. 

    

    

    

    

    

    

  65. 

    

    

    

    

    
def is_text(v):

    

  66. 

    

    

    

    

    
return isinstance(v, text_type)

    

  67. 

    

    

    

    

    

    

  68. 

    

    

    

    

    
__DEBUG =
None

    

  69. 

    

    

    

    

    

    

  70. 

    

    

    

    

    

    

  71. 

    

    

    

    

    
def debug(*args):

    

  72. 

    

    

    

    

    
global __DEBUG

    

  73. 

    

    

    

    

    
if __DEBUG
is
None:

    

  74. 

    

    

    

    

    
try:

    

  75. 

    

    

    

    

    
if os.environ[
'DEBUG'] ==
'1':

    

  76. 

    

    

    

    

    
__DEBUG =
True

    

  77. 

    

    

    

    

    
else:

    

  78. 

    

    

    

    

    
__DEBUG =
False

    

  79. 

    

    

    

    

    
except:

    

  80. 

    

    

    

    

    
__DEBUG =
False

    

  81. 

    

    

    

    

    
if __DEBUG:

    

  82. 

    

    

    

    

    
print(
' '.join([str(arg)
for arg
in args]))

    

  83. 

    

    

    

    

    

    

  84. 

    

    

    

    

    

    

  85. 

    

    

    

    

    
class AttrDict(dict):

    

  86. 

    

    

    

    

    
"""Dict that can get attribute by dot"""

    

  87. 

    

    

    

    

    

    

  88. 

    

    

    

    

    
def __init__(self, *args, **kwargs):

    

  89. 

    

    

    

    

    
super(AttrDict, self).__init__(*args, **kwargs)

    

  90. 

    

    

    

    

    
self.__dict__ = self

    

  91. 

    

    

    

    

    

    

  92. 

    

    

    

    

    

    

  93. 

    

    

    

    

    
def combine(word_list, window=2):

    

  94. 

    

    

    

    

    
"""构造在window下的单词组合，用来构造单词之间的边。

    

  95. 

    

    

    

    

    


    

  96. 

    

    

    

    

    
 Keyword arguments:

    

  97. 

    

    

    

    

    
 word_list
--
list of str, 由单词组成的列表。

    

  98. 

    

    

    

    

    
 windows
--
int, 窗口大小。

    

  99. 

    

    

    

    

    
 """

    

  100. 

    

    

    

    

    
if window <
2: window =
2

    

  101. 

    

    

    

    

    
for x
in xrange(
1, window):

    

  102. 

    

    

    

    

    
if x >= len(word_list):

    

  103. 

    

    

    

    

    
break

    

  104. 

    

    

    

    

    
word_list2 = word_list[x:]

    

  105. 

    

    

    

    

    
res = zip(word_list, word_list2)

    

  106. 

    

    

    

    

    
for r
in res:

    

  107. 

    

    

    

    

    
yield r

    

  108. 

    

    

    

    

    

    

  109. 

    

    

    

    

    

    

  110. 

    

    

    

    

    
def get_similarity(word_list1, word_list2):

    

  111. 

    

    

    

    

    
"""默认的用于计算两个句子相似度的函数。

    

  112. 

    

    

    

    

    


    

  113. 

    

    

    

    

    
 Keyword arguments:

    

  114. 

    

    

    

    

    
 word_list1, word_list2
--
分别代表两个句子，都是由单词组成的列表

    

  115. 

    

    

    

    

    
 """

    

  116. 

    

    

    

    

    
words = list(set(word_list1 + word_list2))

    

  117. 

    

    

    

    

    
vector1 = [float(word_list1.count(word))
for word
in words]

    

  118. 

    

    

    

    

    
vector2 = [float(word_list2.count(word))
for word
in words]

    

  119. 

    

    

    

    

    

    

  120. 

    

    

    

    

    
vector3 = [vector1[x] * vector2[x]
for x
in xrange(len(vector1))]

    

  121. 

    

    

    

    

    
vector4 = [
1
for num
in vector3
if num >
0.]

    

  122. 

    

    

    

    

    
co_occur_num = sum(vector4)

    

  123. 

    

    

    

    

    

    

  124. 

    

    

    

    

    
if abs(co_occur_num) <=
1e-12:

    

  125. 

    

    

    

    

    
return
0.

    

  126. 

    

    

    

    

    

    

  127. 

    

    

    

    

    
denominator = math.log(float(len(word_list1))) + math.log(float(len(word_list2)))
# 分母

    

  128. 

    

    

    

    

    

    

  129. 

    

    

    

    

    
if abs(denominator) <
1e-12:

    

  130. 

    

    

    

    

    
return
0.

    

  131. 

    

    

    

    

    

    

  132. 

    

    

    

    

    
return co_occur_num / denominator

    

  133. 

    

    

    

    

    

    

  134. 

    

    

    

    

    

    

  135. 

    

    

    

    

    
def sort_words(vertex_source, edge_source, window=2, pagerank_config={'alpha': 0.85, }):

    

  136. 

    

    

    

    

    
"""将单词按关键程度从大到小排序

    

  137. 

    

    

    

    

    


    

  138. 

    

    

    

    

    
 Keyword arguments:

    

  139. 

    

    

    

    

    
 vertex_source
--
二维列表，子列表代表句子，子列表的元素是单词，这些单词用来构造pagerank中的节点

    

  140. 

    

    

    

    

    
 edge_source
--
二维列表，子列表代表句子，子列表的元素是单词，根据单词位置关系构造pagerank中的边

    

  141. 

    

    

    

    

    
 window
--
一个句子中相邻的window个单词，两两之间认为有边

    

  142. 

    

    

    

    

    
 pagerank_config --
pagerank的设置

    

  143. 

    

    

    

    

    
 """

    

  144. 

    

    

    

    

    
sorted_words = []

    

  145. 

    

    

    

    

    
word_index = {}

    

  146. 

    

    

    

    

    
index_word = {}

    

  147. 

    

    

    

    

    
_vertex_source = vertex_source

    

  148. 

    

    

    

    

    
_edge_source = edge_source

    

  149. 

    

    

    

    

    
words_number =
0

    

  150. 

    

    

    

    

    
for word_list
in _vertex_source:

    

  151. 

    

    

    

    

    
for word
in word_list:

    

  152. 

    

    

    

    

    
if
not word
in word_index:

    

  153. 

    

    

    

    

    
word_index[word] = words_number

    

  154. 

    

    

    

    

    
index_word[words_number] = word

    

  155. 

    

    

    

    

    
words_number +=
1

    

  156. 

    

    

    

    

    

    

  157. 

    

    

    

    

    
graph = np.zeros((words_number, words_number))

    

  158. 

    

    

    

    

    

    

  159. 

    

    

    

    

    
for word_list
in _edge_source:

    

  160. 

    

    

    

    

    
for w1, w2
in combine(word_list, window):

    

  161. 

    

    

    

    

    
if w1
in word_index
and w2
in word_index:

    

  162. 

    

    

    

    

    
index1 = word_index[w1]

    

  163. 

    

    

    

    

    
index2 = word_index[w2]

    

  164. 

    

    

    

    

    
graph[index1][index2] =
1.0

    

  165. 

    

    

    

    

    
graph[index2][index1] =
1.0

    

  166. 

    

    

    

    

    

    

  167. 

    

    

    

    

    
debug(
'graph:n', graph)

    

  168. 

    

    

    

    

    

    

  169. 

    

    

    

    

    
nx_graph = nx.from_numpy_matrix(graph)

    

  170. 

    

    

    

    

    
scores = nx.pagerank(nx_graph, **pagerank_config)
# this is a dict

    

  171. 

    

    

    

    

    
sorted_scores = sorted(scores.items(), key=
lambda item: item[
1], reverse=
True)

    

  172. 

    

    

    

    

    
for index, score
in sorted_scores:

    

  173. 

    

    

    

    

    
item = AttrDict(word=index_word[index], weight=score)

    

  174. 

    

    

    

    

    
sorted_words.append(item)

    

  175. 

    

    

    

    

    

    

  176. 

    

    

    

    

    
return sorted_words

    

  177. 

    

    

    

    

    

    

  178. 

    

    

    

    

    

    

  179. 

    

    

    

    

    
def sort_sentences(sentences, words, sim_func=get_similarity, pagerank_config={'alpha': 0.85, }):

    

  180. 

    

    

    

    

    
"""将句子按照关键程度从大到小排序

    

  181. 

    

    

    

    

    


    

  182. 

    

    

    

    

    
 Keyword arguments:

    

  183. 

    

    

    

    

    
 sentences
--
列表，元素是句子

    

  184. 

    

    

    

    

    
 words
--
二维列表，子列表和sentences中的句子对应，子列表由单词组成

    

  185. 

    

    

    

    

    
 sim_func
--
计算两个句子的相似性，参数是两个由单词组成的列表

    

  186. 

    

    

    

    

    
 pagerank_config
--
pagerank的设置

    

  187. 

    

    

    

    

    
 """

    

  188. 

    

    

    

    

    
sorted_sentences = []

    

  189. 

    

    

    

    

    
_source = words

    

  190. 

    

    

    

    

    
sentences_num = len(_source)

    

  191. 

    

    

    

    

    
graph = np.zeros((sentences_num, sentences_num))

    

  192. 

    

    

    

    

    

    

  193. 

    

    

    

    

    
for x
in xrange(sentences_num):

    

  194. 

    

    

    

    

    
for y
in xrange(x, sentences_num):

    

  195. 

    

    

    

    

    
similarity = sim_func(_source[x], _source[y])

    

  196. 

    

    

    

    

    
graph[x, y] = similarity

    

  197. 

    

    

    

    

    
graph[y, x] = similarity

    

  198. 

    

    

    

    

    

    

  199. 

    

    

    

    

    
nx_graph = nx.from_numpy_matrix(graph)

    

  200. 

    

    

    

    

    
scores = nx.pagerank(nx_graph, **pagerank_config)
# this is a dict

    

  201. 

    

    

    

    

    
sorted_scores = sorted(scores.items(), key=
lambda item: item[
1], reverse=
True)

    

  202. 

    

    

    

    

    

    

  203. 

    

    

    

    

    
for index, score
in sorted_scores:

    

  204. 

    

    

    

    

    
item = AttrDict(index=index, sentence=sentences[index], weight=score)

    

  205. 

    

    

    

    

    
sorted_sentences.append(item)

    

  206. 

    

    

    

    

    

    

  207. 

    

    

    

    

    
return sorted_sentences

    

  208. 

    

    

    

    

    

    

  209. 

    

    

    

    

    

    

  210. 

    

    

    

    

    
if __name__ ==
'__main__':

    

  211. 

    

    

    

    

    
pass

Segmentation.py：包含用于分词和分句的类。

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
629
630
631
632
633
634
635
636
637
638
639
640
641
642
643
644
645
646
647
648
649
650
651
652
653
654
655
656
657
658
659
660
661
662
663
664
665
666
667
668
669
670
671
672
673
674
675
676
677
678
679
680
681
682
683
684
685
686
687
688
689
690
691
692
693
694
695
696
697
698
699
700
701
702
703
704
705
706
707
708
709
710
711
712
713
714
715
716
717
718
719
720
721
722
723
724
725
726
727
728
729
730
731
732
733
734
735
736
737
738
739
740
741
742
743
744
745
746
747
748
749
750
751
752
753
754
755
756
757
758
759
760
761
762
763
764
765
766
767
768
769
770
771
772
773
774
775
776
777
778
779
780
781
782
783
784
785
786
787
788
789
790
791
792
793
794
795
796
797
798
799
800
801
802
803
804
805
806
807
808
809
810
811
812
813
814
815
816
817
818
819
820
821
822
823
824
825
826
827
828
829
830
831
832
833
834
835
836
837
838
839
840
841
842
843
844
845
846
847
848
849
850
851
852
853
854
855
856
857
858
859
860
861
862
863
864
865
866
867
868
869
870
871
872
873
874
875
876
877
878
879
880
881
882
883
884
885
886
887
888
889
890
891
892
893
894
895
896
897
898
899
900
901
902
903
904
905
906
907
908
909
910
911
912
913
914
915
916
917
918
919
920
921
922
923
924
925
926
927
928
929
930
931
932
933
934
935
936
937
938
939
940
941
942
943
944
945
946
947
948
949
950
951
952
953
954
955
956
957
958
959
960
961
962
963
964
965
966
967
968
969
970
971
972
973
974
975
976
977
978
979
980
981
982
983
984
985
986
987
988
989
990
991
992
993
994
995
996
997
998
999
1000
1001
1002
1003
1004
1005
1006
1007
1008
1009
1010
1011
1012
1013
1014
1015
1016
1017
1018
1019
1020
1021
1022
1023
1024
1025
1026
1027
1028
1029
1030
1031
1032
1033
1034
1035
1036
1037
1038
1039
1040
1041
1042
1043
1044
1045
1046
1047
1048
1049
1050
1051
1052
1053
1054
1055
1056
1057
1058
1059
1060
1061
1062
1063
1064
1065
1066
1067
1068
1069
1070
1071
1072
1073
1074
1075
1076
1077
1078
1079
1080
1081
1082
1083
1084
1085
1086
1087
1088
1089
1090
1091
1092
1093
1094
1095
1096
1097
1098
1099
1100
1101
1102
1103
1104
1105
1106
1107
1108
1109
1110
1111
1112
1113
1114
1115
1116
1117
1118
1119
1120
1121
1122
1123
1124
1125
1126
1127
1128
1129
1130
1131
1132
1133
1134
1135
1136
1137
1138
1139
1140
1141
1142
1143
1144
1145
1146
1147
1148
1149
1150
1151
1152
1153
1154
1155
1156
1157
1158
1159
1160
1161
1162
1163
1164
1165
1166
1167
1168
1169
1170
1171
1172
1173
1174
1175
1176
1177
1178
1179
1180
1181
1182
1183
1184
1185
1186
1187
1188
1189
1190
1191
1192
1193
1194
1195
1196
1197
1198
1199
1200
1201
1202
1203
1204
1205
1206
1207
1208
1209
1210
1211
1212
1213
1214
1215
1216
1217
1218
1219
1220
1221
1222
1223
1224
1225
1226
1227
1228
1229
1230
1231
1232
1233
1234
1235
1236
1237
1238
1239
1240
1241
1242
1243
1244
1245
1246
1247
1248
1249
1250
1251
1252
1253
1254
1255
1256
1257
1258
1259
1260
1261
1262
1263
1264
1265
1266
1267
1268
1269
1270
1271
1272
1273
1274
1275
1276
1277
1278
1279
1280
1281
1282
1283
1284
1285
1286
1287
1288
1289
1290
1291
1292
1293
1294
1295
1296
1297
1298
1299
1300
1301
1302
1303
1304
1305
1306
1307
1308
1309
1310
1311
1312
1313
1314
1315
1316
1317
1318
1319
1320
1321
1322
1323
1324
1325
1326
1327
1328
1329
1330
1331
1332
1333
1334
1335
1336
1337
1338
1339
1340
1341
1342
1343
1344
1345
1346
1347
1348
1349
1350
1351
1352
1353
1354
1355
1356
1357
1358
1359
1360
1361
1362
1363
1364
1365
1366
1367
1368
1369
1370
1371
1372
1373
1374
1375
1376
1377
1378
1379
1380
1381
1382
1383
1384
1385
1386
1387
1388
1389
1390
1391
1392
1393
1394
1395
1396
1397
1398
1399
1400
1401
1402
1403
1404
1405
1406
1407
1408
1409
1410
1411
1412
1413
1414
1415
1416
1417
1418
1419
1420
1421
1422
1423
1424
1425
1426
1427
1428
1429
1430
1431
1432
1433
1434
1435
1436
1437
1438
1439
1440
1441
1442
1443
1444
1445


  1. 

    

    

    

    

    
# -*-coding:utf-8-*-

    

  2. 

    

    

    

    

    

    

  3. 

    

    

    

    

    
# 把新版本的特性引入当前版本

    

  4. 

    

    

    

    

    
from __future__
import (absolute_import, division, print_function, unicode_literals)

    

  5. 

    

    

    

    

    
# 导入结巴分词的词性标注组件

    

  6. 

    

    

    

    

    
import jieba.posseg
as pseg

    

  7. 

    

    

    

    

    
# 导入编码转换模块

    

  8. 

    

    

    

    

    
import codecs

    

  9. 

    

    

    

    

    
# 导入操作系统模块

    

  10. 

    

    

    

    

    
import os

    

  11. 

    

    

    

    

    
# 导入工具包组件

    

  12. 

    

    

    

    

    
from textrank4zh
import util

    

  13. 

    

    

    

    

    

    

  14. 

    

    

    

    

    

    

  15. 

    

    

    

    

    
# 获取停用词文件的路径

    

  16. 

    

    

    

    

    
def get_default_stop_words_file():

    

  17. 

    

    

    

    

    
# 获取当前脚本所在的路径

    

  18. 

    

    

    

    

    
d = os.path.dirname(os.path.realpath(__file__))

    

  19. 

    

    

    

    

    
# 返回停用词表所在路径，os.path.join方法用于将多个路径组合后返回

    

  20. 

    

    

    

    

    
return os.path.join(d,
'stopwords.txt')

    

  21. 

    

    

    

    

    

    

  22. 

    

    

    

    

    

    

  23. 

    

    

    

    

    
"""分词类"""

    

  24. 

    

    

    

    

    

    

  25. 

    

    

    

    

    

    

  26. 

    

    

    

    

    
class WordSegmentation(object):

    

  27. 

    

    

    

    

    

    

  28. 

    

    

    

    

    
"""初始化函数，获取词性列表和停用词表"""

    

  29. 

    

    

    

    

    
def __init__(self, stop_words_file=None, allow_speech_tags=util.allow_speech_tags):

    

  30. 

    

    

    

    

    
"""

    

  31. 

    

    

    

    

    

:param stop_words_file：保存停用词表的文件路径，使用utf-8编码方式，每行存放一个停用词，若不是str类型，则使用默认的停用词

    

  32. 

    

    

    

    

    

:param allow_speech_tags：默认的词性列表，用于过滤某些词性的词

    

  33. 

    

    

    

    

    

:return:无

    

  34. 

    

    

    

    

    

"""

    

  35. 

    

    

    

    

    
# 词性列表

    

  36. 

    

    

    

    

    
allow_speech_tags = [util.as_text(item)
for item
in allow_speech_tags]

    

  37. 

    

    

    

    

    
# 将词性列表设置为默认的词性列表

    

  38. 

    

    

    

    

    
self.default_speech_tags_filter = allow_speech_tags

    

  39. 

    

    

    

    

    

    

  40. 

    

    

    

    

    
# 使用set方法创建空集合

    

  41. 

    

    

    

    

    
self.stop_words = set()

    

  42. 

    

    

    

    

    
# 获取停用词文件的路径

    

  43. 

    

    

    

    

    
self.stop_words_file = get_default_stop_words_file()

    

  44. 

    

    

    

    

    
# 若停用词文件路径不是str类型，则使用默认的停用词

    

  45. 

    

    

    

    

    
if type(stop_words_file
is str):

    

  46. 

    

    

    

    

    
self.stop_words_file = stop_words_file

    

  47. 

    

    

    

    

    
# 打开并读取停用词文件，将其中的停用词加入停用词集合

    

  48. 

    

    

    

    

    
for word
in codecs.open(self.stop_words_file,
'r',
'utf-8',
'ignore'):

    

  49. 

    

    

    

    

    
self.stop_words.add(word.strip())

    

  50. 

    

    

    

    

    

    

  51. 

    

    

    

    

    
"""对文本进行分词，返回的分词结果以列表方式存储"""

    

  52. 

    

    

    

    

    
def segment(self, text, lower=True, user_stop_words=True, use_speech_tags_filter=False):

    

  53. 

    

    

    

    

    
"""

    

  54. 

    

    

    

    

    

:param text: 要进行分词的文本

    

  55. 

    

    

    

    

    

:param lower: 是否要将单词小写，针对英文

    

  56. 

    

    

    

    

    

:param user_stop_words: 若为True，表示使用停用词集合进行过滤，去掉停用词

    

  57. 

    

    

    

    

    

:param use_speech_tags_filter:是否基于词性进行过滤，若为True，则使用默认的词性列表进行过滤

    

  58. 

    

    

    

    

    

:return:词性过滤后的词列表

    

  59. 

    

    

    

    

    

"""

    

  60. 

    

    

    

    

    
# 待分词的文本

    

  61. 

    

    

    

    

    
text = util.as_text(text)

    

  62. 

    

    

    

    

    
# 词性标注结果列表

    

  63. 

    

    

    

    

    
jieba_result = pseg.cut(text)

    

  64. 

    

    

    

    

    

    

  65. 

    

    

    

    

    
if use_speech_tags_filter ==
True:

    

  66. 

    

    

    

    

    
# 进行词性过滤后的词性标注结果

    

  67. 

    

    

    

    

    
jieba_result = [w
for w
in jieba_result
if w.flag
in self.default_speech_tags_filter]

    

  68. 

    

    

    

    

    
else:

    

  69. 

    

    

    

    

    
# 不进行词性过滤的词性标注结果

    

  70. 

    

    

    

    

    
jieba_result = [w
for w
in jieba_result]

    

  71. 

    

    

    

    

    

    

  72. 

    

    

    

    

    
# 去除特殊符号

    

  73. 

    

    

    

    

    

    

  74. 

    

    

    

    

    
# 去除非语素字和词两端的空格

    

  75. 

    

    

    

    

    
# 非语素字只是一个符号，字母x通常用于代表未知数、符号

    

  76. 

    

    

    

    

    
word_list = [w.word.strip()
for w
in jieba_result
if w.flag !=
'x']

    

  77. 

    

    

    

    

    
# 去除空字符

    

  78. 

    

    

    

    

    
word_list = [word
for word
in word_list
if len(word) >
0]

    

  79. 

    

    

    

    

    

    

  80. 

    

    

    

    

    
# 是否将英文单词小写

    

  81. 

    

    

    

    

    
if lower:

    

  82. 

    

    

    

    

    
word_list = [word.lower()
for word
in word_list]

    

  83. 

    

    

    

    

    

    

  84. 

    

    

    

    

    
# 是否使用停用词集合进行过滤

    

  85. 

    

    

    

    

    
if user_stop_words:

    

  86. 

    

    

    

    

    
word_list = [word.strip()
for word
in word_list
if word.strip()
not
in self.stop_words]

    

  87. 

    

    

    

    

    

    

  88. 

    

    

    

    

    
# 返回词性过滤后的词列表

    

  89. 

    

    

    

    

    
return word_list

    

  90. 

    

    

    

    

    

    

  91. 

    

    

    

    

    
"""将列表sentences中的每个元素/句子转换为由单词构成的列表"""

    

  92. 

    

    

    

    

    
def segment_sentences(self, sentences, lower=True, user_stop_words=True, user_speech_tags_filter=False):

    

  93. 

    

    

    

    

    
"""

    

  94. 

    

    

    

    

    

:param sentences: 句子列表

    

  95. 

    

    

    

    

    

:return: 以词性过滤后的词列表为元素的列表

    

  96. 

    

    

    

    

    

"""

    

  97. 

    

    

    

    

    
res = []

    

  98. 

    

    

    

    

    
for sentence
in sentences:

    

  99. 

    

    

    

    

    
# 调用segment方法，将词性过滤后的词列表加入到列表中

    

  100. 

    

    

    

    

    
res.append(self.segment(text=sentences, lower=lower, user_stop_words=user_stop_words, use_speech_tags_filter=user_speech_tags_filter))

    

  101. 

    

    

    

    

    
# 返回以词性过滤后的词列表为元素的列表

    

  102. 

    

    

    

    

    
return res

    

  103. 

    

    

    

    

    

    

  104. 

    

    

    

    

    

    

  105. 

    

    

    

    

    
"""分句类"""

    

  106. 

    

    

    

    

    

    

  107. 

    

    

    

    

    

    

  108. 

    

    

    

    

    
class SentenceSegmentation(object):

    

  109. 

    

    

    

    

    

    

  110. 

    

    

    

    

    
"""初始化函数，获取用于分句的分隔符集合"""

    

  111. 

    

    

    

    

    
def __init__(self, delimiters=util.sentence_delimiters):

    

  112. 

    

    

    

    

    
"""

    

  113. 

    

    

    

    

    

:param delimiters: 可迭代对象，用于拆分句子

    

  114. 

    

    

    

    

    

"""

    

  115. 

    

    

    

    

    
self.delimiters = set([util.as_text(item)
for item
in delimiters])

    

  116. 

    

    

    

    

    

    

  117. 

    

    

    

    

    
"""将文本划分为句子，返回句子列表"""

    

  118. 

    

    

    

    

    
def segment(self, text):

    

  119. 

    

    

    

    

    
# 获取文本

    

  120. 

    

    

    

    

    
res = [util.as_text(text)]

    

  121. 

    

    

    

    

    
# 调试

    

  122. 

    

    

    

    

    
util.debug(res)

    

  123. 

    

    

    

    

    
util.debug(self.delimiters)

    

  124. 

    

    

    

    

    

    

  125. 

    

    

    

    

    
# 分句，使用了两层循环

    

  126. 

    

    

    

    

    
# 遍历分隔符对象

    

  127. 

    

    

    

    

    
for sep
in self.delimiters:

    

  128. 

    

    

    

    

    
# res表示分句结果

    

  129. 

    

    

    

    

    
text, res = res, []

    

  130. 

    

    

    

    

    
# 遍历文本对象

    

  131. 

    

    

    

    

    
for seq
in text:

    

  132. 

    

    

    

    

    
# 分句操作

    

  133. 

    

    

    

    

    
res += seq.split(sep)

    

  134. 

    

    

    

    

    
# 去除句子两端空格，并滤除空句

    

  135. 

    

    

    

    

    
res = [s.strip()
for s
in res
if len(s.strip() >
0)]

    

  136. 

    

    

    

    

    
# 返回句子列表

    

  137. 

    

    

    

    

    
return res

    

  138. 

    

    

    

    

    

    

  139. 

    

    

    

    

    

    

  140. 

    

    

    

    

    
"""分割类"""

    

  141. 

    

    

    

    

    

    

  142. 

    

    

    

    

    

    

  143. 

    

    

    

    

    
class Segmentation(object):

    

  144. 

    

    

    

    

    

    

  145. 

    

    

    

    

    
"""初始化函数"""

    

  146. 

    

    

    

    

    
def __init__(self, stop_word_file=None, allow_speech_tags=util.allow_speech_tags, delimiters=util.sentence_delimiters):

    

  147. 

    

    

    

    

    
"""

    

  148. 

    

    

    

    

    

:param stop_word_file: 停用词文件

    

  149. 

    

    

    

    

    

:param allow_speech_tags: 词性列表，用于过滤某些词性的词

    

  150. 

    

    

    

    

    

:param delimiters: 用于拆分句子的分隔符

    

  151. 

    

    

    

    

    

"""

    

  152. 

    

    

    

    

    
# 创建分词类的实例

    

  153. 

    

    

    

    

    
self.ws = WordSegmentation(stop_word_file=stop_word_file, allow_speech_tags=allow_speech_tags)

    

  154. 

    

    

    

    

    
# 创建分句类的实例

    

  155. 

    

    

    

    

    
self.ss = SentenceSegmentation(delimiters=delimiters)

    

  156. 

    

    

    

    

    

    

  157. 

    

    

    

    

    
def segment(self, text, lower=False):

    

  158. 

    

    

    

    

    
# 获取文本

    

  159. 

    

    

    

    

    
text = util.as_text(text)

    

  160. 

    

    

    

    

    
# 拆分文本，得到句子列表

    

  161. 

    

    

    

    

    
sentences = self.ss.segment(text)

    

  162. 

    

    

    

    

    
# 未进行词性过滤后的词列表

    

  163. 

    

    

    

    

    
words_no_filter = self.ws.segment_sentences(sentences=sentences, lower=lower, user_stop_words=
False, user_speech_tags_filter=
False)

    

  164. 

    

    

    

    

    
# 去掉停用词后的词列表

    

  165. 

    

    

    

    

    
words_no_stop_words = self.ws.segment_sentences(sentences=sentences, lower=lower, user_stop_words=
True, user_speech_tags_filter=
False)

    

  166. 

    

    

    

    

    
# 进行词性过滤并去掉停用词后的词列表

    

  167. 

    

    

    

    

    
words_all_filters = self.ws.segment_sentences(sentences=sentences, lower=lower, user_stop_words=
True, user_speech_tags_filter=
True)

    

  168. 

    

    

    

    

    
# 返回以上结果

    

  169. 

    

    

    

    

    
return util.AttrDict(sentences=sentences, words_no_filter=words_no_filter, words_no_stop_words=words_no_stop_words, words_all_filters=words_all_filters)

    

  170. 

    

    

    

    

    

    

  171. 

    

    

    

    

    

    

  172. 

    

    

    

    

    
# 主模块

    

  173. 

    

    

    

    

    
if __name__ ==
'__main__':

    

  174. 

    

    

    

    

    
# 空语句，保持程序结构的完整性

    

  175. 

    

    

    

    

    
pass

    

  176.

TextRank4Keyword.py：包含用于提取关键词和关键词组的类。

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
629
630
631
632
633
634
635
636
637
638
639
640
641
642
643
644
645
646
647
648
649
650
651
652
653
654
655
656
657
658
659
660
661
662
663
664
665
666
667
668
669
670
671
672
673
674
675
676
677
678
679
680
681
682
683
684
685
686
687
688
689
690
691
692
693
694
695
696
697
698
699
700
701
702
703
704
705
706
707
708
709
710
711
712
713
714
715
716
717
718
719
720
721
722
723
724
725
726
727
728
729
730
731
732
733
734
735
736
737
738
739
740
741
742
743
744
745
746
747
748
749
750
751
752
753
754
755
756
757
758
759
760
761
762
763
764
765
766
767
768
769
770
771
772
773
774
775
776
777
778
779
780
781
782
783
784
785
786
787
788
789
790
791
792
793
794
795
796
797
798
799
800
801
802
803
804
805
806
807
808
809
810
811
812
813
814
815
816
817
818
819
820
821
822
823
824
825
826
827
828
829
830
831
832
833
834
835
836
837
838
839
840
841
842
843
844
845
846
847
848
849
850
851
852
853
854
855
856
857
858
859
860
861
862
863
864
865
866
867
868
869
870
871
872
873
874
875
876
877
878
879
880
881
882
883
884
885
886
887
888
889
890
891
892
893
894
895
896
897
898
899
900
901
902
903
904
905
906
907
908
909
910
911
912
913
914
915
916
917
918
919
920
921
922
923
924
925
926
927
928
929
930
931
932
933
934
935
936
937
938
939
940
941
942
943
944
945
946
947
948
949
950
951
952
953
954
955
956
957
958
959
960
961
962
963
964
965
966
967
968
969
970
971
972
973
974
975
976
977
978
979
980
981
982
983
984
985
986
987
988
989
990
991
992
993
994
995
996
997
998
999
1000
1001
1002
1003
1004
1005
1006
1007
1008
1009
1010
1011
1012
1013
1014
1015
1016
1017
1018
1019
1020
1021
1022
1023
1024
1025
1026
1027
1028
1029
1030
1031
1032
1033
1034
1035
1036
1037
1038
1039
1040
1041
1042
1043
1044
1045
1046
1047
1048
1049
1050
1051
1052
1053
1054
1055
1056
1057
1058
1059
1060
1061
1062
1063
1064
1065
1066
1067
1068
1069
1070
1071
1072
1073
1074
1075
1076
1077
1078
1079
1080
1081
1082
1083
1084
1085
1086
1087
1088
1089
1090
1091
1092
1093
1094
1095
1096
1097
1098
1099
1100
1101
1102
1103
1104
1105
1106
1107
1108
1109
1110
1111
1112
1113
1114
1115
1116
1117


  1. 

    

    

    

    

    
#-*-coding:utf-8-*-

    

  2. 

    

    

    

    

    

    

  3. 

    

    

    

    

    
# 把新版本的特性引入当前版本

    

  4. 

    

    

    

    

    
from __future__
import (absolute_import, division, print_function, unicode_literals)

    

  5. 

    

    

    

    

    
# 导入操作复杂网络的模块

    

  6. 

    

    

    

    

    
import networkx
as nx

    

  7. 

    

    

    

    

    
# 导入数值计算模块

    

  8. 

    

    

    

    

    
import numpy
as np

    

  9. 

    

    

    

    

    
# 导入工具包组件

    

  10. 

    

    

    

    

    
from textrank4zh
import util

    

  11. 

    

    

    

    

    
# 导入Segmentation文件

    

  12. 

    

    

    

    

    
from textrank4zh.Segmentation
import Segmentation

    

  13. 

    

    

    

    

    

    

  14. 

    

    

    

    

    

    

  15. 

    

    

    

    

    
class TextRank4Keyword(object):

    

  16. 

    

    

    

    

    

    

  17. 

    

    

    

    

    
"""初始化函数"""

    

  18. 

    

    

    

    

    
def __init__(self, stop_words_file=None, allow_speech_tags=util.allow_speech_tags, delimiters=util.sentence_delimiters):

    

  19. 

    

    

    

    

    
"""

    

  20. 

    

    

    

    

    

:param stop_words_file:str类型，指定停用词文件的路径，若为其他类型，则使用默认的停用词文件

    

  21. 

    

    

    

    

    

:param allow_speech_tags:词性列表，用于过滤某些词性的词

    

  22. 

    

    

    

    

    

:param delimiters:用于拆分句子的分隔符，默认值为`?!;？！。；…n`

    

  23. 

    

    

    

    

    

"""

    

  24. 

    

    

    

    

    
self.text =
''

    

  25. 

    

    

    

    

    
self.Keywords =
None

    

  26. 

    

    

    

    

    
# 创建分割类的实例

    

  27. 

    

    

    

    

    
self.seg = Segmentation(stop_words_file=stop_words_file, allow_speech_tags=allow_speech_tags, delimiters=delimiters)

    

  28. 

    

    

    

    

    
# 句子列表

    

  29. 

    

    

    

    

    
self.sentences =
None

    

  30. 

    

    

    

    

    
# 对sentences中每个句子分词而得到的两维列表

    

  31. 

    

    

    

    

    
self.words_no_filter =
None

    

  32. 

    

    

    

    

    
# 去掉words_no_filter中的停止词而得到的两维列表

    

  33. 

    

    

    

    

    
self.word_no_stop_words =
None

    

  34. 

    

    

    

    

    
# 保留words_no_stop_words中指定词性的单词而得到的两维列表

    

  35. 

    

    

    

    

    
self.words_all_filters =
None

    

  36. 

    

    

    

    

    

    

  37. 

    

    

    

    

    
"""分析文本的函数，体现算法思想的部分"""

    

  38. 

    

    

    

    

    
def analyze(self, text, window=2, lower=False, vertex_source='all_filters', edge_source='no_stop_words', pagerank_config={'alpha': 0.85,}):

    

  39. 

    

    

    

    

    
"""

    

  40. 

    

    

    

    

    

:param text: 文本内容

    

  41. 

    

    

    

    

    

:param window: 窗口大小，整型，用于构造单词之间的边，去默认值为2

    

  42. 

    

    

    

    

    

:param lower: 是否将英文文本转换为小写，默认值为False

    

  43. 

    

    

    

    

    

:param vertex_source: 选择使用words_no_filter, words_no_stop_words, words_all_filters中的哪一个来构造pagerank对应的图中的节点。默认值为`'all_filters'`，可选值为`'no_filter', 'no_stop_words', 'all_filters'`。关键词也来自`vertex_source`

    

  44. 

    

    

    

    

    

:param edge_source:选择使用words_no_filter, words_no_stop_words, words_all_filters中的哪一个来构造pagerank对应的图中的节点之间的边。默认值为`'no_stop_words'`，可选值为`'no_filter', 'no_stop_words', 'all_filters'`。边的构造要结合`window`参数。

    

  45. 

    

    

    

    

    

:param pagerank_config:pagerank算法参数配置，阻尼系数为0.85

    

  46. 

    

    

    

    

    

"""

    

  47. 

    

    

    

    

    
self.text = text

    

  48. 

    

    

    

    

    
self.word_index = {}

    

  49. 

    

    

    

    

    
self.index_word = {}

    

  50. 

    

    

    

    

    
# 关键词列表

    

  51. 

    

    

    

    

    
self.keywords = []

    

  52. 

    

    

    

    

    
self.graph =
None

    

  53. 

    

    

    

    

    

    

  54. 

    

    

    

    

    
result = self.seg.segment(text=text, lower=lower)

    

  55. 

    

    

    

    

    
self.sentences = result.sentences

    

  56. 

    

    

    

    

    
self.words_no_filter = result.words_no_filter

    

  57. 

    

    

    

    

    
self.word_no_stop_words = result.word_no_stop_words

    

  58. 

    

    

    

    

    
self.words_all_filters = result.words_all_filters

    

  59. 

    

    

    

    

    

    

  60. 

    

    

    

    

    
# 调试

    

  61. 

    

    

    

    

    
util.debug(
20 *
'*')

    

  62. 

    

    

    

    

    
util.debug(
'self.sentences in TextRank4Keyword:n',
' || '.join(self.sentences))

    

  63. 

    

    

    

    

    
util.debug(
'self.words_no_filter in TextRank4Keyword:n', self.words_no_filter)

    

  64. 

    

    

    

    

    
util.debug(
'self.words_no_stop_words in TextRank4Keyword:n', self.words_no_stop_words)

    

  65. 

    

    

    

    

    
util.debug(
'self.words_all_filters in TextRank4Keyword:n', self.words_all_filters)

    

  66. 

    

    

    

    

    

    

  67. 

    

    

    

    

    
# 选项，几种模式

    

  68. 

    

    

    

    

    
options = [
'no_filter',
'no_stop_words',
'all_filters']

    

  69. 

    

    

    

    

    
# 模式选择

    

  70. 

    

    

    

    

    
if vertex_source
in options:

    

  71. 

    

    

    

    

    
_vertex_source = result[
'words_' +vertex_source]

    

  72. 

    

    

    

    

    
else:

    

  73. 

    

    

    

    

    
_vertex_source = result[
'words_all_filters']

    

  74. 

    

    

    

    

    
if edge_source
in options:

    

  75. 

    

    

    

    

    
_edge_source = result[
'words_' + edge_source]

    

  76. 

    

    

    

    

    
else:

    

  77. 

    

    

    

    

    
_edge_source = result[
'words_no_stop_words']

    

  78. 

    

    

    

    

    

    

  79. 

    

    

    

    

    
self.keywords = util.sort_words(_vertex_source, _edge_source, window=window, pagerank_config=pagerank_config)

    

  80. 

    

    

    

    

    

    

  81. 

    

    

    

    

    

    

  82. 

    

    

    

    

    
"""获取最重要的num个长度大于等于word_min_len的关键词"""

    

  83. 

    

    

    

    

    
def get_keywords(self, num=6, word_min_len=1):

    

  84. 

    

    

    

    

    
"""

    

  85. 

    

    

    

    

    

:param num: 返回的关键词个数

    

  86. 

    

    

    

    

    

:param word_min_len: 最小关键词长度

    

  87. 

    

    

    

    

    

:return: 关键词列表

    

  88. 

    

    

    

    

    

"""

    

  89. 

    

    

    

    

    
result = []

    

  90. 

    

    

    

    

    
count =
0

    

  91. 

    

    

    

    

    
for item
in self.keywords:

    

  92. 

    

    

    

    

    
if count >= num:

    

  93. 

    

    

    

    

    
break

    

  94. 

    

    

    

    

    
if len(item.word) >= word_min_len:

    

  95. 

    

    

    

    

    
result.append(item)

    

  96. 

    

    

    

    

    
count +=
1

    

  97. 

    

    

    

    

    
return result

    

  98. 

    

    

    

    

    

    

  99. 

    

    

    

    

    
"""获取 keywords_num 个关键词构造的可能出现的短语，要求这个短语在原文本中至少出现的次数为min_occur_num"""

    

  100. 

    

    

    

    

    
def get_keyphrases(self, keywords_num=12, min_occur_num=2):

    

  101. 

    

    

    

    

    
"""

    

  102. 

    

    

    

    

    

:param keywords_num: 返回的关键词短语个数

    

  103. 

    

    

    

    

    

:param min_occur_num: 短语在文本中的最小出现次数

    

  104. 

    

    

    

    

    

:return: 关键词短语列表

    

  105. 

    

    

    

    

    

"""

    

  106. 

    

    

    

    

    
# 关键词集合

    

  107. 

    

    

    

    

    
keywords_set = set([item.word
for item
in self.get_keywords(num=keywords_num, word_min_len=
1)])

    

  108. 

    

    

    

    

    
# 关键词短语集合

    

  109. 

    

    

    

    

    
keyphrases = set()

    

  110. 

    

    

    

    

    
for sentence
in self.words_no_filter:

    

  111. 

    

    

    

    

    
one = []

    

  112. 

    

    

    

    

    
for word
in sentence:

    

  113. 

    

    

    

    

    
if word
in keywords_set:

    

  114. 

    

    

    

    

    
one.append(word)

    

  115. 

    

    

    

    

    
else:

    

  116. 

    

    

    

    

    
if len(one) >
1:

    

  117. 

    

    

    

    

    
# 将关键词组成关键词短语

    

  118. 

    

    

    

    

    
keyphrases.add(
''.join(one))

    

  119. 

    

    

    

    

    
if len(one) ==
0:

    

  120. 

    

    

    

    

    
continue

    

  121. 

    

    

    

    

    
else:

    

  122. 

    

    

    

    

    
one = []

    

  123. 

    

    

    

    

    
# 兜底

    

  124. 

    

    

    

    

    
if len(one) >
1:

    

  125. 

    

    

    

    

    
keyphrases.add(
''.join(one))

    

  126. 

    

    

    

    

    
# 在原文本中至少出现min_occur_num词

    

  127. 

    

    

    

    

    
return [phrase
for phrase
in keyphrases
if self.text.count(phrase) >= min_occur_num]

    

  128. 

    

    

    

    

    

    

  129. 

    

    

    

    

    
# 主模块

    

  130. 

    

    

    

    

    
if __name__ ==
'__main__':

    

  131. 

    

    

    

    

    
# 空语句，保持程序结构的完整性

    

  132. 

    

    

    

    

    
pass

    

  133.

TextRank4Sentence.py：包含用于提取关键句的类。

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
629
630
631
632
633
634
635
636
637
638
639
640
641
642
643
644
645
646
647
648
649
650
651
652
653
654
655
656
657
658
659
660
661
662
663
664
665
666
667
668
669
670
671
672
673
674
675
676
677
678
679
680
681
682
683
684
685
686
687
688
689
690
691
692
693
694
695
696
697
698
699
700
701
702
703
704
705
706
707
708
709
710
711
712
713
714
715
716
717
718
719
720
721
722
723
724
725
726
727
728
729
730
731
732
733
734
735
736
737
738
739
740
741
742
743
744
745
746
747
748
749
750
751
752
753
754
755
756
757
758
759
760
761
762
763
764
765
766
767
768
769
770
771
772
773
774
775
776
777
778
779
780
781
782
783
784
785
786
787
788
789
790
791
792
793
794
795
796
797
798
799
800
801
802
803
804
805
806
807
808


  1. 

    

    

    

    

    
# -*- encoding:utf-8 -*-

    

  2. 

    

    

    

    

    
"""

    

  3. 

    

    

    

    

    
@author:
letian

    

  4. 

    

    

    

    

    
@homepage: http://www.letiantian.me

    

  5. 

    

    

    

    

    
@github:
https://github.com/someus/

    

  6. 

    

    

    

    

    
"""

    

  7. 

    

    

    

    

    
from __future__
import (absolute_import, division, print_function,

    

  8. 

    

    

    

    

    
unicode_literals)

    

  9. 

    

    

    

    

    

    

  10. 

    

    

    

    

    
import networkx
as nx

    

  11. 

    

    

    

    

    
import numpy
as np

    

  12. 

    

    

    

    

    

    

  13. 

    

    

    

    

    
from .
import util

    

  14. 

    

    

    

    

    
from .Segmentation
import Segmentation

    

  15. 

    

    

    

    

    

    

  16. 

    

    

    

    

    

    

  17. 

    

    

    

    

    
class TextRank4Sentence(object):

    

  18. 

    

    

    

    

    

    

  19. 

    

    

    

    

    
def __init__(self, stop_words_file=None,

    

  20. 

    

    

    

    

    

allow_speech_tags=util.allow_speech_tags,

    

  21. 

    

    

    

    

    

delimiters=util.sentence_delimiters):

    

  22. 

    

    

    

    

    
"""

    

  23. 

    

    

    

    

    

Keyword arguments:

    

  24. 

    

    

    

    

    

stop_words_file
--
str，停止词文件路径，若不是str则是使用默认停止词文件

    

  25. 

    

    

    

    

    

delimiters
--
默认值是`?!;？！。；…n`，用来将文本拆分为句子。

    

  26. 

    

    

    

    

    


    

  27. 

    

    

    

    

    

Object Var:

    

  28. 

    

    

    

    

    

self.sentences
--
由句子组成的列表。

    

  29. 

    

    

    

    

    

self.words_no_filter
--
对sentences中每个句子分词而得到的两级列表。

    

  30. 

    

    

    

    

    

self.words_no_stop_words
--
去掉words_no_filter中的停止词而得到的两级列表。

    

  31. 

    

    

    

    

    

self.words_all_filters
--
保留words_no_stop_words中指定词性的单词而得到的两级列表。

    

  32. 

    

    

    

    

    

"""

    

  33. 

    

    

    

    

    
self.seg = Segmentation(stop_words_file=stop_words_file,

    

  34. 

    

    

    

    

    
allow_speech_tags=allow_speech_tags,

    

  35. 

    

    

    

    

    
delimiters=delimiters)

    

  36. 

    

    

    

    

    

    

  37. 

    

    

    

    

    
self.sentences =
None

    

  38. 

    

    

    

    

    
self.words_no_filter =
None
# 2维列表

    

  39. 

    

    

    

    

    
self.words_no_stop_words =
None

    

  40. 

    

    

    

    

    
self.words_all_filters =
None

    

  41. 

    

    

    

    

    

    

  42. 

    

    

    

    

    
self.key_sentences =
None

    

  43. 

    

    

    

    

    

    

  44. 

    

    

    

    

    
def analyze(self, text, lower=False,

    

  45. 

    

    

    

    

    

source='no_stop_words',

    

  46. 

    

    

    

    

    

sim_func=util.get_similarity,

    

  47. 

    

    

    

    

    

pagerank_config={'alpha': 0.85, }):

    

  48. 

    

    

    

    

    
"""

    

  49. 

    

    

    

    

    

Keyword arguments:

    

  50. 

    

    

    

    

    

text
--
文本内容，字符串。

    

  51. 

    

    

    

    

    

lower
--
是否将文本转换为小写。默认为False。

    

  52. 

    

    

    

    

    

source
--
选择使用words_no_filter, words_no_stop_words, words_all_filters中的哪一个来生成句子之间的相似度。

    

  53. 

    

    

    

    

    

默认值为`'all_filters'`，可选值为`'no_filter', 'no_stop_words', 'all_filters'`。

    

  54. 

    

    

    

    

    

sim_func
--
指定计算句子相似度的函数。

    

  55. 

    

    

    

    

    

"""

    

  56. 

    

    

    

    

    

    

  57. 

    

    

    

    

    
self.key_sentences = []

    

  58. 

    

    

    

    

    

    

  59. 

    

    

    

    

    
result = self.seg.segment(text=text, lower=lower)

    

  60. 

    

    

    

    

    
self.sentences = result.sentences

    

  61. 

    

    

    

    

    
self.words_no_filter = result.words_no_filter

    

  62. 

    

    

    

    

    
self.words_no_stop_words = result.words_no_stop_words

    

  63. 

    

    

    

    

    
self.words_all_filters = result.words_all_filters

    

  64. 

    

    

    

    

    

    

  65. 

    

    

    

    

    
options = [
'no_filter',
'no_stop_words',
'all_filters']

    

  66. 

    

    

    

    

    
if source
in options:

    

  67. 

    

    

    

    

    
_source = result[
'words_' + source]

    

  68. 

    

    

    

    

    
else:

    

  69. 

    

    

    

    

    
_source = result[
'words_no_stop_words']

    

  70. 

    

    

    

    

    

    

  71. 

    

    

    

    

    
self.key_sentences = util.sort_sentences(sentences=self.sentences,

    

  72. 

    

    

    

    

    
words=_source,

    

  73. 

    

    

    

    

    
sim_func=sim_func,

    

  74. 

    

    

    

    

    
pagerank_config=pagerank_config)

    

  75. 

    

    

    

    

    

    

  76. 

    

    

    

    

    
def get_key_sentences(self, num=6, sentence_min_len=6):

    

  77. 

    

    

    

    

    
"""获取最重要的num个长度大于等于sentence_min_len的句子用来生成摘要。

    

  78. 

    

    

    

    

    


    

  79. 

    

    

    

    

    

Return:

    

  80. 

    

    

    

    

    

多个句子组成的列表。

    

  81. 

    

    

    

    

    

"""

    

  82. 

    

    

    

    

    
result = []

    

  83. 

    

    

    

    

    
count =
0

    

  84. 

    

    

    

    

    
for item
in self.key_sentences:

    

  85. 

    

    

    

    

    
if count >= num:

    

  86. 

    

    

    

    

    
break

    

  87. 

    

    

    

    

    
if len(item[
'sentence']) >= sentence_min_len:

    

  88. 

    

    

    

    

    
result.append(item)

    

  89. 

    

    

    

    

    
count +=
1

    

  90. 

    

    

    

    

    
return result

    

  91. 

    

    

    

    

    

    

  92. 

    

    

    

    

    

    

  93. 

    

    

    

    

    
if __name__ ==
'__main__':

    

  94. 

    

    

    

    

    
pass
2 textrank4zh模块的使用

2.1 textrank4zh模块的安装

    这里介绍几种安装Python模块的方法，仅供参考。

    1）python setup.py install --user
    2）sudo python setup.py install
    3）pip install textrank4zh --user
    4）sudo pip install textrank4zh

    textrank4zh模块在python2或python3中均可使用，它所依赖的其他模块要求满足：

    jieba >= 0.35； numpy >= 1.7.1；networkx >= 1.9.1

2.2 textrank4zh的使用实例

    因为操作比较简单，所有直接以代码的形式展示例子，代码在python3环境下亲测可用。

1）提取关键词、关键短语和关键句

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545


  1. 

    

    

    

    

    
#-*-coding:utf-8-*-

    

  2. 

    

    

    

    

    
"""

    

  3. 

    

    

    

    

    
@author:taoshouzheng

    

  4. 

    

    

    

    

    
@time:2018/5/18 8:20

    

  5. 

    

    

    

    

    
@email:tsz1216@sina.com

    

  6. 

    

    

    

    

    
"""

    

  7. 

    

    

    

    

    
# 导入系统模块

    

  8. 

    

    

    

    

    
import sys

    

  9. 

    

    

    

    

    
# imp模块提供了一个可以实现import语句的接口

    

  10. 

    

    

    

    

    
from imp
import reload

    

  11. 

    

    

    

    

    

    

  12. 

    

    

    

    

    
# 异常处理

    

  13. 

    

    

    

    

    
try:

    

  14. 

    

    

    

    

    
# reload方法用于对已经加载的模块进行重新加载，一般用于原模块有变化的情况

    

  15. 

    

    

    

    

    
reload(sys)

    

  16. 

    

    

    

    

    
# 设置系统的默认编码方式，仅本次有效，因为setdefaultencoding函数在被系统调用后即被删除

    

  17. 

    

    

    

    

    
sys.setdefaultencoding(
'utf-8')

    

  18. 

    

    

    

    

    
except:

    

  19. 

    

    

    

    

    
pass

    

  20. 

    

    

    

    

    

    

  21. 

    

    

    

    

    
"""

    

  22. 

    

    

    

    

    
展示textrank4zh模块的主要功能：

    

  23. 

    

    

    

    

    
提取关键词

    

  24. 

    

    

    

    

    
提取关键短语（关键词组）

    

  25. 

    

    

    

    

    
提取摘要（关键句）

    

  26. 

    

    

    

    

    
"""

    

  27. 

    

    

    

    

    

    

  28. 

    

    

    

    

    
# 导入编码转换模块

    

  29. 

    

    

    

    

    
import codecs

    

  30. 

    

    

    

    

    
# 从textrank4zh模块中导入提取关键词和生成摘要的类

    

  31. 

    

    

    

    

    
from textrank4zh
import TextRank4Keyword, TextRank4Sentence

    

  32. 

    

    

    

    

    

    

  33. 

    

    

    

    

    
# 待读取的文本文件，一则新闻

    

  34. 

    

    

    

    

    
file =
r'C:UsersTao ShouzhengDesktop1.txt'

    

  35. 

    

    

    

    

    
# 打开并读取文本文件

    

  36. 

    

    

    

    

    
text = codecs.open(file,
'r',
'utf-8').read()

    

  37. 

    

    

    

    

    

    

  38. 

    

    

    

    

    
# 创建分词类的实例

    

  39. 

    

    

    

    

    
tr4w = TextRank4Keyword()

    

  40. 

    

    

    

    

    
# 对文本进行分析，设定窗口大小为2，并将英文单词小写

    

  41. 

    

    

    

    

    
tr4w.analyze(text=text, lower=
True, window=
2)

    

  42. 

    

    

    

    

    

    

  43. 

    

    

    

    

    
"""输出"""

    

  44. 

    

    

    

    

    
print(
'关键词为：')

    

  45. 

    

    

    

    

    
# 从关键词列表中获取前20个关键词

    

  46. 

    

    

    

    

    
for item
in tr4w.get_keywords(num=
20, word_min_len=
1):

    

  47. 

    

    

    

    

    
# 打印每个关键词的内容及关键词的权重

    

  48. 

    

    

    

    

    
print(item.word, item.weight)

    

  49. 

    

    

    

    

    
print(
'n')

    

  50. 

    

    

    

    

    

    

  51. 

    

    

    

    

    
print(
'关键短语为：')

    

  52. 

    

    

    

    

    
# 从关键短语列表中获取关键短语

    

  53. 

    

    

    

    

    
for phrase
in tr4w.get_keyphrases(keywords_num=
20, min_occur_num=
2):

    

  54. 

    

    

    

    

    
print(phrase)

    

  55. 

    

    

    

    

    
print(
'n')

    

  56. 

    

    

    

    

    

    

  57. 

    

    

    

    

    
# 创建分句类的实例

    

  58. 

    

    

    

    

    
tr4s = TextRank4Sentence()

    

  59. 

    

    

    

    

    
# 英文单词小写，进行词性过滤并剔除停用词

    

  60. 

    

    

    

    

    
tr4s.analyze(text=text, lower=
True, source=
'all_filters')

    

  61. 

    

    

    

    

    

    

  62. 

    

    

    

    

    
print(
'摘要为：')

    

  63. 

    

    

    

    

    
# 抽取3条句子作为摘要

    

  64. 

    

    

    

    

    
for item
in tr4s.get_key_sentences(num=
3):

    

  65. 

    

    

    

    

    
# 打印句子的索引、权重和内容

    

  66. 

    

    

    

    

    
print(item.index, item.weight, item.sentence)

结果如下：

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270


  1. 

    

    

    

    

    
关键词为：

    

  2. 

    

    

    

    

    
媒体 0
.02155864734852778

    

  3. 

    

    

    

    

    
高圆圆 0
.020220281898126486

    

  4. 

    

    

    

    

    
微 0
.01671909730824073

    

  5. 

    

    

    

    

    
宾客 0
.014328439104001788

    

  6. 

    

    

    

    

    
赵又廷 0
.014035488254875914

    

  7. 

    

    

    

    

    
答谢 0
.013759845912857732

    

  8. 

    

    

    

    

    
谢娜 0
.013361244496632448

    

  9. 

    

    

    

    

    
现身 0
.012724133346018603

    

  10. 

    

    

    

    

    
记者 0
.01227742092899235

    

  11. 

    

    

    

    

    
新人 0
.01183128428494362

    

  12. 

    

    

    

    

    
北京 0
.011686712993089671

    

  13. 

    

    

    

    

    
博 0
.011447168887452668

    

  14. 

    

    

    

    

    
展示 0
.010889176260920504

    

  15. 

    

    

    

    

    
捧场 0
.010507502237123278

    

  16. 

    

    

    

    

    
礼物 0
.010447275379792245

    

  17. 

    

    

    

    

    
张杰 0
.009558332870902892

    

  18. 

    

    

    

    

    
当晚 0
.009137982757893915

    

  19. 

    

    

    

    

    
戴 0
.008915271161035208

    

  20. 

    

    

    

    

    
酒店 0
.00883521621207796

    

  21. 

    

    

    

    

    
外套 0
.008822082954131174

    

  22. 

    

    

    

    

    

    

  23. 

    

    

    

    

    

    

  24. 

    

    

    

    

    
关键短语为：

    

  25. 

    

    

    

    

    
微博

    

  26. 

    

    

    

    

    

    

  27. 

    

    

    

    

    

    

  28. 

    

    

    

    

    
摘要为：

    

  29. 

    

    

    

    

    
0 0
.07097195571711616 中新网北京12月1日电(记者 张曦) 30日晚，高圆圆和赵又廷在京举行答谢宴，诸多明星现身捧场，其中包括张杰(微博)、谢娜(微博)夫妇、何炅(微博)、蔡康永(微博)、徐克、张凯丽、黄轩(微博)等

    

  30. 

    

    

    

    

    
6 0
.05410372364148859 高圆圆身穿粉色外套，看到大批记者在场露出娇羞神色，赵又廷则戴着鸭舌帽，十分淡定，两人快步走进电梯，未接受媒体采访

    

  31. 

    

    

    

    

    
27 0
.04904283129838876 记者了解到，出席高圆圆、赵又廷答谢宴的宾客近百人，其中不少都是女方的高中同学

2）展示textrank4zh模块的三种分词模式的效果

    三种分词模式分别为：

    words_no_filter模式：简单分词，不剔除停用词，不进行词性过滤

    words_no_stop_words模式：剔除停用词

    words_all_filters模式（默认）：即剔除停用词，又进行词性过滤

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404


  1. 

    

    

    

    

    
#-*-coding:utf-8-*-

    

  2. 

    

    

    

    

    
"""

    

  3. 

    

    

    

    

    
@author:taoshouzheng

    

  4. 

    

    

    

    

    
@time:2018/5/18 14:52

    

  5. 

    

    

    

    

    
@email:tsz1216@sina.com

    

  6. 

    

    

    

    

    
"""

    

  7. 

    

    

    

    

    

    

  8. 

    

    

    

    

    
import codecs

    

  9. 

    

    

    

    

    
from imp
import reload

    

  10. 

    

    

    

    

    

    

  11. 

    

    

    

    

    
from textrank4zh
import TextRank4Keyword, TextRank4Sentence

    

  12. 

    

    

    

    

    

    

  13. 

    

    

    

    

    
import sys

    

  14. 

    

    

    

    

    
try:

    

  15. 

    

    

    

    

    
reload(sys)

    

  16. 

    

    

    

    

    
sys.setdefaultencoding(
'utf-8')

    

  17. 

    

    

    

    

    
except:

    

  18. 

    

    

    

    

    
pass

    

  19. 

    

    

    

    

    

    

  20. 

    

    

    

    

    
"""测试3类分词的效果"""

    

  21. 

    

    

    

    

    

    

  22. 

    

    

    

    

    
text =
'这间酒店位于北京东三环，里面摆放很多雕塑，文艺气息十足。答谢宴于晚上8点开始。'

    

  23. 

    

    

    

    

    
tr4w = TextRank4Keyword()

    

  24. 

    

    

    

    

    

    

  25. 

    

    

    

    

    
tr4w.analyze(text=text, lower=
True, window=
2)

    

  26. 

    

    

    

    

    
# 将文本划分为句子列表

    

  27. 

    

    

    

    

    
print(
'sentences:')

    

  28. 

    

    

    

    

    
for s
in tr4w.sentences:

    

  29. 

    

    

    

    

    
print(s)

    

  30. 

    

    

    

    

    
print(
'n')

    

  31. 

    

    

    

    

    

    

  32. 

    

    

    

    

    
# 对句子列表中的句子进行分词，不进行词性过滤

    

  33. 

    

    

    

    

    
print(
'words_no_filter:')

    

  34. 

    

    

    

    

    
# words为词列表，tr4w.words_no_filter为由词列表组成的列表

    

  35. 

    

    

    

    

    
for words
in tr4w.words_no_filter:

    

  36. 

    

    

    

    

    
print(
'/'.join(words))

    

  37. 

    

    

    

    

    
print(
'n')

    

  38. 

    

    

    

    

    

    

  39. 

    

    

    

    

    
# 打印去掉停用词的词列表

    

  40. 

    

    

    

    

    
print(
'words_no_stop_words:')

    

  41. 

    

    

    

    

    
for words
in tr4w.words_no_stop_words:

    

  42. 

    

    

    

    

    
print(
'/'.join(words))

    

  43. 

    

    

    

    

    
print(
'n')

    

  44. 

    

    

    

    

    

    

  45. 

    

    

    

    

    
# 打印去掉停用词并进行词性过滤之后的词列表

    

  46. 

    

    

    

    

    
print(
'words_all_filters:')

    

  47. 

    

    

    

    

    
for words
in tr4w.words_all_filters:

    

  48. 

    

    

    

    

    
print(
'/'.join(words))

    

  49.

结果如下：

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141


  1. 

    

    

    

    

    
sentences:

    

  2. 

    

    

    

    

    
这间酒店位于北京东三环，里面摆放很多雕塑，文艺气息十足

    

  3. 

    

    

    

    

    
答谢宴于晚上8点开始

    

  4. 

    

    

    

    

    

    

  5. 

    

    

    

    

    

    

  6. 

    

    

    

    

    
words_no_filter:

    

  7. 

    

    

    

    

    
这/间/酒店/位于/北京/东三环/里面/摆放/很多/雕塑/文艺/气息/十足

    

  8. 

    

    

    

    

    
答谢/宴于/晚上/8/点/开始

    

  9. 

    

    

    

    

    

    

  10. 

    

    

    

    

    

    

  11. 

    

    

    

    

    
words_no_stop_words:

    

  12. 

    

    

    

    

    
间/酒店/位于/北京/东三环/里面/摆放/很多/雕塑/文艺/气息/十足

    

  13. 

    

    

    

    

    
答谢/宴于/晚上/8/点

    

  14. 

    

    

    

    

    

    

  15. 

    

    

    

    

    

    

  16. 

    

    

    

    

    
words_all_filters:

    

  17. 

    

    

    

    

    
酒店/位于/北京/东三环/摆放/雕塑/文艺/气息

    

  18. 

    

    

    

    

    
答谢/宴于/晚上

在本文的写作过程中，参考了一些文章或帖子，附上链接如下：

1）python中jieba分词快速入门：点击打开链接

2）jieba（结巴）分词种词性简介：点击打开链接

3）TextRank算法：点击打开链接

4）PageRank算法 到 textRank：点击打开链接

5）PageRank排序算法详细介绍：点击打开链接

6）PageRank：点击打开链接

7）PageRank算法--从原理到实现：点击打开链接

8）Textrank算法介绍：点击打开链接

9）关键词提取算法-TextRank：点击打开链接

10）最全中文停用词表整理（1893个）：点击打开链接

11）中文文本提取关键词、关键词组、关键句(textrank4zh使用)--python学习：点击打开链接

12）谷歌背后的数学：点击打开链接

不足之处，敬请指正！

最后

以上就是高高世界最近收集整理的关于TextRank的原理和TextRank4zh的简单使用的全部内容，更多相关TextRank内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
点赞(53)

相关文章

ArcGIS——数据库空间SQL（一、oracle中使用sql空间查询及st_astext等函数出错问题）一、引言二、空间查询sql的使用三、查询出现问题四、总结 Setting up your Oracle geodatabase to work with ST_GEOMETRY
ArcGIS——数据库空间SQL（一、oracle中使用sql空间查询及st_astext等函数出错问题）一、引言二、空间查询sql的使用三、查询出现问题四、总结 Setting up your Oracle geodatabase to work with ST_GEOMETRY
Error generating shape from text: Invalid text used to construct geometry (-1)
Error generating shape from text: Invalid text used to construct geometry (-1)
python练习题-带答案
python练习题-带答案
【python】python基础测试100题Q1.什么是Python？Q2.Python的主要功能是什么？Q3.Python中支持的数据类型有哪些？Q4.列表和元组有什么区别？Q5.什么是Python模块？Q6.python解释器种类以及特点？Q7.什么是Python切片？Q8.Python中的％S是什么？Q9.Python编程中的函数是什么？Q10.Python中有多少基本类型的函数可用？Q11.我们如何用Python编写函数？Q12.深拷贝和浅拷贝有什么区别？Q13.Python中的函数调用
【python】python基础测试100题Q1.什么是Python？Q2.Python的主要功能是什么？Q3.Python中支持的数据类型有哪些？Q4.列表和元组有什么区别？Q5.什么是Python模块？Q6.python解释器种类以及特点？Q7.什么是Python切片？Q8.Python中的％S是什么？Q9.Python编程中的函数是什么？Q10.Python中有多少基本类型的函数可用？Q11.我们如何用Python编写函数？Q12.深拷贝和浅拷贝有什么区别？Q13.Python中的函数调用
TextRank的原理和TextRank4zh的简单使用
TextRank的原理和TextRank4zh的简单使用
Py之textrank4zh：textrank4zh的简介、安装、使用方法之详细攻略
Py之textrank4zh：textrank4zh的简介、安装、使用方法之详细攻略
Time Management - Do It Now by Steve Pavlina
Time Management - Do It Now by Steve Pavlina
Python数据结构之数据类型介绍数据类型介绍一、什么是数据二、为何要数据分不同的类型三、数据有哪些类型四、五大数据类型基本划分
Python数据结构之数据类型介绍数据类型介绍一、什么是数据二、为何要数据分不同的类型三、数据有哪些类型四、五大数据类型基本划分

评论列表共有 0 条评论

立即
投稿
返回
顶部