找回密码
 立即注册
搜索

如何经过 SCF 与自然言语处理为网站赋能

自然言语的内容有很多,本文所引见的自然言语处理部分是“文本摘要”和“关键词提取”。在做博客的时分,常常会发一些文章,这些文章发出去了,有的很容易被搜索引擎检索,有的则很难,那么有没有什么方法,让博客对搜索引擎敌对一些呢?

一个比较好的方法就是填写网页的 Description 还有 Keywords。但是每次都需求我们本人去填写,比较繁琐,本文将会分享一种方法:经过 Python 的 jieba 和 snownlp 完成关键词和文本摘要的自动提取。

预备资源

下载以下资源:

https://github.com/fxsjy/jieba

https://github.com/isnowfy/snownlp

下载之后,新建文件夹,将这些文件中对应的文件拷贝:

Python资源共享群:484031800

拷贝之后, 建立文件 index.py :

 复制代码
# -*- coding: utf8 -*-
importjson
importjieba.analyse
fromsnownlpimportSnowNLP
defFromSnowNlp(text, summary_num):
s = SnowNLP(text)
returns.summary(summary_num)
defFromJieba(text, keywords_type, keywords_num):
ifkeywords_type =="tfidf":
returnjieba.analyse.extract_tags(text, topK=keywords_num)
elifkeywords_type =="textrank":
returnjieba.analyse.textrank(text, topK=keywords_num)
else:
returnNone
defmain_handler(event, context):
text = event["text"]
summary_num = event["summary_num"]
keywords_num = event["keywords_num"]
keywords_type = event["keywords_type"]
return{"keywords": FromJieba(text, keywords_type, keywords_num),
"summary": FromSnowNlp(text, summary_num)}

上传文件

在 SCF 网页下面建立一个项目:


提交方法选择上传 zip,然后紧缩文件,并改名为 index.zip:

测试

测试之前可以适当调整一下配置:

然后停止 input 模板的输入:

模板可以是:

 复制代码
{
"text":" 前来参观的人群纷至沓来。在“两弹历程馆”里,讲解员龚照怡正在给参观的先生引见:“这是我国第一颗核航弹的模型,长 3 米、直径 1.5 米左右,后面就是它爆炸时产生的蘑菇云。”先生们一边听一边仔细记录。记者看到,馆内应用声、光、电等手腕,经过实物、模型、影像材料和场景复原,展现“两弹”研制工作的艰苦历程。“算盘、计算尺这些文物都是激励后人艰苦奋斗的好教材。我们让文物‘回家’,让观众看到当年科研人员住什么样的房子,用什么样的用具,了解在那么艰苦的环境下,他们是怎样研制‘两弹’的,怎样样让中国挺起了民族的脊梁。”四川省梓潼两弹城红色旅游开发有限公司副总经理贾鲁蓉告诉记者,作为爱国主义教育基地,这里目前存有 2 万多份图片材料、500 多万字文字材料、3000 余件实物。在“两弹历程馆”的不远处是“将军楼”。1983 年 5 月 20 日,时任国防部部长张爱萍将军离开长卿山视察中物院,看到迷信家们在大山沟里艰苦卓绝地工作,即兴赋诗一首:“二十二年难忘情,坎坷道路信踏平。屡建奇功震寰宇,更创奇观惊鬼神。”",
"summary_num":5,
"keywords_num":5,
"keywords_type":"tfidf"
}

然后点击测试:

运用

至此,我们完成了简单的关键词提取功能和简单的抽取式文本摘要过程。当然,这部分照旧是一个简单的抛砖引玉,由于摘要这里还要宣称是文本摘要,而且抽取式摘要也能够会根据不同的文章类型,有着不同的特征方法,所以这里只是经过一个简单的 Demo 来完成一个小功能,协助大家做一个简单的 SEO 优化,大家可以在做博客的时分,添加 keywords 或者 description 字段,然后每次从 sql 获得文章数据的时分,将这两个部分放到 meta 中,会大大提高页面被索引的概率。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

大神点评3

LOVE蓝星 2019-8-17 19:55:05 显示全部楼层
求沙发
回复

使用道具 举报

好肚量醉鹅 2019-8-19 07:59:27 显示全部楼层
前排支持下
回复

使用道具 举报

赞一个!
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies