Serverless

Serverless 实战:如何结合 NLP 实现文本摘要和关键词提取?

。_饼干妹妹 提交于 2020-05-08 10:08:36
对文本进行自动摘要的提取和关键词的提取,属于自然语言处理的范畴。提取摘要的一个好处是可以让阅读者通过最少的信息判断出这个文章对自己是否有意义或者价值,是否需要进行更加详细的阅读;而提取关键词的好处是可以让文章与文章之间产生关联,同时也可以让读者通过关键词快速定位到和该关键词相关的文章内容。 文本摘要和关键词提取都可以和传统的 CMS 进行结合,通过对文章 / 新闻等发布功能进行改造,同步提取关键词和摘要,放到 HTML 页面中作为 Description 和 Keyworks。这样做在一定程度上有利于搜索引擎收录,属于 SEO 优化的范畴。 关键词提取 关键词提取的方法很多,但是最常见的应该就是 tf-idf 了。 通过 jieba 实现基于 tf-idf 关键词提取的方法: jieba.analyse.extract_tags(text, topK=5, withWeight=False, allowPOS=('n', 'vn', 'v')) 文本摘要 文本摘要的方法也有很多,如果从广义上来划分,包括提取式和生成式。其中提取式就是在文章中通过 TextRank 等算法,找出关键句然后进行拼装,形成摘要,这种方法相对来说比较简单,但是很难提取出真实的语义等;另一种方法是生成式,通过深度学习等方法,对文本语义进行提取再生成摘要。 如果简单理解,提取式方式生成的摘要,所有句子来自原文

Serverless 实战:如何结合 NLP 实现文本摘要和关键词提取?

微笑、不失礼 提交于 2020-05-08 09:54:43
对文本进行自动摘要的提取和关键词的提取,属于自然语言处理的范畴。提取摘要的一个好处是可以让阅读者通过最少的信息判断出这个文章对自己是否有意义或者价值,是否需要进行更加详细的阅读;而提取关键词的好处是可以让文章与文章之间产生关联,同时也可以让读者通过关键词快速定位到和该关键词相关的文章内容。 文本摘要和关键词提取都可以和传统的 CMS 进行结合,通过对文章 / 新闻等发布功能进行改造,同步提取关键词和摘要,放到 HTML 页面中作为 Description 和 Keyworks。这样做在一定程度上有利于搜索引擎收录,属于 SEO 优化的范畴。 关键词提取 关键词提取的方法很多,但是最常见的应该就是 tf-idf 了。 通过 jieba 实现基于 tf-idf 关键词提取的方法: jieba.analyse.extract_tags(text, topK=5, withWeight=False, allowPOS=('n', 'vn', 'v')) 文本摘要 文本摘要的方法也有很多,如果从广义上来划分,包括提取式和生成式。其中提取式就是在文章中通过 TextRank 等算法,找出关键句然后进行拼装,形成摘要,这种方法相对来说比较简单,但是很难提取出真实的语义等;另一种方法是生成式,通过深度学习等方法,对文本语义进行提取再生成摘要。 如果简单理解,提取式方式生成的摘要,所有句子来自原文

EdgeRoutine技术专家教你把JS代码跑到CDN边缘

此生再无相见时 提交于 2020-05-07 12:58:40
4月27日CDN云课堂中,阿里云智能技术专家洪晓龙在线分享《阿里云CDN轻量编程环境》,对EdgeRoutine的背景、功能、案例实践介绍并在线进行上手操作演示,希望更多用户能够使用CDN轻量编程环境服务自主编程、快速落地实际线上业务。本文为直播分享全文。 云原生与边缘计算概念火热 以云原生为理念的基础服务快速增长 近年来,“云原生”概念在技术领域大热,企业上云意愿越来越强烈。不管在国内还是全球,云原生技术在公共云和私有云的使用量一路领先增长,Gartner等多家行业机构已经预测云原生即将进入爆发阶段。 而同属云原生阵营, Serverless&FaaS年增长率这一点上已经逐渐赶上甚至超过以容器形态提供服务的使用量。Serverless&FaaS已经证明了其拥有巨大的技术优势和商业价值潜力。 5G引爆边缘计算的概念 除了“云原生”,“边缘计算”也是近年来最热门的技术领域之一。CDN其实就是边缘生态的重要一环,在CDN遍布全球的边缘节点上提供计算服务是目前“边缘计算”概念快速落地的最大助力。边缘计算的最大特性低时延,Gartner甚至预测到2025年,超过75%的云服务将外迁到边缘。目前,边缘计算的应用场景已经陆续覆盖到交通、医疗、娱乐等各行业各领域,离大众生活越来越近。 云原生和边缘计算的组合碰撞能够催生出什么样的技术和产品? 传统的IaaS是抽象物理机资源来提供服务

基于 Serverless 的 VuePress 极简静态网站

一个人想着一个人 提交于 2020-05-06 15:35:58
之前用过 Docsify + Serverless Framework 快速创建个人博客系统 ,虽然 docsify 也是基于 Vue,然而它是完全的运行时驱动,因此对 SEO 不够友好。所以这次尝试使用 VuePress 来搭建一个静态网站,依然部署在 Serverless 架构上。 简单介绍一下: VuePress :由两部分组成,第一部分是一个 极简静态网站生成器 ;另一个部分是为书写技术文档而优化的 默认主题 。每一个由 VuePress 生成的页面都带有预渲染好的 HTML,也因此具有非常好的加载性能和搜索引擎优化(SEO)。同时,一旦页面被加载,Vue 将接管这些静态内容,并将其转换成一个完整的单页应用(SPA),其他页面则会只在用户浏览到的时候才按需加载。 Serverless Framework :在 GitHub 上有三万颗星,业界非常受欢迎的无服务器应用框架,开发者无需关心底层资源即可部署完整可用的 Serverless 应用架构。 接下来我们分三步进行: 创建项目 → 配置 yml 文件 → 部署 ▎工具准备 首先确保系统包含以下环境: Node.js (Node.js 版本需不低于 8.6,建议使用 10.0 及以上版本) Git 1. 安装 Serverless Framework $ npm install -g serverless 2. 安装

EdgeRoutine技术专家教你把JS代码跑到CDN边缘

こ雲淡風輕ζ 提交于 2020-05-06 12:50:05
4月27日CDN云课堂中,阿里云智能技术专家洪晓龙在线分享《阿里云CDN轻量编程环境》,对EdgeRoutine的背景、功能、案例实践介绍并在线进行上手操作演示,希望更多用户能够使用CDN轻量编程环境服务自主编程、快速落地实际线上业务。本文为直播分享全文。 云原生与边缘计算概念火热 以云原生为理念的基础服务快速增长 近年来,“云原生”概念在技术领域大热,企业上云意愿越来越强烈。不管在国内还是全球,云原生技术在公共云和私有云的使用量一路领先增长,Gartner等多家行业机构已经预测云原生即将进入爆发阶段。 而同属云原生阵营, Serverless&FaaS年增长率这一点上已经逐渐赶上甚至超过以容器形态提供服务的使用量。Serverless&FaaS已经证明了其拥有巨大的技术优势和商业价值潜力。 5G引爆边缘计算的概念 除了“云原生”,“边缘计算”也是近年来最热门的技术领域之一。CDN其实就是边缘生态的重要一环,在CDN遍布全球的边缘节点上提供计算服务是目前“边缘计算”概念快速落地的最大助力。边缘计算的最大特性低时延,Gartner甚至预测到2025年,超过75%的云服务将外迁到边缘。目前,边缘计算的应用场景已经陆续覆盖到交通、医疗、娱乐等各行业各领域,离大众生活越来越近。 云原生和边缘计算的组合碰撞能够催生出什么样的技术和产品? 传统的IaaS是抽象物理机资源来提供服务

GMTC2019会后:做一场冷门的技术专场是什么体验

99封情书 提交于 2020-05-05 10:26:12
上周四(6.20)GMTC2019大会的第一天,很荣幸作为「UI与图形渲染」专场出品人获得了与图形领域几位技术专家同场交流的机会。 图形技术在前端范畴内是一个相对小众的话题,虽然前端工程师几乎每天都在跟图形打交道(CSS)。CSS能够满足绝大多数的需求,即便偶尔遇到相对复杂的UI(比如描边文字),稍加使用canvas或SVG便足以应对。大多数前端工程师在日常开发工作中并不会(也没必要)思考每个CSS方块背后的底层技术原理。除了从事于数据可视化、地图、游戏等强依赖图形技术行业的人以外,Canvas/SVG/WebGL及其背后的数学知识对于大多前端工程师而言都比较陌生。所以在一个前端大会上,尤其是在“大前端”以及“全栈”概念越来越普及的时代背景下,一个受众群体非常有限的小众技术专场便显得异常冷门和特立独行。当然,做图形专场的目的并不是为了凸显自身的与众不同,而是因为图形技术对前端工程师至关重要,具体原因稍后再表。 主办方在筹备GMTC2019之初并未设定图形专场,后承蒙主办方首肯采纳本人的建议,将去年的「UI与动画」专场更名为「UI与图形渲染」。其实我之所以极力争取设立图形专场有一点小小的私心,因为我本人从事于地图行业,目前的工作绝大多数是跟WebGL打交道但是水平非常粗浅,所以很想跟此领域的技术专家们请教一些技术问题。然而仍然高估了这个领域的从业者规模,讲题的收集异常艰难。相比去年的

【云栖号直播】重磅推荐:云计算试飞员老蒋开播啦!驻云CEO手把手教你0门槛搭建电商网站

拟墨画扇 提交于 2020-05-04 09:33:01
云栖号在线课堂,及时了解行业动态!阿里云推出疫情专题方案,为企业业务护航,让你足不出户了解行业动态。 在这里可以走近阿里云基础产品,了解更多应用方案,还能遇见大咖分享洞见及故事!也可以通过视频的形式让你高效、生动的了解场景化的上云最佳实践。 本周重磅推荐 标题: “疫搏云天”航空科技沙龙 简介: 1、中国东方航空集团有限公司党组成员、副总经理、总审计师席晟致辞,2、阿里巴巴合伙人、阿里巴巴飞猪总裁赵颖致辞,3、阿里巴巴集团副总裁、阿里云智能通用事业部总裁任庚致辞,4、东航信息部总经理高志东分享《打造智慧东航 赋能“世界一流”》,5、南方航空副总信息师黄文强分享《航空业的新零售》,6、阿里云航空行业首席架构师郭柱《阿里云航空数字化转型解决方案》,7、三大航空公司前任CIO数字化寄语,8、阿里巴巴集团副总裁 阿里CIO学院院长胡臣杰分享《数字经济时代企业IT进化》,9、飞猪资深技术专家郑铠龙《从传统IT技术架构到互联网技术架构的演进分析》,10、中国航空公司CIO全家福与闭门会"。 观看直播 标题: 云计算试飞员老蒋开播啦!第一讲:电商网站搭建 简介: 驻云CEO老蒋手把手教你搭建电商网站,0门槛入门;不同场景下精选产品组合,放心低价买。 观看直播 标题: 国际技术大咖开讲 | Apache Cassandra:引领云原生时代数据架构变革的数据库 简介: Jonathan Ellis

这份nodejs实现的定时爬取微博热搜程序,请查收!

三世轮回 提交于 2020-05-04 07:37:03
The summer is coming ” 我知道,那些夏天,就像青春一样回不来。 - 宋冬野 青春是回不来了,倒是要准备渡过在西安的第三个夏天了。 废话 我发现,自己对 coding 这件事的称呼,从 敲代码 改为 写代码 了。 emmm....敲代码,自我感觉,就像是,习惯了用 const 定义常量的我看到别人用 var 定义的常量。 对,优雅! 写代码 这三个字,显得更为优雅一些,更像是在创作,打磨一件精致的作品。 改编自 掘金站长 的一句话: ” 子非猿,安之 coding 之乐也。 看完本文的收获 ctrl + c ctrl + v nodejs 入门级爬虫 为何写爬虫相关的文章 最近访问 艾特网 的时候发现请求有点慢。 后来经过一番检查,发现首页中搜索热点需要每次去爬取百度热搜的数据并当做接口返回给前端,由于是服务端渲染,接口堵塞就容易出现访问较慢的情况。 就想着对这个接口进行一次重构。 解决方案 设置定时任务,每隔 1分钟/3分钟/5分钟 爬取新浪微博实时热搜(新浪微博热搜点击率更高一些) 爬取到数据后不直接返回给前端,先写入一个 .json 格式的文件。 服务端渲染的后台接口请求并返回给前端 json 文件的内容 需求捋清楚以后就可以开干了。 创建工程 初始化 首先得找到目标站点,如下:(微博实时热搜) s.weibo.com/top/summary… 创建文件夹

借助腾讯云的云函数实现一个极简的API网关

偶尔善良 提交于 2020-05-03 20:24:03
借助腾讯云的云函数实现一个极简的API网关 Intro 微信小程序的域名需要备案,但是没有大陆的服务器,而且觉得备案有些繁琐,起初做的小程序都有点想要放弃了,后来了解到腾讯云的云函数,于是利用腾讯云的云函数实现了一个简单的 API 网关,通过云函数来调用真正的 API 地址,借此来绕过域名备案的问题。 云函数简介 腾讯云云函数(Serverless Cloud Function,SCF)是腾讯云为企业和开发者们提供的无服务器执行环境,帮助您在无需购买和管理服务器的情况下运行代码, 是实时文件处理和数据处理等场景下理想的计算平台。 您只需使用 SCF 平台支持的语言编写核心代码并设置代码运行的条件,即可在腾讯云基础设施上弹性、安全地运行代码。 计算资源的变迁 随着云服务的发展,计算资源高度抽象化,腾讯云提供了从物理服务器到云函数和横跨各种抽象程度的计算资源供用户选择。 黑石物理服务器:以物理机为扩展单位。用户完全拥有整台实体计算资源,安全性最好。 云服务器(CVM):以云服务器为扩展单位,虚拟化硬件设备。用户和其他租户共享物理机资源,仍可自行配置 CVM 的各项指标,相对部署和迭代更加简单。 容器:以服务为扩展单位,虚拟化操作系统。测试和生产环境完全一致,测试和部署非常轻松。 云函数:以函数为扩展单位,虚拟化运行时环境(Runtime)。是现有计算资源的最小单位,具有完全自动

【必看】飞猪 Serverless 技术体系全年建设

喜你入骨 提交于 2020-05-02 16:03:39
历史的发展 12~13 年,飞猪核心业务主要基于 PC 平台,前后端研发协作核心痛点在于动态模板的编写,不同团队前后端常围绕 “套模板” 工作的归属引发矛盾。 到 14、15 年 All in 无线的过程中,为了解决从 PC 时代复杂行业数据到无线网关的快速转换,飞猪成立了无线服务端团队来完成数据到端侧的胶水层工作,可很好解决系列问题,但是持续重复的包接口也让无线服务端面临的成长和沉淀问题,不太可持续的。 16、17 年无线服务端技术建设稳定后,也由于上述问题,接口封装的工作逐步由下放到行业后端同学,随着 H5/Weex/iOS/Android 多端发展,各自对接口的诉求难以一致,出现通过 Node BFF 层来承接胶水问题,但前端运维能力不强、长尾机器的浪费导致很难全量 BFF 化。 到 18 年飞猪平台化改造完成,业务由纵向行业变成横向平台承接,需求的落地需要经过多方的协作和排期,中间层的碎片化也更加严重,对前后端协作成本带来了更大的挑战,同时不能通过单领域问题的解决方案(如下单页解决方案)来解决其他业务层问题, 急需一轻量通用的方案来解决日益严重的胶水层的协作 。 建设目标 基于以上背景与问题分析,飞猪去年5月份启动了 「天空之城」- Serverless 技术体系建设专项,项目总体目标: 构建飞猪 Serverless 研发基础设施,赋能上层产品/平台,推动前端/后端、业务