软佳科技有限公司 - 论坛

InfoQ

0 会员 以及 4 访客 正在阅读本主题.

admin

  • *****
  • 0
  • +0/-0
  • 性别: 男
  • SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
InfoQ_如何基于 Mask R-CNN 快速完成模型开发| 视频
« 回复 #3945 于: 六月 15, 2019, 04:21:25 pm »
如何基于 Mask R-CNN 快速完成模型开发| 视频

2014-2019 年这五年,对于很多互联网公司而言,微服务和 AI 这两项技术的诞生和发展起到了里程碑式作用。因为采用速度之快,所以业界也有人称,要做好的架构师,既要懂微服务也要懂 AI。本次 QCon北京2019 特别开设华为云技术专场,重点聊一聊 AI 与云原生实践


演讲人:孟繁亮,华为开源软件能力中心 AI 领域首席架构师


议题:如何基于 Mask R-CNN 快速完成模型开发


议题简介:当前,实例分割技术被广泛应用于医学影像、自动驾驶等场景。本次分享将会基于计算机视觉领域中的目标检测、语义分割和实例分割概念,以 Mask R-CNN 为例,讲解基于 Region 的 CNN 模型开发,包括图像特征提取,ROI 检测区域生成,物体分类及边界框回归、图像遮罩回归。分享还会分享使用 COCO 数据集对模型进行训练,在泛化场景中进行精确地识别物体的应用实例。



Source: 如何基于 Mask R-CNN 快速完成模型开发| 视频

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

admin

  • *****
  • 0
  • +0/-0
  • 性别: 男
  • SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
InfoQ_理解Word Embedding,全面拥抱ELMO
« 回复 #3946 于: 六月 15, 2019, 04:21:25 pm »
理解Word Embedding,全面拥抱ELMO

提到 Word Embedding ,如果你的脑海里面冒出来的是 Word2Vec ,Glove ,Fasttext 等。那我猜你有80%的概率是从事和 NLP 相关的工作或者至少是一个算法爱好者 ( 这貌似是一个真命题,哈哈 ) 。其实简单来说 Word Embedding 就是把词转换成向量的形式。计算机只识别二进制,智能问答系统,我们需要计算机理解的是文字。此时我们就需要将文字转换成数字,向量的形式。最简单的一种方式就是 one-hot 表示。这种方法没有语义的理解。把词汇表中的词排成一列,对于某个单词 A ,如果它出现在上述词汇序列中的位置为 k ,那么它的向量表示就是 ” 第 k 位为1,其他位置都为0 ” 的一个向量。这种表示表示学不到单词之间的关系 ( 任意两个单词向量的内积都为0 ) ,并且如果词汇表很大,词向量会很长,带来维度上的灾难。无论是 Word2Vec 还是 Glove 和 Fasttext ,都完美的解决了上述两个问题,在训练的过程中,为每一个词生成一个向量,Word2Vec 训练的目的就是为了产生词向量,而 Fasttext 算法主要是为了做文本分类,词向量只是其副产物,中间会产生词向量。


这种方法在语义理解上效果比较好,可以将语义相似的词用相似的向量表示 ( 向量夹角小 ) ,但是有个缺点,训练好之后每个单词的表达就固定住了,以后使用的时候,不论新句子上下文单词是什么,这个单词的 Word Embedding 不会跟着上下文场景的变化而改变,如:“ 我喜欢吃苹果 ”,“ 很多人觉得苹果手机很好用 ” 。这两个句子中的苹果是不同的语义,表示不同的对象,没有办法表示出来。


历史总是惊人的相似,resnet 的出现颠覆了 cv 领域,刷爆了各大比赛的排行榜。Bert 登上历史的舞台,基本刷新了很多 NLP 任务的最好性能,有些任务还被刷爆了。牛顿曾经说过:如果说我看得比别人更远些,那是因为我站在巨人的肩膀上。同样,Bert 算法是站在 elmo ,GPT 等一系列算法的基础上。Bert 是近年来 NLP 重大进展的集大成者。之后我会逐步把这些都总结下来做成一个系列,第一篇我们先介绍语言模型预训练的鼻祖 ELMO ,ELMO 是 “ Embedding from Language Models ” 的简称,但论文题目是 “ Deep contextualized word representations ” ,这里面有两个关键词,一个是 deep ,一个是 context 。这两个词诠释了 ELMO 模型的精髓,利用深度网络学习单词的上下文。模型的本质和代码我会在下面的篇幅中逐步展开。


1. 理解 Word Embedding


我相信你或多或少都听过 FM 算法,目前推荐领域各种算法都可以看到 FM 的影子,FM 使得推荐领域达到了一个新的巅峰。无论是原始 FM 算法还是他的变形,FFM ,wide & deep ,DCN ,DeepFM ,会为每一个特征学习一个 latent vector 。这种特征 embedding 模式应该是 Word Embedding 方法的老前辈,这也充分体现了 Word Embedding 的重要性。


1.1 图像预训练


你可能会对这个题目比较好奇,我们要讲的是 Word Embedding ,这个是不是有点跑题了。之所以有这个章节,因为或许你会经常听到搞图像的人说,“ 我今天 Fine Tuning 了一个 base model ,我用 ImageNet 上训练的模型作为冷启动 ” 等一系列相关的内容。所以,我想花一点篇幅来解释一下图像领域的预训练。


Source: 理解Word Embedding,全面拥抱ELMO

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

admin

  • *****
  • 0
  • +0/-0
  • 性别: 男
  • SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
InfoQ_前npm CTO:JavaScript软件包管理的未来是去除中心化
« 回复 #3947 于: 六月 16, 2019, 04:10:55 am »
前npm CTO:JavaScript软件包管理的未来是去除中心化



JSConf EU是欧洲一个专业、非营利的JavaScript社区会议。该会议每年在6月初举行为期两天的活动,届时,会邀请很多技术专家来分享最新的前端技术。一路走来,成为开发者关注的最重要的技术会议之一,今年正好是它的10周年纪念日(JSConf EU 2019于6月1日在柏林举行)。



本月初的柏林JSConf EU 2019会议上,前npm首席技术官CJ Silverio发表了题为“开源经济”的演讲。npm是世界上最大的JavaScript包管理服务提供商,Silverio根据自己独特的视角和工作经验,探讨了适用于开源软件的包管理经济体系。


npm 沦落为金融工具


Silverio讲述了npm如何获得官方地位的经历,并总结说这种中心化的包托管和存储库服务的成功是一场灾难。 虽然中心化体系在可用性和可靠性方面具有一些优势,但是中心化服务越流行,随之而来的代价也就越沉重。 她回顾了2013年npm建立公司的始末,那年10月托管服务大部分时间都处于崩溃状态,而且npm需要资金来继续运营。


npm的所有者从风投公司获得了种子资金,而Node项目继续为npm保留特权。开发者也在继续使用npm,让这种状况维持至今。随着时间推移,npm已经成为开发者对JavaScript包托管服务的标准参照。Silverio讨论了npm受私有资本控制的一些后果,例如开发者现在无权影响包管理的服务政策,也没法参与争端的仲裁流程。


Source: 前npm CTO:JavaScript软件包管理的未来是去除中心化

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

admin

  • *****
  • 0
  • +0/-0
  • 性别: 男
  • SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
InfoQ_我们为什么要关心技术伦理?且看 ACM 道德规范升级版
« 回复 #3948 于: 六月 16, 2019, 04:12:41 pm »
我们为什么要关心技术伦理?且看 ACM 道德规范升级版

本文要点




  • ACM职业道德和职业行为准则于2018年修正,以应对自1992年以来计算机行业的变化。




  • 该准则的目标是向有抱负的、正在从业的计算专业人士表达该职业应有的良知。




  • 对所有规模的公司和从业者来说,道德规范都很重要,现在公众、员工和其他利益相关者都期望科技公司对公众利益承担更高的责任。




  • 开发人工智能技术的人员尤其应该肩负更高的责任,因为机器学习方法和应用的不确定性可能导致公众不信任这些技术,尤其是当它们被集成到基础设施之中时。




  • 将准则应用到日常工作中并不意味着读一读就完了,而应对其进行全面地思考,尤其是在创新过程中需要做出决策时。


    Source: 我们为什么要关心技术伦理?且看 ACM 道德规范升级版

    InfoQ 促进软件开发领域知识与创新的传播
    http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

admin

  • *****
  • 0
  • +0/-0
  • 性别: 男
  • SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
InfoQ_ISOMORPHIC 的升级之路
« 回复 #3949 于: 六月 16, 2019, 04:12:41 pm »
ISOMORPHIC 的升级之路

近些年来,史诗级网游 Web Online 中,一个新兴职业 —— Isomorphic JavaScript Application —— 越来越多地得到了玩家的青睐。


Web Online 是一款由地球 Online 玩家基于其游戏平台进行二次开发创作出的网络游戏,特点在于可以自由创建 PC 与 NPC,不过部分地图对于 NPC 的创建管控较严格。主要游戏方式为玩家控制其 PC 与他人的 NPC 聊天以交换情报,也常有自动化的 PC 周期性与 NPC 进行交流。偶尔也有不怀好意的玩家操纵大量 PC 向 NPC 发送大量虚假信息进行攻击。



(该游戏不需要下载,投递简历到《Web 开发工程师》职位即可立即注册)


不过作为高阶职业,Isomorphic JavaScript Application,或者称为 Universal JavaScript Application(以下简称 UJS),并不能在创号时直接选择,需要满足前置的种族及职业要求,包括但不仅限于:



  • JavaScript Application(种族)

  • Frontend Application(职业)


而修炼职业 UJS 后,能够将相关技能更进一步地提升,以及习得部分新的高阶技能。


Source: ISOMORPHIC 的升级之路

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

admin

  • *****
  • 0
  • +0/-0
  • 性别: 男
  • SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
InfoQ_自动驾驶“最后一公里”真的到来了吗?
« 回复 #3950 于: 六月 17, 2019, 04:30:38 am »
自动驾驶“最后一公里”真的到来了吗?

当“全面量产无人车”成为热门话题的时候,有这么一群人在默默地观察,没有紧锁眉头也没有喜笑颜开,他们能够看到别人看不见的问题,他们是无人车落地的关键,他们要保持冷静。这群深耕自动驾驶领域的技术专家们,似乎更能淡定地对待外界对无人车的狂热。


自动驾驶技术真的成熟了吗?无人车离商业化落地到底还有多远?带着这些问题,AI 前线对驭势科技的多位技术专家进行了独家专访。在热度爆表的无人车话题下,我们想要冷静地谈谈技术。


一辆成熟的无人车应该…


虽然自动驾驶的话题炒得火热,但是相信有不少人对无人车的结构并不了解。


驭势科技的黄波博士告诉 AI 前线:一台成熟的具备自动驾驶功能的汽车需要具备三大核心子系统:感知子系统、规划决策子系统、执行器子系统。三个核心子系统互相紧密配合、缺一不可,如此才能实现可靠、安全的自动驾驶功能。


详细来说,执行器子系统是汽车执行自动驾驶动作的基础,更贴近传统汽车产业,包括线控转向、线控驱动、线控刹车、线控车身控制等等,行业重点是升级成安全可靠新一代线控系统。


Source: 自动驾驶“最后一公里”真的到来了吗?

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

admin

  • *****
  • 0
  • +0/-0
  • 性别: 男
  • SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
InfoQ_最快开源OLAP引擎!ClickHouse在头条的技术演进
« 回复 #3951 于: 六月 17, 2019, 04:30:38 am »
最快开源OLAP引擎!ClickHouse在头条的技术演进


ClickHouse 是由号称“俄罗斯 Google”的 Yandex 公司开源的面向 OLAP 的分布式列式数据库,能够使用 SQL 查询生成实时数据报告。


本文整理自字节跳动高级研发工程师陈星在 QCon 全球软件开发大会(北京站)2019 上的演讲,他介绍了 ClickHouse 的关键技术点、在字节跳动的应用场景以及主要的技术改进。


ClickHouse 简介


ClickHouse 是由号称“俄罗斯 Google”的 Yandex 开发而来,在 2016 年开源,在计算引擎里算是一个后起之秀,在内存数据库领域号称是最快的。大家从网上也能够看到,它有几倍于 GreenPlum 等引擎的性能优势。


如果大家研究过它的源码,会发现其实它采用的技术并不新。ClickHouse 是一个列导向数据库,是原生的向量化执行引擎。它在大数据领域没有走 Hadoop 生态,而是采用 Local attached storage 作为存储,这样整个 IO 可能就没有 Hadoop 那一套的局限。它的系统在生产环境中可以应用到比较大的规模,因为它的线性扩展能力和可靠性保障能够原生支持 shard + replication 这种解决方案。它还提供了一些 SQL 直接接口,有比较丰富的原生 client。另外就是它比较快。


大家选择 ClickHouse 的首要原因是它比较快,但其实它的技术没有什么新的地方,为什么会快?我认为主要有三个方面的因素:


Source: 最快开源OLAP引擎!ClickHouse在头条的技术演进

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

admin

  • *****
  • 0
  • +0/-0
  • 性别: 男
  • SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
InfoQ_流处理系统正确性基石:ExactlyOnce的设计和实现
« 回复 #3952 于: 六月 17, 2019, 04:30:38 am »
流处理系统正确性基石:ExactlyOnce的设计和实现

所谓的流式处理其实就是对Stream的读取-处理-写入(ETL)操作,应用从Stream中读取数据,再对数据进行相应的处理分析,最后将结果写入另一个Stream中。其中仅一次语义保证了哪怕系统发生故障,每一个ETL操作也仅会被执行一次,不会产生数据的丢失或者重复。这样的可靠性保证对于一些交易、金融类的应用来说至关重要,这就需要Pravega作为流存储与流计算引擎共同努力来完成。


通常来说,对于单独的消息系统而言,语义分为如下三种:


至多一次(At most once):不管Writer在等待ACK时是否发生超时或者得到错误异常,Writer都不会重新发送Event,因此会有数据丢失的风险。在具体的实现过程中,这一种语义无需做任何额外的控制,实现起来最为简单,因此也通常有着最优的性能。在某些特定的场景中,我们只希望追求极致的性能而不关心数据的丢失,可能会选用此方案。


至少一次(At least once):如果Writer在等待ACK时发生超时或者得到错误异常,Writer将会重新发送消息,这样能保证每个Event至少被处理一次,保证了数据不会丢失,从而提高了系统的可靠性,但同时会带来数据重复的问题,例如,当Writer往Stream中成功写入一个Event,但是当系统尝试给Writer返回ACK的时候出现网络异常,Writer因没有收到ACK而判断为写入Event失败,因此Writer还是会重新发送此Event,导致数据重复。


仅一次(Exactly once):在系统发生异常时,Writer可以尝试多次重新发送Event,同时能保证最终每个Event只被写入一次。一些对数据准确性要求非常高的系统需要保证exactly-once语义,譬如支付系统,当用户在移动端付款时,很有可能会因为网络原因导致延时较长甚至超时,用户可能会手动进行刷新操作,如果没有exactly-once的语义支持,很有可能会发生两次扣费,我们绝对不希望此类错误发生。


仅一次语义是实现流处理系统正确性(correctness)的基石,因此也是流存储Pravega自从设计之初就规划好的设计目标。但是,exactly-once的实现也面临着诸多挑战,例如Kafka也直到0.11版本引入了KIP-98之后才完成了仅一次的支持。这种更强的语义不仅使编写应用程序更容易,而且使Pravega有了更为广泛的应用空间。这一篇文章我们将介绍Pravega实现这一特性的设计细节,以及和Flink社区合作开发的端到端(end-to-end)的exactly-once的实现。


Source: 流处理系统正确性基石:ExactlyOnce的设计和实现

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

admin

  • *****
  • 0
  • +0/-0
  • 性别: 男
  • SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
InfoQ_React的未来:与Suspense共舞
« 回复 #3953 于: 六月 17, 2019, 04:30:38 am »
React的未来:与Suspense共舞

React的16.x版本自从发布以后就风靡了整个业界。这个版本的新增功能中,最受欢迎的有Hooks、懒加载、Suspense和缓存API等。


不要以为本文又要教你怎么写Hooks,我要写的是对React未来的展望!如果你从未听过Hooks或者React中的其他新API,这篇文章会让你了解这些激动人心的未来。


接下来我们将介绍两个新概念,相关功能预计将在2019年第二季度发布:




  • 如何使用Suspense获取数据




  • 如何使用react-cache




虽然我迫不及待想要介绍这些功能,但之前我们还是先来铺垫一下。


React Hooks


React 16.8正式在稳定版中引入了Hooks。它在高层级上解决了一些问题:




  • 它引入了使用函数编写所有内容的理念,使代码更加模块化、更易于维护。




  • 它不鼓励使用HOC等难以理解的复杂函数。




  • 它不再使用复杂的生命周期,如componentDidMount、componentDidUpdate等,免去了编写重复代码的麻烦。


    Source: React的未来:与Suspense共舞

    InfoQ 促进软件开发领域知识与创新的传播
    http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

admin

  • *****
  • 0
  • +0/-0
  • 性别: 男
  • SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
InfoQ_EF Core 3 的 40 个中断性变更
« 回复 #3954 于: 六月 17, 2019, 04:23:26 pm »
EF Core 3 的 40 个中断性变更

为了修复Entify Framework Core中许多已发现的缺陷,微软在EF Core 3中引入了40个中断性变更。我们可以在微软文档中查看完整的中断性变更列表,本文仅列举几个主要的点。


客户端查询


为了突破EF Core SQL生成器的限制,默认只在客户端执行部分查询。这意味着对于部分不能转换成SQL的LINQ查询,需要从数据库加载数据表,并在内存中执行其余的操作。在2.1版本之前,Group By都是在客户端执行的。


这种方式的缺点是,Where() 子句中的一个问题可能导致EF Core加载整张数据表。开发人员还发现,在无法生成相关子查询的情况下,它将执行成百上千个二级查询。


新的默认行为是EF Core仅允许在客户端执行最终的 Select() 操作。如果EF Core不能生成正确的SQL,将引发异常。开发人员可以覆盖这个行为,但微软更希望开发者遇到这个问题时先尝试提交一个bug请求。


可以在“3.0查询指导原则大纲和决策点“中了解更多有关该变更的信息。


Source: EF Core 3 的 40 个中断性变更

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

admin

  • *****
  • 0
  • +0/-0
  • 性别: 男
  • SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
InfoQ_汽车金融风控流程设计和机器学习实践
« 回复 #3955 于: 六月 17, 2019, 04:23:26 pm »
汽车金融风控流程设计和机器学习实践

本次分享内容大纲:



01. 汽车金融风控流程设计



汽车金融风控流程设计中需要关注的五个节点:获客、反欺诈、信用评估、额度、利率,整个风控流程的设计一直是围绕这几个点来设计的。



除了上述几点,还需考虑俩个重要因素:



  1. 数据的完整性:是指可获得的客户数据,包括银行征信数据,第三方数据等,来补充我们的评估维度,维度越丰富,对前端客户提交申请的资料依赖就会越少,这样就会简化我们的风控流程,提高审批效率。


其次,数据完整性还会影响到风控节点的设计,因为每个节点都需要依靠数据来支撑,数据越丰富,设计节点的自由度越高。


Source: 汽车金融风控流程设计和机器学习实践

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

admin

  • *****
  • 0
  • +0/-0
  • 性别: 男
  • SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
InfoQ_Knative 初体验:Eventing Hello World
« 回复 #3956 于: 六月 17, 2019, 04:23:26 pm »
Knative 初体验:Eventing Hello World

基于事件驱动是 Serveless 的核心功能之一,通过事件驱动服务,满足了用户按需付费(Pay-as-you-go)的需求。在之前的文章中我们介绍过 Knative Eventing 由事件源、事件处理模型和事件消费 3 个主要部分构成,那么事件如何通过这 3 个组件产生、处理以及消费呢?


本文通过 Kubernetes Event Source 示例介绍一下 Knative Eventing 中如何获取事件,并且将事件传递给 Serving 进行消费。其中事件处理基于 Broker/Trigger 模型。


背景知识


先了解一下 Broker/Trigger 事件处理模型。从 v0.5 开始,Knative Eventing 定义 Broker 和 Trigger 对象,从而能方便的对事件进行过滤。



  • Broker 提供一个事件集,可以通过属性选择该事件集。它负责接收事件并将其转发给由一个或多个匹配 Trigger 定义的订阅者。

  • Trigger 描述基于事件属性的过滤器。同时可以根据需要创建多个 Trigger。


Broker/Tiggger 模型流程处理如图所示:



Source: Knative 初体验:Eventing Hello World

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

admin

  • *****
  • 0
  • +0/-0
  • 性别: 男
  • SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
InfoQ_当你打开天猫的那一刻,推荐系统做了哪些工作?
« 回复 #3957 于: 六月 17, 2019, 04:23:27 pm »
当你打开天猫的那一刻,推荐系统做了哪些工作?

天猫首页作为用户打开手机天猫App的第一印象,所推荐的商品极大地决定了用户接下来的行为,对用户流量的承接与分发、提升用户购物体验和呈现天猫货品的性价比、品质感及品牌力起到至关重要的作用,成为提升天猫用户体验的关键环节之一。


1、场景介绍


天猫首页的场景主要包括大促会场入口和日常频道两大类,如图1所示。其中左图为大促会场入口,包括主会场入口和行业会场入口;主会场入口通过为用户推荐7个商品(3个在中间动态轮播)给大促主会场进行引流,引流 UV 达数千万以上;行业会场入口通过为用户推荐4个个性化会场和商品为数万的会场引流。右图为日常频道,包括限时抢购、天猫好物、聚划算、天猫闪降和精选频道;首页通过个性化推荐商品为各个特色的频道引流,通过各个频道来培养用户心智,让用户在天猫逛起来。



图1. 天猫首页场景

过去的首页推荐更多的是在相关性推荐的单一数据目标上进行优化,如今天猫首页的推荐系统不仅仅考虑推荐结果的相关性,还在推荐结果的发现性、多样性等方面上做了更深度的优化,"效率和体验并重"成为天猫首页新的优化目标。Graph Embedding、Transformer、深度学习、知识图谱等新的技术已先后在天猫首页的推荐系统成功落地,为场景带来了两位数的点击率提升和两位数的疲劳度下降。


2、推荐框架


天猫首页的个性化推荐系统可以分为召回、排序和机制三个模块。其中,召回模块主要是从全量的商品素材中检索出用户感兴趣的 TopK 个候选商品,排序模块专注于用户对商品的 CTR 预估,机制模块负责后期的流量调控、体验优化、策略调控等和最终的商品排序。整个推荐系统采用 Graph Embedding、Transformer、深度学习、知识图谱、用户体验建模等新的技术构建起来,后面章节将介绍这个推荐系统的关键技术点。


Source: 当你打开天猫的那一刻,推荐系统做了哪些工作?

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

admin

  • *****
  • 0
  • +0/-0
  • 性别: 男
  • SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
InfoQ_Amazon Managed Kafka 旨在简化 Kafka Streaming 的设置和使用
« 回复 #3958 于: 六月 17, 2019, 04:23:27 pm »
Amazon Managed Kafka 旨在简化 Kafka Streaming 的设置和使用

Amazon Managed  Streaming for Kafka(MSK)在AWS re: 2018大会上推出公开预览版,现在,该服务正式发布。Amazon MSK的目标是使基于Kafka的流应用程序的构建和运行变得更加容易。


新的MSK GA将对Kafka的支持扩展到2.1.0版本,同时,对于预览期间创建的应用程序,它与Kafka 1.1.1保持完全兼容。此外,亚马逊还根据早期客户的反馈添加了一些新功能。其中包括支持客户端和代理之间以及代理之间的TLS传输加密,与AWS CloudTrail集成用于日志记录以及基于集群创建时分配给集群的标记定义IAM策略的可能性。目前,在AWS云环境中提供MSK的唯一方法是使用AWS管理控制台和CLI。然而,Amazon正在添加AWS CloudFormation支持,以支持使用JSON或YAML文本描述进行MSK建模和配置。


亚马逊简化Kafka集成的努力不限于设置、扩展和管理自托管Kafka服务器的固有困难。事实上,它的MSK服务还包括一个Apache Zookeeper节点以确保高可用性和安全性,亚马逊不会对其收费。正如亚马逊数据流产品经理Damien Wylie所说



我们将自动检测故障,然后重新引入一个新节点。因此,IP可以保持不变,最后,你运行集群期间需要的任何补丁,我们都会自动为你应用。



在AWS管理控制台中创建Kafka集群的过程被大大简化了。你只需要选择要使用的Kafka版本,决定每个可用性区域需要多少代理,并设置加密和存储选项,其中大多数设置都提供了合理的默认值。如果希望更改代理实例类型或Amazon EDB卷大小,可以通过访问高级自定义设置部分来实现。


Source: Amazon Managed Kafka 旨在简化 Kafka Streaming 的设置和使用

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

admin

  • *****
  • 0
  • +0/-0
  • 性别: 男
  • SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
InfoQ_系统架构系列(一):如何用公式定义该概念?
« 回复 #3959 于: 六月 18, 2019, 04:16:04 am »
系统架构系列(一):如何用公式定义该概念?


系统架构概念非常大,谈论时显得虚无飘渺,它不像一个具体的技术点能很好地衡量掌握了没有。系统架构的定义有很多,问不同的人得到的回答也不一样,这也越发让人迷惑:到底什么是系统架构。本篇文章没有太高深的理论,从推导系统架构的公式开始,层层铺进、环环相扣,揭开系统架构的神秘面纱。




一、推导系统架构的公式


1.1 系统架构概念拆分


在学习一门技术的时候,一定要知道是什么、为什么、怎么做。系统架构这个概念本身就非常大,而且有各种各样的定义,初学者会遇到这样的困境:到底什么是系统架构?不管什么样的定义,笔者相信知识只有内化成为自己的才最重要,否则我们只是不断地输入而没有消化。先不看之前的定义是什么,从"系统架构"这四个字开始推导其公式。


"系统架构"可以拆分成两部分:“系统"和"架构”。“系统"在百科中的定义是"系统就是若干相互联系、相互作用、相互依赖的要素结合而成的,具有一定结构和功能,并处在一定环境下的有机整体”,从这句话可以提炼出两点内容:一是整体与部分(由要素结合而成的)二是结构性(具有一定的结构和功能)。所以谈系统一定具有多个组成部分,并且这些部分是相互作用的,这点非常重要。


再看架构在百科中的定义是"架构,又名软件架构,是有关软件整体结构与组件的抽象描述,用于指导大型软件系统各个方面的设计"。初看到这个定义,从中获取的有效信息不大,只知道这个很厉害,用于指导大型软件系统各个方面的设计。细细分析,它又和系统有类似表述,有一个重要的词是抽象描述,换言之,架构是把系统中的整体结构和组件之间的关系体现出来。


Source: 系统架构系列(一):如何用公式定义该概念?

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

 

Sitemap 1 2 3 4 5 6 7 8 9