作者 主题: InfoQ  (阅读 256096 次)

十二月 13, 2019, 10:00:41 pm
回复 #6615

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
放弃自研转向PyTorch!估值二百多亿的Chainer母公司倒戈


还有人在用Chainer吗?可能很多开发者都没有听说过这个名字,但是提起同类型的TensorFlow、Keras、Caffe框架,大部分开发者应该就懂这个框架的作用了。出现至今,Chainer就被冠以“小众”的称号。如今,属于Chainer的时代也要结束了,其母公司Preferred Networks(以下简称“PFN”)正式宣布转向PyTorch,随着最新升级版本v7的发布, Chainer将进入维护阶段。Preferred Networks将为Chainer用户提供文档和库以便他们将项目迁移至PyTorch。



Chainer终是落下帷幕


12月5日,日本人工智能领域初创公司Preferred Networks总裁兼CEO Toru Nishikawa宣布,为加快深度学习技术的实施以及探索自身更具竞争优势的新领域,公司计划逐步将其深度学习框架(研究和开发的基础技术)从Chainer迁移到PyTorch



同时,公司还将与Facebook和PyTorch社区的其他贡献者合作,积极参与PyTorch的开发。随着最新升级版本v7的发布, Chainer将进入维护阶段。Preferred Networks将为Chainer用户提供文档和库以便他们将项目迁移至PyTorch。


Toru Nishikawa就这一商业决定做出了如下解释:


“自开始使用深度学习框架以来,Chainer一直是我们能与丰田、发可那等生意伙伴展开合作的基础技术支撑。正是因为Chainer,我们才能有机会与英伟达微软等大型跨国公司合作。有了合作伙伴、社区和用户的大力支持才有了现在的Chainer,Chainer对公司的重要性不言而喻。所以从Chainer迁移到PyTorch对公司来说是一个艰难的决定。但是,我们坚信,在参与开发PyTorch后,公司能够进一步加快深度学习技术的实施,革新Chainer开发技术,同时寻找对公司来说具有竞争优势的新领域。”


Source: 放弃自研转向PyTorch!估值二百多亿的Chainer母公司倒戈

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

十二月 14, 2019, 10:00:35 am
回复 #6616

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
7-11系统bug,拖欠员工加班费3200万元

12月11日,央视财经报道称,日本便利店巨头 7-11 系统 bug,拖欠超 3 万名员工加班工资,累计总额约合人民币 3200 万元。据了解,这个系统 bug 有记录起可追溯到 2012 年,更严重的是,媒体指出拖欠员工加班费的情况可能从上世纪 70 年代 7-11 成立之初就已经存在。


“通人性”的 7-11 bug


日本便利店巨头 7-11 的这个 bug,可能是黑心老板们最喜欢的一个 bug 了。


据媒体报道,这个“通人性”的 bug,已经拖欠了包括临时工在内超过 3 万名员工的加班工资,累计总额高达 4.9 亿日元,约合人民币 3200 万元。



7-11 员工的工资制度有别于传统企业,包括临时工在内的员工工资虽然由各家加盟店承担,但工资的计算和发放实际上是由 7-11 总部代为执行的。


Source: 7-11系统bug,拖欠员工加班费3200万元

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

十二月 14, 2019, 10:00:36 am
回复 #6617

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
Flutter 1.12重磅发布:支持Web与macOS


12月12日,前端年度“明星”Flutter 正式发布了最新版本 1.12。新版本有哪些值得关注的新特性和改进?来自 Flutter 开发团队的产品经理 Chris Sells 将为大家详细解读。




12月12日,Flutter 1.12 正式发布,这是从 2018 年 12 月发布 1.0 版本以来的第 5 个稳定版。过去的一年是惊艳的一年!我们关闭了 5303 个 issue,合并了来自 484 个贡献者的 5950 个 PR,增加了对 Android App Bundles 和 iOS 13 的支持,实现了鼠标和键盘事件处理机制,发布了 App 内购买插件,合并了多个重要的性能改进,增加了 24 种本地化和多个新的小部件。另外,Flutter 工具本身也得到大幅改进。改进的 Dart DevTools 提供了部件检查器、内存 /CPU 分析以及增强的日志功能。此外,我们还加入了引用类型自动导入功能、对 ChromeOS 的显式支持、UI 指南,以及改进的错误消息呈现(格式化、颜色高亮和更多的可操作项)。


对于每一个版本,我们都怀着始终如一的信念——一切都才刚开始。这个版本也不例外,这是我们有史以来最大的一个版本,有 188 位贡献者参与,关闭了 4571 个 issue,合并了 1905 个 PR。


Flutter 框架


新版本完全支持 iOS 13 的暗色模式,加入了新的 Cupertino 小部件,做了一些 UX 调整,并带来大幅改进的 Add-to-App 体验。


Source: Flutter 1.12重磅发布:支持Web与macOS

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

十二月 14, 2019, 10:00:36 am
回复 #6618

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
深入浅出Serverless:优势、意义与应用 | GMTC


本文来自腾讯 Serverless 技术专家王俊杰的投稿,他将在下周于深圳召开的GMTC2019全球大前端技术大会上发表演讲,更多内容可以点击这里查看。



Serverless 是炙手可热的技术,被认为是云计算发展的未来方向。尤其是在前端研发领域,使用 Node 开发云函数,可以让前端工程师更加专注于业务逻辑,实现全栈工程师的角色转变。


Serverless 的优势技术


Leader 和架构师在进行技术选型时会关注很多指标, Serverless 贡献最大的就是 研发交付速度(Time to Market)成本(Cost)


研发交付速度方面,衡量的指标是 Time to Market,是从需求产出到上线所用的总时长,Serverless 在这方面的优势在技术和团队协作两个视角上均有体现。


一是技术视角。有一种观点称 Serverless 是一种很简单的技术,我对这种观点并不完全同意。Serverless 架构让用户和底层架构的关系发生了变化,之前开发者需要关注核心业务逻辑、运维和底层架构的治理,在 Serverless 架构中底层的部分由 Serverless 架构提供方来解决。从整个应用系统的角度来看,系统架构的难度和复杂度并没有实质简化。


Source: 深入浅出Serverless:优势、意义与应用 | GMTC

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

十二月 14, 2019, 10:00:36 am
回复 #6619

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
大型科技团队的管理:面向未来的科技组织

引言:11月16日,由51CTO旗下CTO训练营品牌精心打造的LeaTech全球CTO领导力峰会在北京粤财JW万豪酒店拉开序幕。作为CTO、技术VP、技术总监等技术管理者人群的高端社交圈,本届峰会现场聚集了CTO训练营历届校友、CTO导师,以及行业中的资深技术管理者。600多位与会嘉宾在现场充分交流了有关技术性视野、技术领导力、技术团队组织建设等精彩话题的观点与思考,借助峰会这个线下平台,技术管理者们积极探索了更多商业可能,开拓管理视野,令自身领导力再上新台阶。


本次峰会邀请到宜信公司CTO 高级副总裁向江旭先生,带来主题为《大型科技团队的管理》的分享,向江旭先生在分享中提到科技团队的定位和使命在于支持业务、赋能业务、最终引领业务,同时,他还介绍了面向未来的科技组织的特点及对管理者提出的能力要求



(宜信公司CTO 高级副总裁向江旭)

以下为本次演讲的分享实录。


各位朋友下午好,今天我分享的主题是《大型科技团队的管理》,非常高兴能跟大家分享一些关于大型科技团队管理的经验和观察。


Source: 大型科技团队的管理:面向未来的科技组织

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

十二月 14, 2019, 10:00:36 am
回复 #6620

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
Nginx之父被抓,前东家想要Nginx技术的所有权了

二十年前,一个名不见经传的免费Web服务器软件诞生。二十年后的今天,它的影响力可能已经超过Apache,吸引全球一大批网络巨头的加入。它就是由Igor Sysoev开发的Nginx软件。


昨天Nginx创始人被捕了。一周前,他的前东家Rambler 集团对 NGINX Inc. 提出了侵犯版权的诉讼,声称拥有 Nginx 网络服务器代码的全部所有权。莫斯科警方随后展开了突袭行动,查封了Nginx在莫斯科的总部,扣押了设备、带走并讯问了多位雇员,包括联合创始人兼现任首席技术官 Igor Sysoev,以及联合创始人 Maxim Konovalov。


Rambler是俄罗斯最大的搜索引擎和互联网门户网站之一 Rambler .ru 的母公司。Rambler 声称 Igor Sysoev 在担任公司系统管理员时开发了 Nginx,因此它们才是该项目的合法所有人。


Sysoev 曾公开说过他利用业余时间开发了 Nginx。


事件经过


昨天,俄罗斯警方突击搜查了F5 Networks的子公司NGINX Inc.在莫斯科的办事处,该公司是Internet最受欢迎的Web服务器技术的幕后企业。


警方扣押了设备,并拘留了雇员进行讯问。


一名 Nginx 的员工在推特上发布了搜查令的截图,这一消息迅速传播开来。他后来应俄罗斯警方的要求删除了这条推文。但这次搜查得到了其他员工的证实。


Source: Nginx之父被抓,前东家想要Nginx技术的所有权了

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

十二月 14, 2019, 10:00:36 am
回复 #6621

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
数据库内核杂谈(三):索引优化

在上一篇文章的末尾,我们留了一个坑。虽然通过列存,能够避免读取不必要的数据(没使用的列)来提高查询速度,但是对于下面这类点查询(point query),还能不能进一步优化呢?


SELECT * FROM titanic_survivor WHERE age = 10;

答案是肯定的,解决方案就是今天的主题 – 索引(index)。


索引这个概念在我们日常生活中很常见。比如在很多书籍的最后,都配有关键字索引。它能帮助你快速地找到某个关键字所在的书页。试想一下,如果没有索引,想要查询某个关键字所在的章节和书页,可能唯一的办法就是一页一页翻书直到找到为止。索引大大提高了查询的速度!


数据库的索引也正是为了解决这类问题:索引通过引入冗余的数据存储(类比书籍最后的索引章节),以此来提高查询语句的速度。和上一期的结构类似,相较于列举不同索引类型的分类法,我们依然从解决问题的角度来看不同类型的索引是为了解决哪些查询而演化而来的。


回到上面这个点查询语句,你能想到什么办法来优化执行?我们沿用上一期titanic_survivor的数据(下图),一起来看。


Source: 数据库内核杂谈(三):索引优化

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

十二月 14, 2019, 10:00:36 am
回复 #6622

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
构建贝叶斯深度学习分类器

这篇文章将讲述如何使用Keras和Tensorflow训练贝叶斯深度学习(BDL)分类器。 在深入了解具体的训练示例之前,介绍几个重要的高级概念:


• 什么是贝叶斯深度学习(BDL)?


• 什么是不确定性(uncertainty)?


• 为什么不确定性很重要?


然后,将介绍在深度学习模型中引入不确定性的两种技术,并将使用Keras在cifar10数据集上通过冻结(frozen)的ResNet50编码器训练全连接层。 通过这个例子,还将讨论探索贝叶斯深度学习分类器不确定性的预测方法,并提出今后如何改进模型的建议。


1. 什么是贝叶斯深度学习?


贝叶斯统计(Bayesian statistics)是统计学领域的一种理论,其中关于世界真实状态的证据用置信程度(degrees of belief)来表达。 贝叶斯统计学与实践中的深度学习相结合意味着在深度学习模型预测中加入不确定性。早在1991年就有了神经网络中引入不确定性的想法。简而言之,贝叶斯深度学习在典型神经网络模型中发现的每个权重和偏差参数上增加了先验分布(prior distribution)。


过去,贝叶斯深度学习模型并不经常使用,因为它们需要更多参数进行优化,这会使模型难以使用。 然而,最近贝叶斯深度学习变得越来越流行,并且正在开发新技术在模型中引入不确定性,同时参数量与传统模型相同。



Source: 构建贝叶斯深度学习分类器

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

十二月 14, 2019, 10:00:36 am
回复 #6623

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
深度学习框架SINGA升级为Apache顶级项目

Apache软件基金会(ASF)最近宣布,分布式深度学习框架SINGA升级为顶级项目(TLP,top-level project)。这表明了SINGA项目所达到的成熟度和稳定性。SINGA已经得到了银行、医疗健康等多行业中企业的应用。


SINGA最早由新加坡国立大学研究人员开发,并于2015年三月 进入ASF孵化器。SINGA提供了一种在机器集群中分布式训练深度学习模型的计算框架,降低了模型训练所需的时间。SINGA不仅仅是一种学术研究平台,而且已在花旗集团、世邦魏理仕等多家企业得到了商业应用,并在健康医疗行业得到多处应用,例如为糖尿病前期患者提供帮助的应用


深度学习模型所取得的成功,是由大规模数据集的使用所驱动的。例如包括成千上万图像的ImageNet、具有上百万参数的复杂模型等。谷歌的自然语言模型BERT具有近3亿个参数,是在近30亿个单词上训练得到的。但是,完成这种训练通常需要数个小时,甚至数天时间。为加速训练过程,研究人员引入了并行处理技术,将计算任务分布到计算集群的多台设备上。SINGA研究团队负责人黄铭钧教授指出:



深度学习必须扩展到分布式计算,因为…深度学习模型通常规模巨大,并需要在大型数据集上训练。如果使用单个GPU,通常需要数百天时间。



分布式深度学习有两种并行策略。一种是数据并行,即多台机器分别处理不同的输入数据子集;另一种是模型并行,即多台机器分别训练神经网络模型的不同部分。SINGA同时支持上述两种策略,也支持两种策略的组合使用。为协调集群机器间的工作,并行策略将引入额外的通信和同步开销。SINGA实现了多种优化技术,力图降低上述开销。


Source: 深度学习框架SINGA升级为Apache顶级项目

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

十二月 14, 2019, 10:00:36 am
回复 #6624

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
区块链助力尤文图斯,与球迷“零距离”互动


12月2日,意大利尤文图斯足球俱乐部宣布推出自己的区块链球迷代币。经过近一年半的筹备与等待,曾经引发热议的球迷代币终于千呼万唤始出来。


2018年9月,法国巴黎圣日尔曼足球俱乐部宣布与区块链平台Socios网站合作,推出球迷代币生态系统。就在圣日尔曼宣布该消息后不久,意大利的尤文图斯俱乐部也宣布与Socios网站达成合作协议,计划发布尤文的官方球迷代币。


球迷代币发行后,球迷可在Socios平台上进行交易,并使用代币在移动App上投票,参与俱乐部的非战略性决策事宜,比如当尤文图斯队进球,球迷们可以代币投票决定播放哪首庆祝歌曲。


目前,每个代币在Socios平台上的发行价格为2欧元(约合2.22美元)。此外,通过Socios应用软件,球迷还有机会获取平台提供的限量免费代币,即所谓的“夺币奇兵”活动。


Source: 区块链助力尤文图斯,与球迷“零距离”互动

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

十二月 14, 2019, 10:00:36 am
回复 #6625

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
Nginx之父被抓,开发者的业余项目应该归谁? | 话题

昨天 Nginx 创始人 Igor Sysoev 被捕了。一周前,他的前东家 Rambler 集团对 NGINX Inc. 提出了侵犯版权的诉讼,声称拥有 Nginx 网络服务器代码的全部所有权。


毫无疑问,引起这一事件的原因就是 Nginx 发展的太好了,引起了 Rambler 的眼红,而实际上,将业余项目做大的开发者都会面临这样的风险。


开发者在业余时间开发的项目究竟属于开发者个人,还是属于开发者所在的企业呢?如果是你,遇到这种情况,你该怎么办呢?


Source: Nginx之父被抓,开发者的业余项目应该归谁? | 话题

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

十二月 14, 2019, 10:00:36 am
回复 #6626

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
去四川挖矿吗?可以成为世界第一的那种


六月份时,有数据统计称中国占全球算力市场的60%。近日,数字资产管理公司CoinShares发布报告称,中国矿工控制着全球66%的算力,其中仅四川一个省就占了54%,原因是中国部署了更多更先进的挖矿设备以及矿工盈利能力的提升。



为什么是四川?


五月份时,四川的算力在全球占比48%,仅七个月后就将此比例拉升到了54%,这个速度令人咋舌。


众所周知,电费和矿机是挖矿成本的两大重要因素。四川水资源丰富,省内大部分地区位于湿润季风气候区,气候温和湿润、雨量丰沛,河流水系发育良好。四川省去年水利发电量达2982.2亿千瓦时,占全国第一。丰富的水电资源使四川省成为全国最大的比特币挖矿地。


Source: 去四川挖矿吗?可以成为世界第一的那种

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

十二月 14, 2019, 10:00:36 am
回复 #6627

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
五年了,Heartbleed漏洞仍未修复


五年了,Heartbleed安全漏洞补丁仍未全面普及。


Heartbleed安全漏洞在2012年被正式引入OpenSSL加密库,但直到2014年才被发现并得到修复。但直到五年之后的今天,仍有众多系统未能有效安装修复补丁。


本文希望为IT团队提供必要的信息,帮助大家判断是否要使用Heartbleed漏洞的修复补丁。但这里要提醒一句:即使安装补丁,您的用户数据仍有可能受到其他攻击的影响。


Heartbleed安全漏洞是怎么回事?


Heartbleed是OpenSSL加密库中的一项代码缺陷,具体如下:


memcpy(bp, pl, payload);


2014年,研究人员在流行密码库OpenSSL当中发现一项安全漏洞。顺带一提,OpenSSL负责为开发人员提供用于实现安全套接字层(SSL)与传统层安全性(TLS)协议的工具与资源。


Source: 五年了,Heartbleed漏洞仍未修复

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

十二月 14, 2019, 10:00:36 am
回复 #6628

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
如何使用Redis TimeSeries和Grafana实现实时分析


本文要点



  • 时序数据管理对于组织中的数据分析至关重要,举例来说,股票价格或CPU性能指标都是时序数据。

  • 像RedisTimeSeries这样专门构建的数据库解决了处理时序数据的需求,同时摆脱了关系型数据库强加给我们的限制。

  • 其他专门为此构建的数据库包括InfluxDB和Prometheus。

  • 通过将Grafana和RedisTimeSeries集成在一起,我们可以实时放大或缩小图表。



时序数据可以广义地定义为按照时间顺序存储的一系列数据,举例来说,多年内的股票价格变动或过去几个小时CPU性能指标都是时序数据。时序数据广泛用于很多垂直行业,因为关系型、面向文档的以及流式数据库都不能满足这种特殊类型的数据的需求。


时序数据的特点


时序数据库有着独特的特点(如下面列表所示),如果与其他数据库一起管理的话,通常会是非常低效的:



  1. 高速的数据摄入:不管是IoT使用场景还是市场分析数据,我们都会有一个稳定的数据流,数据以很快的速度抵达,而且常常是爆发性的。对于大多数解决方案,一年中365天,24/7之内都有数据抵达。

  2. 数据不可变:一旦插入到数据库之中,在过期或删除之前,数据点不会进行任何修改。数据通常是带有时间戳和多个数据点的日志。

  3. 非结构化的标签:时序数据通常是在一定的时间范围内有很多源连续生成的。例如,在IoT使用场景中,每个传感器都是时序数据的源。在这样的场景中,序列中的每个数据点都以标签的形式存储源信息和其他传感器测量数据。来自每个源的数据标签可能并不符合相同的结构或顺序。

  4. 数据的价值随时间递减:只有恰当时间范围内的聚合汇总数据才会对未来产生价值。例如,在一年之后,大多数用户都不需要毫秒范围内存储的每个数据点。只有按照分钟、小时或每天聚合和汇总起来的数据才有意义。

  5. 查询要根据时间间隔进行聚合:基于时序数据生成图表能够让我们放大和缩小查询。之所以能够实现这一点是因为它们的数据是根据间隔聚合而成的。一般而言,时序数据查询是聚合的。这与从数据库检索单条记录是截然不同的。


在时序场景中使用传统数据库所面临的问题


很多解决方案会依然在关系型数据库中存储时序数据。这种方式有很多缺点,这主要是因为关系型数据库:



  • 是针对事务性使用场景设计的,并对此进行了优化。

  • 会带来锁和同步的开销,对于不可变的时序数据来说,这是没有必要的。这会导致数据摄入和查询的性能都比要求更慢。企业最后只能投资额外的计算资源实现扩展。

  • 会对标签强制定义严格的结构,不能存放非结构化的数据。

  • 需要定期的任务来清理旧数据。

  • 会用于多个使用场景。时序数据查询的过量使用可能会影响其他的工作负载。


重新思考时序数据库


专门的时序数据库解决了处理时序数据的需求。它同时移除了关系型数据库强加的限制。RedisTimeSeries是一个专门构建的用来收集、管理和交付大规模时序数据的方案。它提供了如下的功能:



  • 快速的数据摄入:作为一个内存数据库,RedisTimeSeries可以在单个节点上每秒钟摄入超过500000条记录。根据我们的基准测试,在16个Redis分片(shard)的集群中,每秒可以摄入超过1150万条记录。

  • 高效的资源使用:借助RedisTimeSeries,我们可以通过缩减采样(downsampling)的方法添加规则来压缩数据。举例来说,如果我们每天会收集超过10亿个数据点,但是,我们可以按照每分钟对这些数据进行聚合,从而实现缩减采样,所以这样可以把数据集缩减到24 * 60 = 1440个数据点。我们还可以设置数据保留策略,在不需要它们的时候将其设置为过期失效。



Source: 如何使用Redis TimeSeries和Grafana实现实时分析

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

十二月 14, 2019, 10:00:36 am
回复 #6629

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
如何用WebAssembly将桌面游戏编辑器移植到浏览器上


本文要点



  • 尽管WebAssemly还在积极开发当中,并且仍然比较小众,但这项技术本身已经足够成熟,足以用来将诸如桌面平台游戏编辑器之类的复杂应用程序移植到Web上。

  • 将桌面平台软件移植到WebAssembly的好处包括:移植的软件可以跨平台交付,可能会吸引更多的目标受众等。

  • 与原生桌面应用程序相比,前端框架和工具可简化UI开发并缩短反馈周期。

  • Web还带来了新的可能性,例如深层链接以及丰富的UI生态系统的帮助,这些可能会极大改善用户体验。

  • 开发人员必须特别注意内存管理、测试和键盘操作,以减少移植过程中出现的问题。



谷歌软件工程师和GDevelop游戏编辑器的创建者Florian Rival,最近在布拉格举办的ReactiveConf 2019大会上发表了演讲。他在演讲中讨论了将一款原生桌面平台游戏编辑器通过WebAssembly移植到浏览器中的经验教训。


InfoQ采访了Rival,询问了他在这一过程中所遇到的技术挑战、从移植中获得的收益,以及开发人员在考虑使用WebAssembly移植桌面应用程序时可以参考的技巧。


图片

InfoQ:首先介绍一下GDevelop吧。它的目标受众是哪些?GDevelop对于自身受众的价值主张是什么?它为游戏创作者解决了哪些痛点?



Florian Rival:GDevelop的理念是让初学者到经验丰富的游戏开发人员都可以创作游戏。GDevelop允许你使用视觉事件(由条件和动作组成)来创建游戏逻辑。你还可以通过组合预定义和可自定义的行为来构建游戏对象。


这样以来就消除了学习编程语言语法和习语这一入门门槛。对于非开发人员来说,这是一种通过直观界面快速上手并开始创作的方法。很多人喜欢沙盒游戏。GDevelop是一个沙盒——但是你用它可以做的事情是无限的。

对于经验丰富的游戏开发人员来说,你将获得一个集成的开发环境,可以使游戏的创建工作非常快速且高效(事件被转换为“真实”代码),并且可扩展。


Source: 如何用WebAssembly将桌面游戏编辑器移植到浏览器上

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon