作者 主题: InfoQ  (阅读 231900 次)

五月 19, 2019, 04:35:59 pm
回复 #3585

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
有赞亿级订单同步的探索与实践

一、引子


有赞是提供商家 SAAS 服务,随着越来越多的商家使用有赞,搜索或详情的需求也日益增长,针对需求及场景,之前提到过的订单管理架构演变AKF 架构等在这两篇文章里已经有所体现,而这些数据的查询来自于不同的 Nosql,怎么同步这些非实时存储系统将是一个很有趣的事情。


1.1 同步现状


当前有赞订单同步流程及业务现状如图所示,采用了 ES+HBase(tip1)架构体系去解决搜索和详情的需求,利用 canal(tip2)将数据库变更写入到 mq 中,然后利用同步系统来解决相关数据同步问题,而后续下文中将叙述有赞订单同步面临的问题及应对方案。



二、同步


2.1 实现同步基础 - 单表同步


2.1.1 乱序问题


单表同步如图所示:



Source: 有赞亿级订单同步的探索与实践

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

五月 20, 2019, 04:14:37 am
回复 #3586

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
深度解读华为云AI开发平台ModelArts技术架构

虽然人工智能浪潮已经热火朝天地进行了若干年,但对于很多企业来说,机器学习依然很遥远,听起来既昂贵,又困难,还需要大量高科技人才。不过目前这个复杂的领域有一个趋势:一切皆服务(everything-as-a-service)——无需太多投资,即可快速将机器学习用到实际业务中。通过使用机器学习云平台提供的服务,你可以开始构建第一个模型,只要一个小团队,就可以从机器学习的预测中获得有价值的信息。机器学习服务(Machine learning as a service, MLaaS)指的是包含机器学习大多数基础问题(比如数据预处理、模型训练、模型评估以及预测)的全自动或者半自动云平台的总体定义。


就目前国内市场来看,已有不少企业布局机器学习云平台并对外提供服务,也有很多公司基于开源组件着手开发自己的机器学习云平台,便于更好地开展企业内部的机器学习应用。在竞争激烈的AI框架和平台市场,去年下半年问世的华为云AI平台ModelArts凭什么脱颖而出?开发者为什么要选择ModelArts?本文将深度解读ModelArts的技术架构和具体实践,希望你能从中找到答案。


华为AI平台ModelArts定位


ModelArts是华为全栈全场景AI解决方案面向用户和开发者的门户,作为一站式AI开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。


image


繁多的AI工具安装配置、数据准备、模型训练慢等是困扰AI工程师的诸多难题。ModelArts最初是从华为内部衍生出来的一个产品,因为华为内有很多算法工程师、AI开发工程者,这些痛点都会遇到,我们就把这些已经遇到的AI开发问题找到了对应的解决方案,积累下来,最后做成了ModelArts这个平台。目标是提供一站式的AI开发平台给开发者,从数据准备到算法开发,训练模型,最后把模型部署起来,集成到生产环境。因此,ModelArts平台在华为云上开放给开发者之前,已经是被内部众多AI工程师锤炼出来的AI平台,以下是ModelArts功能总览:


Source: 深度解读华为云AI开发平台ModelArts技术架构

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

五月 20, 2019, 04:14:37 am
回复 #3587

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
用Go语言进行编程的利与弊

最近,我们使用 Go 语言编写了一个 API,Go 语言是一种开源编程语言,2009 年由 Google 推出。在使用 Go 进行开发的过程中,我们得到了很多经验和心得,想跟读者们分享,于是便有了本文


在为项目选择编程语言时,我们总是建议,在考虑要使用哪种编程语言进行构建之前,先要了解这个项目将要构建的内容。让产品成为应该如何构建的决定性因素。


下面就是我们在使用 Go 语言进行开发时发现的一些利弊,这些可以帮助你了解 Go 语言是否适合用于构建你的下一个项目。


我们喜欢 Go 语言的地方


近年来,Go 语言的使用量呈爆炸式增长。似乎每个初创公司都将它用于后端系统。开发人员认为它如此广受欢迎,背后的原因有很多。


Go 语言速度非常快


Go 语言是一门非常快速的编程语言。因为 Go 语言是编译成机器码的,因此,它的表现自然会优于那些解释性或具有虚拟运行时的编程语言。Go 程序的编译速度也非常快,并且生成的二进制文件非常小。我们的 API 在短短几秒钟内就编译完毕,生成的可执行文件区区只有 11.5MB 这么小。


Source: 用Go语言进行编程的利与弊

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

五月 20, 2019, 04:14:37 am
回复 #3588

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
深度学习人体姿态估计算法综述

人体骨架是以图形形式对一个人的方位所进行的描述。本质上,骨架是一组坐标点,可以连接起来以描述该人的位姿。骨架中的每一个坐标点称为一个“部分(part)”(或关节、关键点)。两个部分之间的有效连接称为一个“对(pair)“(或肢体)。注意,不是所有的部分之间的两两连接都能组成有效肢体。下图是一个典型的人体骨架举例。


图片


人体姿态估计有多个应用场景,其中一些应用将在本博客的最后讨论。多年来,人们发展出了多种人体姿态估计算法。最早(也是最慢)的方法通常针对图像中仅有一个人的情景,只估计单个人的姿态。这些方法通常首先识别出各个部分,然后在它们之间形成连接以创建姿态。


自然,这种单人姿态估计不太适用于很多现实生活中的情形,因为在真实情况下往往图像中包含很多个人。


多人姿态估计


多人姿态估计比单人姿态估计要难一些,因为图像中的人数以及每个人的位置是未知的。一般来说,我们可以用以下两种方法之一来解决这些问题:


Source: 深度学习人体姿态估计算法综述

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

五月 20, 2019, 04:14:37 am
回复 #3589

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
七年程序员生涯,我学到最重要的6个教训

身为开发者的你是否思考过这个问题:在编程过程中,到底什么才是最重要的?本文作者的编程生涯始于 2012,到今年正好 7 年的时间。面对“七年之痒”,作者带来了对编程的一些思考,希望能够对你有所帮助。




时间如梭,不是吗?


我的编程之旅始于2012年,当时我还只是个C++编程实习生。说实话,我根本不知道自己在做什么。即使是到了现在,这种状况依然没有改变。不过,在这个过程中,我确实学到了很多东西。


问题来了:在编程过程中,什么语言才是最重要的?


是英语?西班牙语?中文?波兰语?还是其他在工作中用来与其他人进行沟通的语言?


与人沟通比与机器沟更重要


编程是一项团队活动。很少有出色的软件产品是完全由一个人从头到尾做出来的(CodeSandbox算是一个,但后来Ives还是请了一些人),大多数产品需要一个团队来打造。


沟通技巧可以成就一个项目,也可能会毁了它。相比存粹的技术,软技能对一个项目的成功起到更重要的作用。试想一下,你把世界上最好的5个数据库专家都请来了,但如果他们各自为政,互不沟通,最后他们会给你搞出5个不同的MySQL、Aurora或MongoDB实例。


了解你在做什么以及为什么


人一旦有了目标感,就会感觉好一些,这在工作中也是一样的。


Source: 七年程序员生涯,我学到最重要的6个教训

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

五月 20, 2019, 04:46:00 pm
回复 #3590

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
51信用卡金融风控场景下实时计算引擎的设计与实践

[html]

1.业务背景与痛点


51信用卡是中国最大的线上信用卡管理平台, 业务涵盖个人负债管理、信用卡科技服务、线上信贷撮合及投资理财服务。目前在51人品贷借贷场景,用户需要先导入个人资料,主要包括信用卡账单、运营商、通讯录等数据,然后触发一系列风控模型计算,包括实时的授信出额、A卡信用评分准入(要求秒级完成),以及近线的反欺诈审

软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

五月 20, 2019, 04:46:00 pm
回复 #3591

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
溯源微服务:企业分布式应用的一次回顾

[html]

微服务作为架构风

软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

五月 20, 2019, 04:46:00 pm
回复 #3592

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
InfoQ专访慎熙鹏教授:将深度学习训练时间缩短69%

[html]

北卡罗莱纳州立大学的

软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

五月 20, 2019, 04:46:00 pm
回复 #3593

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
Robotics开源:降低机器人领域进入门槛

[html]

本文要点




  • 多莉是一只虚拟的机器羊,是Gazebo和ROS 2的实用介绍。




  • 机器人操作系统的最新版本ROS 2提供了熟悉的工具和功能,同时扩展到了新的用例。




  • Gazebo是一个功能强大的机器人仿真器,用于工业和学术界的物理计算、生成

软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

五月 20, 2019, 04:46:00 pm
回复 #3594

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
工商银行MySQL数据库架构解密

[html]

摘要:本文

软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

五月 20, 2019, 04:46:00 pm
回复 #3595

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
微服务架构体系的深度治理

[html]

微服务模式下,庞大的服务节点数量、日趋复杂的服务分层、离散的组织协同、扁平化的管理模式让服务治理的广度、深度、难度都达到前所未有的程度。单纯依

软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

五月 21, 2019, 04:13:54 am
回复 #3596

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
百度UNIT3.0及语音技术平台迎来重磅升级,技术细节独家解读

2017年7月,百度在AI开发者大会上发布对话系统定制平台UNIT,它搭载了业界领先的对话理解与对话管理技术,可以帮助开发者赋予产品智能对话的交互能力。


2018年7月,UNIT推出的2.0版本,技术、功能与架构实现全面升级,为开发者提供更加易用、更加专业的对话系统定制能力。


2019年5月15日,"与未来对话——百度大脑智能对话引擎及产品发布会"正式举行,会上首次曝光百度大脑智能对话生态,并推出全新的智能对话引擎。


基于百度多年积累的自然语言处理、知识图谱和语音等对话相关的AI技术,百度已形成包含UNIT 3.0和语音技术平台的百度大脑智能对话引擎,并在此基础上推出客服、消费电子和出行三大智能对话场景方案。会上,百度自然语言处理部主任架构师孙珂博士宣布百度大脑对话系统定制平台UNIT3.0全新升级,并发布9大核心特性,为国内智能对话领域打造了技术最强、能力最丰富、使用规模最大的智能对话定制平台。



Source: 百度UNIT3.0及语音技术平台迎来重磅升级,技术细节独家解读

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

五月 21, 2019, 04:13:54 am
回复 #3597

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
谷歌中止与华为业务往来,华为自研手机OS也要一夜“转正”?


一连数天,华为海思事件持续发酵。今天根据路透社最新报道,谷歌已经暂停与华为的业务,这意味着华为只能使用开源版本的安卓系统,无法访问来自谷歌的专有应用程序和服务。晚些时候,彭博社报道称,英特尔、高通、赛灵思和博通在内的多家芯片制造商告知其员工停止对华为供货。谷歌禁运,安卓告急。随着手机操作系统的至暗时刻到来,华为的B计划在哪里?前路漫漫,是否还有更多的困难在等着华为?



事件回溯


根据路透社的最新报道,谷歌已经暂停与华为的业务。知情人士表示:“这意味着华为只能使用安卓的公开版本,无法访问来自谷歌的专有应用程序和服务”,包括但不限于Play Store、Gmail和YouTube。此举可能会阻碍华为在中国境外的智能手机业务,预计对中国市场的影响微乎其微。因为大多数谷歌移动应用程序在中国被禁止,国内竞争对手可提供替代应用程序,华为的第二大市场——欧洲业务可能受到重创。


路透社称,谷歌发言人认为,公司“正在遵从相关指令并研判影响”,但拒绝提供相关细节。今年3月份,华为轮值董事长徐直军(Eric Xu)在接受路透社采访时称:“无论发生什么,安卓社区都没有阻止任何公司访问其开源许可证的任何合法权利”。


从芯片到操作系统,华为是否还有更多的B计划可以亮出?


华为手机操作系统研发史


曾经,谷歌与华为的合作关系颇为紧密。作为全球第一大移动操作系统,安卓的卡顿问题一直未能得到解决,华为决定使用F2FS(Flash Friendly File System)替换原生的文件系统。


根据CBG软件部总裁王成录的描述:“2018年,谷歌将F2FS吸收到安卓原生版本中,所有安卓厂商因此受益,对安卓生态是很有价值的贡献。至今,谷歌的自研手机Pixel 3也使用了F2FS文件系统。”


Source: 谷歌中止与华为业务往来,华为自研手机OS也要一夜“转正”?

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

五月 21, 2019, 04:13:54 am
回复 #3598

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
不要在云上保存你的数据(二):未来软件发展途径

在本文中,我们探索了未来软件发展的新途径。我们已经证明,用户可以保留对数据的所有权和控制权,同时还可以从与云相关的功能中受益:无缝协同和随时随地访问。两个世界都有可能做到最好。


不要在云上保存你的数据(一):本地优先的七个理念


我们在这个系列的第一个部分,介绍了本地优先的七个理念,这里再重复强调一下都是什么原则需要我们遵循的:



  1. 无需等待:立即工作

  2. 工作不会被困在一台设备上

  3. 多选的网络

  4. 与同事无缝协同

  5. 永远是最新

  6. 默认的安全和隐私

  7. 保留最终控制权


现有数据存储和共享模型


我们相信专业和有创造力的用户应该拥有能够实现本地优先目标的软件,帮助他们无缝协同,同时还让他们保留对工作的完全所有权。如果我们能让用户在他们用来进行最重要工作的软件中获得这些特性,就能帮助他们更好地完成他们所做的工作,并可能对许多人的职业生涯产生重大影响。


然而,虽然本地优先的理念可能会引起我们的共鸣,但我们仍然想知道在实践中是如何实现它的。只是乌托邦式的空想吗?


Source: 不要在云上保存你的数据(二):未来软件发展途径

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon

五月 21, 2019, 04:13:54 am
回复 #3599

admin

  • Administrator
  • Newbie

  • 离线
  • *****

  • 4
  • Karma:
    +0/-0
  • 个人说明
    SoftPlus 资深程序员
    • 查看个人资料
    • http://www.softplus.org
不止谷歌!英特尔、高通等停止对华为供货


北京时间5月20日,路透社报道称:谷歌已经暂停与华为的业务合作,这意味着华为将只能使用开源版本的Android系统,无法访问谷歌专有的应用与服务。


就在这则消息发出后不久,彭博社报道称:据知情人士透露,英特尔、高通、赛灵思(Xilinx)、博通有限(Broadcom)等芯片制造商也已经告知员工暂停对华为的合作,直到更进一步的通知发布为止。



停止幻想的最后一击


谷歌受到禁令影响,将限制与华为的合作。


据知情人士透露,谷歌母公司Alphabet已经暂停与华为的业务,一些涉及硬件、软件与技术服务的业务都将受到限制,并且华为将失去对谷歌Android操作系统更新的访问权限,这有可能会阻碍华为在海外的智能手机业务。


令人没有想到的是,这只是一个开始。


就在这条消息放出后不久,据国外媒体爆料:更多的科技公司加入了停止与华为合作的禁令当中,这其中包括了不少知名的芯片制造商,如英特尔、高通、赛灵思、博通有限等等。


Source: 不止谷歌!英特尔、高通等停止对华为供货

InfoQ 促进软件开发领域知识与创新的传播
http://www.infoq.com/cn/
软佳科技有限公司 http://www.softplus.org
软佳医疗软件 http://www.ynhis.com
最新Linode VPS 优惠码新用户注册省10美元:Active Linode $10 Coupon