【酷澎数据力应用1:订单履行】简化演算法建模和开发流程,供应链管理因应快一步

on

|

views

and

comments

酷澎

要实现全韩国一天到货的快物流,韩国电商龙头酷澎靠的是一系列数据驱动的供应链管理做法,例如,他们靠演算法来预测客户需求,分析特定时间内,哪个地点的顾客对特定产品需求较大,以此提前补充物流中心库存,确保物流中心有补货需求才进货,避免物流中心的库存超过负载量。

从预测库存需求、采购、处理订单、分销,到计算最佳送货路径,酷澎都会利用庞大顾客订单和百座物流中心数据,来开发出各种复杂的演算法。为此,由工程师、业务分析师、数据科学家组成的酷澎SCM(供应链管理)团队,打造了SCM全套系统,用数据驱动供应链管理不同环节。

开发SCM工作流程平台,缩短高度重复的标准化作业时间

电商市场的需求和趋势不断变化,行销策略和业务决策以日、周为单位变动,SCM团队时常需要因应变动的顾客需求提前预测,早一步调度物流,提高顾客下单後的配送效率。但是,这得靠工程师尽快因应不断变化的数据来源和查询需求,开发新演算法,优化相关决策模型或系统来配合业务场景,协助SCM团队展开新策略。例如,在短时间内打造不同ML模型,并将这些模型整合至SCM系统中,来因应各种业务决策需求。

随着业务规模越来越大,酷彭SCM团队发现,工程师在处理数据需求和维护SCM系统时,需要进行太多重复作业,拖慢了工程团队的开发脚步。即便是一个简易的数据需求,都需要由工程师建立资讯工作流(Data Pipeline),提取不同资料库数据。创建资讯工作流是一个标准化任务,处理过程却需要使用多种工具并具备程式设计专业,每当团队业务人员有新数据分析需求时,仅能仰赖工程师支应,沟通开发需求往往花费大量时间,导致两造的协作效率不佳。

另一个问题是,不同SCM系统有相似的底层架构,且数据从提取、处理至分享阶段皆相似,却需要工程师逐一维护和更新,进行大量的重复作业。例如,顾客需求、物流中心订单递送、订单系统,和产品调度系统都使用彼此的数据运作,使得各个系统都拥有相似的程式码。

他们提高开发速度的策略是大幅简化高度重复的标准化作业流程,降低重工。为此,酷澎开发了SCM工作流程平台,可以中心化创建和管理模型的流程,也能管理用来执行模型底层的执行环境。SCM团队还可以定义和设置不同工作流程的运作方式,包括安排模型运作时间的先後顺序,采平行运作或重复执行等指令,或是让工作流程按时自动化执行。

平台提供不少共用元件,也有一个第三方数据服务的登录,使用者挑选需要的元件或从服务目录清单挑选需要的数据服务,加入流程图中为一个个任务节点,还可以安排这些节点的顺序,串连不同的节点,来设计一个需要的工作流程图。每个元件提取的数据,都可以成为下个连结元件的输入参数,以此进行更复杂的数据计算。

以SCM工作流程平台为基础,平台上提供No-code资料建构工具,让SCM团队中的业务人员能自行建立资讯工作流,并取得数据,实现快速建模,还开发Low-code服务建构工具,将重复、常用的工作流程标准化,让工程师将数据快速整合至系统中,专注於开发演算法和处理大量资料。

SCM Workflow平台的引擎协助是使用者创建和管理模型,提供共用元件平台,并具备第三方资料库登录功能,可以快速提取不同资料库的数据。图片来源/酷澎

No-code资料建置工具让业务人员快速建立工作流程

当业务团队有数据需求时,不再需要仰赖数据工程师,可以藉No-code资料建立工具快速取得资料、查询和输出数据、并将资料整合到其他系统中。资料建立工具介面中的工作流程是由多个任务节点组成,节点可以互相连结,形成垂直型的工作流程图。藉由SCM Workflow提供的第三方资料库登录服务,使用者可以在任务节点的设定中,从登录清单中选出要哪些资料库来提取资料,包括Hive、Presto、MySQL、S3等资料库,并整合不同来源数据,汇入下个连结的节点,产出数据结果。

例如想知道何时补充物流中心库存,要补充多少才能满足订单?使用者可建立提取数据的节点,像是库存数据撷取节点、客户订单数据撷取节点,和缺货商品资料查找节点等。接着,在提取数据节点中,选定从资料库查询并提取数据。再来,使用者可以创建一个让资料汇入Redshift资料仓储的节点,设定为计算需补充的库存量,并将其与提取数据的节点连接,就能整合不同资料库的数据计算结果。完成这些步骤,就等於是建立了一个「计算补货量」的工作流程。

使用者可以藉由建立多个任务节点,来将复杂的查询任务拆分成多个独立任务。此外,使用者也可以藉由ID、网址和文件路径与其他团队成员共同编辑工作流程,并藉由回呼(callback)功能,同时执行不同任务,在更有效率的情况下协作。使用者可以预先排程,设定工作流程在每天特定时间产出数据结果,也可以设定每小时、每天或每周自动处理数据。

酷澎SCM Workflow平台提供No-code资料建构工具,让SCM团队可以快速建立资讯工作流,取得数据并建立业务所需的模型。例如,藉由提取库存数据、订单资料和缺货商品,来制作计算补货量的模型。图片来源/酷澎

Low-code服务建置平台将程式码元件化提高再利用率

服务建构平台则是将大量重复、常用的作业程式码制作成现成元件,供SCM团队其他开发者用拖拉式操作组合服务元件,来整合输入和输出的SCM系统所需的数据、建构系统和进行程式设计,不用撰写太多程式码,就能快速建置或修改系统。这些元件包括建构系统的必备功能,例如,即时讯息通知、REST回呼,和重新执行等功能,也有程式设计服务元件,协助开发者执行更复杂的作业,例如,条件句、迭代、平行运作功能。

除了平台提供的基本元件,SCM团队中的开发者也可以自行定义元件,将常用的演算法制作成元件,或是连结多个元件包裹成单一元件,再注册到平台上,让其他开发者也可以选取,整合到他们的工作流程中,帮助快速建立机器学习模型。藉由标准化和自动化重复的处理过程,例如数据从提取、处理至分享阶段,让开发者可以更专注在开发演算法和处理庞大的资料。

此外,平台也提供开发常用工具,例如,版本控制、组态、错误日志和侦错工具,并提供仪表板功能,将各项任务的执行数据视觉化,让使用者可以快速监控工作流程运作状态。

SCM Workflow平台提供工作流程的即时监控仪表板,将任务状态视觉化让使用者可以即时了解工作流程运作情况,例如显示正在准备、正在运作和运作失败的任务数量。图片来源/酷澎

未来要将SCM专案成果提供给其他部门使用,也要扩大工作流程平台应用场景

除了No-code资料建构工具和Low-code服务建构工具,为了方便SCM团队和专案运作,SCM工作流程平台还提供了分组管理功能,使用者可以在平台建立不同群组的资料夹,来管理多个工作流程,快速利用已经建置好的工作流程,包括估算产品需求、预计任务完成时间(ETC)、库存安置服务(IPS)、火箭配速服务、采购订单、商品规格对应等流程,来支援这些用途所对应的系统所需。

此外,SCM工作流程平台还提供了Web版的模型检视图,在一个工作流程执行结束後,使用者可以直接看到每一项任务是否成功或失败,介面也会展示哪个任务节点最花时间。若有任务执行失败,也可以查看错误日志进行除错。

SCM工作流程平台提供No-code资料建构工具和Low-code服务建构工具,协助SCM团队更即时反应变动的管理需求,强化订单交付能力。未来,酷澎的愿景是让SCM团队制作的这些数据专案成果,转变为对外提供的服务,例如将预测模型提供SCM以外的部门使用。此外,他们未来将继续加强数据处理,让大规模数据处理变得更加便利,并确保业务可以跟更多部门共享或整合工作流程平台,扩大工作流程平台的应用场景。

 相关报导 

李昀璇

热门文章

AI不是万能 无法取代的职业有哪些

随着人工智慧(AI)技术的进步,这些职业仍无法被AI轻易取代,其中包括领导、创造性的工作和专业技术人员等。

各国建立专属 AI 模型,推动辉达晶片需求成长

辉达主管今天表示,生成式人工智慧(AI)成为各大企业与各国政府关注焦点之下,许多寻求以本国语言建造 AI 模型的国家都看上辉达晶片,让已经很抢手的晶片需求进一步成长。 路透社报导,尽管辉达(Nvidia)在其驱动AI(例如OpenAI的ChatGPT)的晶片第三季销售成长预测,未能满足投资人高度预期...

xAI 工程师花三天就改写 Grok-2 物理堆栈,速度大幅提升

马斯克旗下 xAI 稍早发表 Grok-2 大型语言模型聊天机器人,推出後持续进步,xAI 两位开发者短短三天就重写推理程式码堆栈,使 Grok-2 和 Grok-2 mini 资讯分析和输出速度大幅提升。 xAI 开发者 Igor Babuschkin 於 X 表示,Grok-2 mini 速度经...

最新文章

相关推荐

0 0 投票数
Article Rating
订阅评论
提醒
guest
0 Comments
最旧
最新 最多投票
内联反馈
查看所有评论
0
希望看到您的想法,请您发表评论x