美文网首页
Task Flow 简介

Task Flow 简介

作者: Dream胡 | 来源:发表于2016-11-23 11:41 被阅读2464次

认识Task Flow

TaskFlow是一个python库,用来简化任务的执行管理,同时,实现任务的一致性、可扩展和可靠性。TaskFlow支持创建不同的 task,并以声明的方式集成到一个 flow 中,这些 flow 会通过 engine 执行、停止、继续和恢复。

优点

  • 弹性的增加状态
  • 自然声明构造
  • 简单可测试(每个 task 只做一件事)
  • 工作流可插拔
  • 容错性
  • 简单的故障恢复

概念示例

伪代码展示了 flow 类似于SQL事务的执行模式
START TRANSACTION task1: call nova API to launch a server || ROLLBACK task2: when task1 finished, call cinder API to attach block storage to the server || ROLLBACK ...perform other tasks... COMMIT

why

OpenStack 的代码正在有组织的增长,但是如果进程被意外中断,却没有一个可以安全恢复或回滚代码的标准;大多数项目并没有使 task 可以重启或恢复,简单的挑高或恢复的场景在今天的代码里已几乎不可能。通过Taskflow的推广,甚至在没有HA的情况下,使OpenStack变的可信和可靠。

一些使用场景

  • 服务停止、更新、重启
    目前Openstack的大部分服务都没有对服务的强制停止做任何处理,使任务处于不可调和的状态。比如,一个任务在运行过程中被终止,可能会变为不可恢复的状态,或成为遗留资源。TaskFlow可以跟踪任务的关联状态,当服务重启后,可以很容易的恢复或者回滚。

  • Orphaned resources(僵尸资源)
    由于现在OpenStack的项目缺乏事务语义,所以会留下一些资源成为孤儿状态,或ERROR的状态,在自动化系统(Heat)情况下,这种状况是非常不能令人接收的,因为非常难分析哪些是要被清除的孤儿资源。
    Taskflow提供其以任务为导向的模型将能正确地追踪资源的变动,这就容许在一些资源上的动作可以自动地被撤销,以确定没有资源被称为“僵尸”。

  • Metrics and history(度量和历史)
    当OpenStack服务被组织进 taskflow 的对象和模式时,通过将记录 task 在运行时的度量/历史,这些服务便自动获得了简单的增加度量报告和历史操作的能力。

  • 进度/状态跟踪
    Openstack中,有很多场景需要记录和跟踪任务的进度,TaskFlow提供了一种内建的通知机制实现任务进度的跟踪。

设计

  • Retry
    retry也是派生于一个atom,是一个特殊的单元,实现对错误的处理,控制flow的异常情况,必要时,能够以其他参数重试另一个atomretry基类的派生类必须提供on_failure()方法,实现对异常的处理。
  • 参考

    TaskFlow官方文档
    An Introduction to OpenStack TaskFlow with Python

    相关文章

    • Task Flow 简介

      认识Task Flow TaskFlow是一个python库,用来简化任务的执行管理,同时,实现任务的一致性、可扩...

    • Data Flow Task

      1.Data Flow Task The Data Flow task encapsulates the data...

    • SpringCloud2.x Task

      Task 简介 为了短期或者一次性执行某种任务,比如统计,更新数据等所使用的短期框架,也可以与flow data ...

    • Flow简介

      Kotlin 协程中使用挂起函数可以实现非阻塞地执行任务并将结果返回回来,但是只能返回一个计算结果。但是如果希望有...

    • data flow task+

      这个例子主要解决,当source中的column名称不一样,是dynamic的时候,task youtube视频

    • git-flow使用指南

      git-flow使用指南 1.简介 git-flow是基于Git Flow工作流模型的工具,了解Git Flow ...

    • Visual Flow 简介

      Visual Flow(流) Salesforce提供了几种自动化流程工具,其中的Visual Flow(流)可以...

    • 20180401雅思全程班基础写作1

      一.雅思写作简介: 两篇文章 TASK 1 & TASK 2 TASK 1 20分钟 3分 TASK 2 40分钟...

    • NSURLSession

      NSURLSession基本使用 简介 使用步骤使用NSURLSession会话对象创建Task,然后执行Task...

    • 删除azkaban的执行历史

      azkaban是一款工作流调度工具,由Linkedin开发并开源给社区。 azkaban保留了task,flow的...

    网友评论

        本文标题:Task Flow 简介

        本文链接:https://www.haomeiwen.com/subject/sdxkpttx.html