编程(Programming)是编定程序的中文简称,就是让计算机代码解决某个问题,对某个计算体系规定一定的运算方式,使计算体系按照该计算方式运行,并最终得到相应结果的过程。为了使计算机能够理解(understand)人的意图,人类就必须将需解决的问题的思路、方法和手段通过计算机能够理解的形式告诉计算机,使得计算机能够根据人的指令一步一步去工作,完成某种特定的任务。这种人和计算体系之间交流的过程就是编程。
Schedulis是一款工作流任务调度系统,基于LinkedIn的开源项目Azkaban开发,用于解决金融级场景下,大量批量作业任务的复杂依赖、灵活调度。
软件介绍
Schedulis系统具备高性能,高可用(去中心化多调度中心和多执行器)和多租户资源隔离等金融级特性;现已被集成到数据应用开发门户DataSphere Studio。
Schedulis支持常规的Command Shell和Linkis(HadoopMR、 Hive、Spark、Sqoop、 Python)大数据任务;同时还支持特色的数据检查和工作流之间的依赖任务;支持完善的告警和工作流执行策略;提供多种类型的参数设置,动态全局变量和简单易用的 UI。
与DataSphere Studio和Linkis的对接:
DataSphere Studio可以将编辑好的工作流一键发布到Schedulis进行调度,而Schedulis也实现了Linkis插件,用于向Linkis提交任务,这样使得Schedulis与DataSphere Studio和Linkis能够无缝衔接,从而实现数据应用开发全流程的连贯顺滑用户体验。
使用编程语言写的程序,由于每条指令都对应计算机一个特定的基本动作,所以程序占用内存少、执行效率高。