在Databricks设置Job时，往往两个Notebook可能会有依赖关系。也就是说，可能第二个Notebook是用第一个Notebook跑出的结果。这个时候就需要注意，当第一个Notebook没有run成功时，第二个Notebook自动run，可能是用的上次的结果，就会导致结果的不准确性。为了避免这种情况的发生，只需要在第一个Notebook的结尾，第二个Notebook的开头假如一行命令即可。
第一步: 首先生成一张新表:table
第二步：在第一个Notebook 结尾添加: （insert into table select 'a','1',current_date)
第三步：在第二个Notebook开头判断:" select count(*) as cnt from (select distinct tablename,status,opdate from table where tablename = 'a' and status = '1' and opdate = '",format(Sys.Date(),'%Y-%m-%d'),"')
Job是指提前编辑好Notebook，在指定的时间可以自动更新的功能。如下:
Job界面
网友评论