fix: worker 代码变化自退 + 部署时清孤儿 worker
2026-10-27 暂存清理实弹:05:51 的旧 docker worker 成孤儿后 继续用旧代码抢任务、按老路失败且不删暂存;autoscaler 用 start_new_session=True 拉 worker、部署重启杀不到非 unit 进程。 两层修: 1. worker 常驻循环每轮边界比对 worker.py 文件签名 (mtime_ns + size),部署换目录后必变,变了就以 75 (EX_TEMPFAIL,失败类)退出——检查点在轮次边界,绝不 中断在跑任务。退出后:unit 托管的由 systemd on-failure 重拉新版,autoscaler 托管的由 reconcile 重拉,孤儿直接 消失。附带好处:以后部署不用再手动重启本地 worker。 2. host_deploy.sh 换目录后、启动服务前清孤儿:按 cgroup 过滤杀非 .service 的 cloud.worker 进程(桥接修补前就存 在的孤儿),先 TERM(跑完当前任务再退),30 秒未退的 再 KILL;unit 托管的(如 host-1)不动。pgrep 用 [c]loud.worker 写法,避免检查命令自匹配。 测试:test_worker.py 新增 2 个(签名变了则 75 退出且不认领、 签名不变则跑到 max_seconds);反向验证:撤掉 worker 修复 时正好前者变红。清扫过滤器主机干跑:两个现役 worker 均 为 unit cgroup,全 KEEP,杀 0 个。全量 deploy 19、host 62、cloud 619 全过。
This commit is contained in:
1 parent
c007fafcc7
commit
57f8852634
3 files changed
+86
No files matched your search
@@ -539,6 +539,24 @@ class WorkerTestCase(unittest.TestCase):
|
||||
self.assertEqual(result["status"], "failed")
|
||||
self.assertFalse(os.path.exists(bundle_dir))
|
||||
|
||||
# -- 代码变化自退 ------------------------------------------------------
|
||||
# 2026-10-27 实弹:05:51 的旧 docker worker 成孤儿后继续用旧
|
||||
# 代码抢任务。常驻循环每轮边界比对 worker.py 签名,变了就退
|
||||
# 出(75,失败类,supervisor 重拉新版),绝不中断在跑任务。
|
||||
def test_code_changed_exits_loop_before_claiming(self):
|
||||
worker = self._worker(
|
||||
runner=self._recording_runner(_completed_runner))
|
||||
worker._code_signature = ("stale-signature",)
|
||||
with self.assertRaises(SystemExit) as ctx:
|
||||
worker.run_loop(interval=10, max_seconds=30)
|
||||
self.assertEqual(ctx.exception.code, 75)
|
||||
self.assertEqual(self.calls, []) # 自退在认领之前
|
||||
|
||||
def test_code_unchanged_loop_runs_to_max_seconds(self):
|
||||
worker = self._worker()
|
||||
results = worker.run_loop(interval=10, max_seconds=0.4)
|
||||
self.assertEqual(results, [])
|
||||
|
||||
def test_custom_env_key_name_from_arg_and_config(self):
|
||||
# 参数指定的名字出现在报错里(只含名字,不含值)。
|
||||
_insert_task(self.db_path, "A")
|
||||
|
||||
Reference in new issue
Block a user