fix: worker 代码变化自退 + 部署时清孤儿 worker

2026-10-27 暂存清理实弹:05:51 的旧 docker worker 成孤儿后
继续用旧代码抢任务、按老路失败且不删暂存;autoscaler 用
start_new_session=True 拉 worker、部署重启杀不到非 unit 进程。

两层修:
1. worker 常驻循环每轮边界比对 worker.py 文件签名
   (mtime_ns + size),部署换目录后必变,变了就以 75
   (EX_TEMPFAIL,失败类)退出——检查点在轮次边界,绝不
   中断在跑任务。退出后:unit 托管的由 systemd on-failure
   重拉新版,autoscaler 托管的由 reconcile 重拉,孤儿直接
   消失。附带好处:以后部署不用再手动重启本地 worker。
2. host_deploy.sh 换目录后、启动服务前清孤儿:按 cgroup
   过滤杀非 .service 的 cloud.worker 进程(桥接修补前就存
   在的孤儿),先 TERM(跑完当前任务再退),30 秒未退的
   再 KILL;unit 托管的(如 host-1)不动。pgrep 用
   [c]loud.worker 写法,避免检查命令自匹配。

测试:test_worker.py 新增 2 个(签名变了则 75 退出且不认领、
签名不变则跑到 max_seconds);反向验证:撤掉 worker 修复
时正好前者变红。清扫过滤器主机干跑:两个现役 worker 均
为 unit cgroup,全 KEEP,杀 0 个。全量 deploy 19、host
62、cloud 619 全过。
This commit is contained in:
host committed 2026-10-27 11:23:49 +08:00
1 parent c007fafcc7
commit 57f8852634
3 files changed
+86

No files matched your search

+18
View File
@@ -539,6 +539,24 @@ class WorkerTestCase(unittest.TestCase):
self.assertEqual(result["status"], "failed")
self.assertFalse(os.path.exists(bundle_dir))
# -- 代码变化自退 ------------------------------------------------------
# 2026-10-27 实弹:05:51 的旧 docker worker 成孤儿后继续用旧
# 代码抢任务。常驻循环每轮边界比对 worker.py 签名,变了就退
# 出(75,失败类,supervisor 重拉新版),绝不中断在跑任务。
def test_code_changed_exits_loop_before_claiming(self):
worker = self._worker(
runner=self._recording_runner(_completed_runner))
worker._code_signature = ("stale-signature",)
with self.assertRaises(SystemExit) as ctx:
worker.run_loop(interval=10, max_seconds=30)
self.assertEqual(ctx.exception.code, 75)
self.assertEqual(self.calls, []) # 自退在认领之前
def test_code_unchanged_loop_runs_to_max_seconds(self):
worker = self._worker()
results = worker.run_loop(interval=10, max_seconds=0.4)
self.assertEqual(results, [])
def test_custom_env_key_name_from_arg_and_config(self):
# 参数指定的名字出现在报错里(只含名字,不含值)。
_insert_task(self.db_path, "A")