Gestion d'un traitement automatisé journalier

Mise en situation : chaque jour, mes calendriers Google, les bases de données de mes sites et pleins d'autres choses sont sauvegardés sur une autre machine. Le but est qu'en cas de problème sur le serveur j'ai toujours une sauvegarde récente (moins de 24 heures dans ce cas).

La solution est relativement simple, j'ai développé des scripts qui récupèrent les flux ou une copie des bases, scripts qui sont lancés par une crontab classique (qui exécute des tâches automatiquement, pour ceux qui ne connaissent pas Unix). Cela fonctionne bien, mais...

Un problème surgit : parfois il arrive que le système automatisé se grippe. La crontab ne fonctionne plus, un administrateur vire une de mes tâches qui est trop longue à son goût (sans me prévenir en plus), une adresse internet change, un serveur est inaccessible par moment. Bref, il faut surveiller les processus automatiques!

La seconde solution est de surveiller les erreurs survenant (dans PHP c'est très facile), et de prévenir par courriel (par exemple) qu'un problème est survenu. Mais cette surveillance est elle même un processus automatisé, qu'il faudrait surveiller. On se mord la queue!

Une idée de résolution est d'avoir un système central qui reçoive les messages de surveillances, les rapports d'erreurs, et que ce système s'assure qu'il reçoit également régulièrement un message de test en provenance de chaque processus surveillé. Ainsi on ne doit surveiller qu'un seul automatisme, et tant que celui ci fonctionne tous les autres peuvent être considérés comme ok.

Conclusion, je n'ai plus qu'à mettre tout cela en œuvre :-)