Trois semaines pour comprendre comment un programme "voit" une interface et prend des decisions a partir d'une image.
Clash of Clans est un jeu mobile ou de nombreuses actions se repetent : collecter des ressources, lancer des troupes, surveiller les timers. L'idee de ce projet educatif etait d'automatiser ces actions en Python, en utilisant uniquement ce que le programme peut "voir" : des captures d'ecran analysees avec OpenCV.
Pas de hacking de memoire, pas d'API non officielle : juste du template matching pour reconnaitre les elements de l'interface, et de l'automatisation de clics basee sur les coordonnees des elements detectes. Un exercice concret de computer vision appliquee.
Ce projet a ete realise a des fins educatives uniquement. Son code est public sur GitHub pour que les techniques documentees servent a apprendre.
La boucle principale capture l'ecran, compare chaque region d'interet contre des templates (images de reference des boutons/icones du jeu), puis declenche l'action correspondante si la similarite depasse un seuil.
Comparaison de regions d'image contre des templates de reference avec seuillage adaptatif pour gerer les variations de resolution et d'eclairage.
Simulation de clics aux coordonnees detectees, gestion des sequences d'actions et des etats de jeu via une machine a etats simple.
Caching des templates, ROI pour ne pas analyser l'image entiere a chaque frame, threading pour ne pas bloquer la capture.
Le template matching avec OpenCV m'a appris un concept fondamental de la computer vision : la robustesse d'un algorithme de reconnaissance se mesure a sa capacite a gerer les variations inattendues. En jeu, les elements peuvent etre partiellement masques, legerement redimensionnes, ou eclaires differemment. Gerer ces cas m'a conduit a comprendre les techniques de seuillage adaptatif et de recherche multi-echelle.
J'ai aussi compris pourquoi les approches de deep learning ont largement remplace le template matching dans les applications modernes : la robustesse aux variations est beaucoup plus facile a obtenir avec un modele entraine qu'avec des heuristiques manuelles.