On en parle beaucoup. désormais. L’ IA (Intelligence Artificielle) ou le Deep Learning ( Apprentissage en profondeur) ou réalités augmentées sont présents partout, à la télé, dans les articles, sur Linkedin.
Mais en pratique que peut on faire réellement en terme de performances ? Acheter la bonne caméra ou le bon logiciel suffit -il ?
Toute utilisation d’analytiques doit répondre à une stratégie et des objectifs précis, sous peine de sombrer rapidement. Il faut également « mouiller la chemise » coté exploitant, et coté performances techniques car sans cela le projet sera difficile à porter à un haut degré d’efficacité et à conserver au travers de la maintenance.
Définition d’un correspondant de l’exploitant chargé du suivi de l’efficacité du projet et de son amélioration, et qui fera l’interface avec les prestataires et fournisseurs de solutions,
Définition d’objectifs limités et facilement mesurables statistiquement,
Mise en place de protocoles de test périodiques avec suivi des faux positifs et stress test sur les possibles faux négatifs notamment en conditions climatiques dégradées (brouillard, neige, orage, canicule..ou mélange de tout cela )
Suivi rigoureux des DOE et des réglages et sauvegardes afin de pouvoir reproduire ou améliorer des réglages, des asservissements, notamment lors des maintenances préventives ou curatives.
Actuellement la grande majorité des licences d’analyse en sureté se concentrent depuis des années sur la détection d’intrusion en périphérie de site avec des caméras thermiques. Plus efficaces en terme de faux positifs que les barrières infra rouge, les caméras thermiques couplées à des logiciels embarqués dans les caméras (edge analytique) ou dans des serveurs dédiés atteignent des taux de détection corrects pour peu qu’on tiennent compte des aléas de réchauffement pouvant atténuer les contrastes de températures.
Le détections « optiques » sont plus complexes car selon les éditeurs d’algorithmes, les résultats dépendront:
de la luminosité (souvent la couleur permet plus de chose que le noir et blanc avec Infra rouge)
du nombre de pixels sur la cible et du niveau de détails (ppm Largeur x Hauteur)
de la netteté ( l’autofocus n’est pas forcement mon ami dans ce cas)
de la qualité du flux analysé quand l’analyse est faite par un serveur ( Résolution, Ips, parfois le GOP, la compression …)
Ajoutons que les toiles d’araignées, les branches, les reflets et les ombres ne facilitent pas non plus la tâche des moteurs d’analyse. D’où l’idée de définir des zones « maitrisées » en luminosité, distance et ppm et bien maintenue avec des matériels qui ne génèreront pas trop d’intempestifs.
Aujourd’hui , on aborde l’un des points les plus essentiels d’un projet vidéo: comment dimensionner un projet pour obtenir à la fois avoir des tailles d’enregistrements corrects, et des vidéo exploitables en extraction et exploitation « Police ».
Nous parlons donc de caméras « stratégiques », auxquelles on affecte une mission de performances au sens de la norme NF EN 62676-4: Identification (250 à 400 ppm) , ou aussi LAPI /VPI pour lecture de plaque (+/- 200 ppm) . Dans l’exemple ci dessous on prend l’exemple d’une caméra de couloir en mode corridor vertical , typiquement en 2 méga pixels ( 9/16 au lieu de 16/9) dont l’objectif n’est pas d’avoir un contexte ou un passage, mais d’avoir surtout un visage identifiable jour nuit en mouvement.
La problématique en vidéo sera que beaucoup de caméras sont livrées réglées en mode « normal », « Kool » , « Contextuel » c’est à dire avec une qualité acceptable tant qu’on ne veut pas une exploitation très exigeante comme « extraire un Jpeg net d’un visage pour une utilisation en commission rogatoire ».
H265 et H264 sont des codecs de compression basés sur des images clés (bonne qualité mais lourdes en bande passante et stockage) et des images calculées / interpolées (uniquement les pixels en mouvement , fluide à l’écran, léger en stockage, mais souvent floues en visu). Les réglages usines des caméras seront le plus souvent pour un résultat contextuel moyen, plutôt optimiste en terme de bande passante. Souvent une image clé toutes les 2 secondes ou toutes les 31 images.
Mais revenons à notre couloir…
Notre caméra étant stratégique, nous ne pouvons rester sur le réglage usine habituel de 1 image clé toutes les 2 secondes habituels chez les constructeurs.. Il nous faut plutot 1 image par seconde au minimum ..Ce qui va impacter à la hausse la bande passante bien sur. Le résultat prime sur la taille du stockage. On sera réglé en qualité « bonne » , 18 image/secondes étant suffisant pour limiter les saccades.
Quand il n’y a personne (90% du temps) , la compression est maximum, le débit est très faible , en plus on a souvent un éclairage minimum qui limite les pixels parasites. Sur une 2 méga pixels, on peut être à moins de 500 Kilo bit/s.
Avec un peu d’activité /mouvement, les débits vont fatalement monter à 700 Kb/s puis 1,5 Mb/s et lors du passage à proximité de la caméra les pixels en mouvements étant nombreux, on va atteindre très ponctuellement 7 Mb/s.
Donc en moyenne 99 % du temps on est entre 500 Kb et 1,5 Mb envoyés sur le disque dur en enregistrement continu , et 1% du temps quand la personne passe devant la caméra on atteint 7mbs.
Le débit moyen de stockage que l’on doit prévoir au niveau du stockage pour cette caméra « stratégique » sera de 1,5 Mb la limite haute pour 99% du temps et on pourra ajouter 30% de sécurité en plus, soit 1,5 *1,3 = +/- 2mb/s.
Le débit limite qui sera entré dans le logiciel Vidéo (VMS ou NVR) devra éviter de faire pixéliser le flux . Donc ici pour éviter de pixéliser et fournir un portrait « police » on entrera une limite au dessus du débit nécessaire pour capter le visage en mouvement, à 8 Mbit/s même si cela ne concerne que 1% du temps, mais c’est potentiellement le moment du passage du délinquant.. Nous ne somme pas là pour économiser 500 Go mais pour garantir un résultat sur quelques camérasstratégiques.
Notez que la bande passante que l’on doit prévoir pour ces caméras est de 8 Mb/s et non pas les 2 à 4 Mb/s donnés par les configurateurs des constructeurs… Il faudra aussi mémoriser tout cela dans le DOE afin de ne pas tout perdre à la première maintenance…
Beaucoup de partenaires , exploitants ou intégrateurs me demande régulièrement des outils utilisables en mode projet: quelles questions poser ? Que doit on éviter d’oublier ? Que devra -t-on contrôler le jour de ‘l’installation et de la levée des réserves ? …Etc
Ce n’est pas simple de synthétiser des années de tests et d’audit en quelques lignes excel, sans tomber dans l’usine à gaz inexploitable, car trop exhaustive.
En effet, il y a des dizaines de paramètres juste pour les caméras, puis autant pour les réseaux , les serveurs, les unités de stockage, les postes de travail pour aboutir à quelque chose de correct en terme de qualité et de sureté: des images exploitables de jour et de nuit grâce à un niveau de détails suffisant !
Voici un exemple des éléments basiques clés à vérifier facilement lors d’une installation ou d’un audit.
En résumé: ma caméra est elle suffisamment bien placée pour sa mission. Voir le ciel ou le soleil n’est pas un bon commencement.. Etre trop loin de la cible avec une focale trop courte , sans possibilité de zoomer, indique qu’on ne pourra pas avoir de détails, surtout la nuit en lumière dégradée. Vérifier que l’on a « environ » une quantité de pixels sur la zone où l’on souhaite des détails (PPM) est un gage de professionnalisme, pour les caméras « stratégiques ».
L’Auto focus est un bon choix quand la lumière jour/nuit ou Infra rouge est correcte et que la cible ne se déplace pas trop vite… Sinon la sanction sera un flou très désagréable. Conclusion: éviter l’auto focus quand on veut une image nette sur une zone donnée, mieux vaut passer en mode « custom » ou manuel. Ce que l’on fait en lecture de plaque pour éviter les ennuis.
On va penser au choix des caméras, aux résolutions, au(x) serveur(s) et à la capacité de stockage dans un projet vidéo. Souvent les aspects réseaux sont négligés, car ce n’est que du réseau et ma foi, on va faire comme en bureautique: la DSI fournira la fibre et le Vlan suffisant. Multicast ? pas de problème, on fait ça depuis des années en Téléphonie et on maitrise grave!
Le Schéma ci-dessous illustre un réseau majoritairement Multicast quand on souhaite distribuer les flux sur de multiples points de réception sans démultiplier la bande passante. Ces architectures sont adaptées quand le réseau est dédié, offrant des débits possiblement maximum si nécessaire.
Alors bien sur, si je fais un article sur ça, c’est qu’évidemment à l’épreuve des faits sur le terrain, une fois tout le monde connecté en pleine charge, les choses ne se passent pas forcement très bien: de fortes latences (>500 ms) , des déconnexions caméras , voire des pertes de serveurs ou coté bureautique des ralentissements, des « time out » que l’on croyait sur le papier impossibles.
Il convient donc de bien préparer deux choses du coté Maitre d’ouvrage, mais aussi du coté Maitre d’Oeuvre qui fournit une partie de l’infrastructure:
Les recommandations d’architectures et de répartition de charge de l’éditeur du logiciel de gestion vidéo, les maximums de débits tolérables par serveur, surtout en pointe lors de recherches et extractions synchronisées multiples , les protocoles de diffusion recommandés (Unicast ou Multicast ou mélange des deux ) architecture centralisée ou décentralisée
Les contraintes imposées par notre réseau et notre gestionnaire interne, si on est sur un réseau partagé: architecture existante, Switchs existant, débits maximum alloués et/ou garantis, emplacement des équipements générateurs de débits en entrée (caméras, switchs POE ) et des points de convergence en exploitation (serveurs et enregistreurs, postes clients, murs vidéo)
En effet, le multicast ne va pas tolérer de réseaux routés ou avec des régles de filtrage de services, car bien trop lents. Le Multicast est aussi accompagné d’une liste importante de prérequis rarement appliqués sur le terrain
Attention, en Unicast aussi, il faut dès le départ savoir, si on travaille en TCP ou en UDP et si le réseau dédié tiendra la charge en cas de relectures rapides synchronisées, que l’on considèrera comme le stress test ultime en vidéo.
Ces points sont abordés dans nos formations Conception de Projets.
« Le diable est donc bien dans les détails, là encore ….! «
La France est un pays qui sur-utilise les caméras motorisées PTZ. Ces caméras, particulièrement couteuses qui, sous prétexte qu’elles peuvent potentiellement voir à 360°, (donc illusoirement voient tout) sont souvent utilisées en pré-positions multiples et rarement plus de 10 secondes par pré-position.
Évidemment, ces caméras ne voient pas grand chose puisqu’elles ne s’arrêtent presque jamais.
Leur seul moment d’utilité réel sera quand un opérateur suivra une cible en direct en exploitant le Joystick et le zoom de la caméra.
Sur un parc de 50, 100 ou parfois 200 Caméras motorisées, une question intéressante sera de se demander combien d’opérateurs j’ai potentiellement à l’instant « t » pour piloter les caméras ?
Sachant que si l’opérateur est sur la caméra 22, très clairement il ne sera plus sur les autres puisqu’une PTZ monopolise l’attention de celui qui l’utilise…
Arithmétique …
Combien de mouvements va effectuer une caméra motorisée sur laquelle on effectue 3 mouvements par minute, soit une préposition toutes les 20 secondes ? ( ce qui est peu quand on voit certains CSU qui en ont 6 à 8 par minute )
4 320 mouvements par Jour,
129 600 mouvements par mois,
1,5 million de mouvements par an,
7,7 millions de mouvements sur 5 ans, (si on est très chanceux)
15,5 millions de mouvements sur 10 ans, mais survivre jusqu’à là, c’est du domaine du rêve !
Les mécaniques vont souffrir énormément et souvent lâcher hors garantie des constructeurs, qui ne prend pas en compte l’usure des parties en mouvement …
Le problème n’est pas de faire forcement des pré positions quand j’ai beaucoup d’opérateurs, mais plutôt de continuer à le faire quand on en a beaucoup moins, notamment la nuit.
L’autre point qui laisse dubitatif en terme d’efficacité est d‘appliquer la même stratégie en pleine journée, qu’en milieu de journée, en fin de journée et la nuit à 22H ou à 2 heures du matin !
Je rappelle à tous qu’une caméra en mouvement rapide permanent consomme une grande quantité de réseau et de disque dur pour un résultat optique peu performant , essentiellement flou de nuit !
Pourquoi ne pas se creuser un peu le crane afin d’optimiser des pré-positions moins nombreuses adaptées à la vie du quartier, avec éventuellement à certains moments de la journée ou de la nuit, des plans fixes !
Entrées et Sorties Ecoles , Ouvertures Commerces, surveillance Abri Bus/Tramway, surveillance de parkings de nuit, surveillance d’entrées de cités ..etc
Mais pas tous en même temps ou n’importe comment !
Une bonne efficacité d’une installation vidéo nécessite de rentrer dans les détails. Très souvent les installateurs vont se contenter dans le meilleur des cas de mettre à jour le firmware, l’adresse Ip et le mot de passe, éventuellement la fréquence à 50 Hertz.
Or la gestion du contre jour, le serveur de temps ou la bascule jour /nuit sont rarement activés selon l’adage : « si c’est comme ça, c’est qu’il y a de bonnes raisons ! »
Évidemment, vous l’avez compris, il n’y a aucune logique argumentée, et il vaut mieux contrôler !
Sinon les résultats optiques seront souvent catastrophiques, surtout la nuit !
Ci-dessous exemple de comparatif à un instant « T », en septembre 2021.
Notez que les utilitaires et les réglages par défaut bougent avec le temps et les versions de firmware des constructeurs. Donc rien n’est jamais figé
Auparavant, avant 2015, les compressions étaient trop faibles, les flux Rtsp non authentifiés, l’audio activé. … Les vieilles installations sont particulièrement remplies de failles et de réglages fantasques !
MAJ Janvier 2023: Le réglages par défaut de plusieurs constructeurs ont changé sur le WDR ….! Rendez vous en formation pour découvrir ce qui a changé
Pour le jeu de mots … On a aussi les Fées mérides.
Sur ce schéma l’illustration des 2 périodes extrêmes en terme de luminosité pour les caméras situées en extérieur et donc soumises aux aléas saisonniers. Tout d’abord le solstice d’été, lumineuse période où les jours sont très longs, pendant lequel les caméras vont moins consommer en terme débits. Avec beaucoup de lumière en effet, moins de pixels parasites et une vision couleur optimum, mois de flou car un temps d’exposition plutôt court, comme en photographie.
Son pendant, sera le solstice d’hiver avec des jours qui raccourcissent quotidiennement jusqu’à atteindre 8h15 de jour, ce qui en heure d’hiver nous amènera la nuit vers 16H.
En vidéo, il conviendra de mettre à l’heure GMT +1 Paris, nos caméras et nos enregistreurs en indiquant également les jours de passage en heure d’été ou d’hiver pour éviter le bazar des changements d’heures.
Certaines horloges dérivent avec le temps, il faudra alors recaler le système vidéo avec un serveur de temps local chez le client Windows (NTPS : Net Time Protocol Server) ou bien un NTPS dédié callé sur le fuseau horaire par une antenne GPS.
Si on veut éviter d’attendre trop longtemps (ou jamais) le passage des caméras en noir et blanc avec Infra rouge, il sera fortement recommandé de forcer les caméras à basculer en mode nuit. En effet, beaucoup de constructeurs proposent des caméras qui peuvent voir en couleur avec quasiment aucune lumière – du moins sur le papier. Résultat , ces caméras restent en couleur toute la nuit, mais ont de vrai problème pour filmer un visage ou une plaque d’immatriculation en mouvement sans générer de flou.
On aura, au final, trois principales stratégies en extérieurs nuit:
Laisser la caméra choisir de rester en couleur ou noir et blanc , le mode « Auto » , automatique, de bascule. La caméra décide ou pas de basculer selon la lumière ambiante. Pas de stratégie correspondant dans ce cas à une stratégie, mais c’est souvent ce qu’on trouvera par défaut sur le terrain: du hasard ! Si on veut avoir des images nettes et ne pas trop consommer , c’est peu conseillé. En CSU (Centres de Sureté Urbains) les caméras motorisées (PTZ) sont souvent volontairement laissées en couleur pour la gestion temps réel des détails par les opérateurs, mais hélas les caméras fixes le sont aussi !
Obliger la caméra à basculer sur un mode de programmation horaire, basé sur l’heure GMT de la caméra, tenant compte de l’heure d’été et d’hiver . Par exemple, tous les soirs , basculer à 21 Heures en noir et blanc et avec Infra rouge si la caméra en possède. C’est, cette fois ci un peu brutal, car pendant les 6 mois d’heures d’été , beaucoup de soirées seront encore très lumineuses à 21 Heures.. Cela aura le mérite d’économiser pas mal de bande passante et d’avoir des vues plus nettes en mouvement. Qui dit infra rouge , dit toile d’araignées et donc une maintenance préventive sérieuse et suivie.
Sur les gros systèmes de type VMS, certains logiciels vidéo peuvent être couplés à un logiciel gérant les éphémérides, c’est à dire gérer précisément les heures de luminosités, au jour le jour, selon les cycles de rotation de la terre autour du soleil. Le logiciel VMS dans ce cas, peut envoyer aux caméras concernées une commande CGI à travers le réseau demandant le passage en noir et blanc 30 minutes avant la fin précise du jour – de façon à anticiper – cette période complexe où la caméra manquant de lumière, essaie de rester en couleur , mais sans être très performante.
Pour être complet un 4 eme mode est cependant disponible , en couplant la caméra à une cellule photo électrique par des contacts secs (Dry contacts, Digital Inputs). Certains projecteurs infra rouge externes possèdent des détecteurs de luminosité qui peuvent activer la caméra en mode nuit par ce contact filaire. Attention, ne marche que si la caméra possède cette option de DI, toutes ne l’ont pas.
Buffer Overflow : un grand classique des grosses installations vidéo
Avec la multiplication des caméras, des caméras multi capteurs et des « grosses » résolutions ( 4, 5 ou 8 MP) les installations sont confrontées à de nouveaux problèmes: là où on gérait auparavant 30 ou 50 caméras 1 ou 2 MP pour environ 90 méga pixels , on a désormais 80 ou 100 caméras pour 250 méga pixels ! Ce ne sont plus les mêmes serveurs, ni les mêmes disques, ni les mêmes switchs ou cartes graphiques pour gérer ces masses de débits disparates et continus.
Or chaque équipement informatique possède une mémoire tampon destinée à saisir et stocker rapidement l’information entrante ou sortante avant de la transmettre.
Cette mémoire peut être saturée si elle est :
Trop petite face à une arrivée massive de data multiples (flux vidéo 1, 2, PTZ..)
Trop lente en sortie, car appliquant par exemple des contrôles de réception,
Saturée, car n’arrivant pas à se vider suffisamment rapidement ou tente de communiquer vainement avec des équipements eux mêmes saturés
Le Buffer Overflow représente le dépassement de la mémoire tampon de l’équipement et la perte de paquets, symbolisé ci dessous par des entonnoirs trop larges pour le tuyau et qui vont déborder. En vidéo , elle se traduit par des dysfonctionnements:
Pertes de flux aléatoires au niveau du serveur
Pertes d’enregistrements (on a le début mai pas la fin)
Problèmes de latences qui s’accentuent jusqu’à ce que le flux fige brutalement
Pixélisation …etc.
L’overflow peut être provoqué par des opérations stressantes en vidéo qui vont générer un afflux temporaires de données sur des mémoires déjà passablement encombrées: recherches synchronisées multi caméras en vitesse rapide ….
Ces éléments sont abordés par JustDoIp en formation technique et lors des audits de performances.
Just Do IP teste actuellement plusieurs solutions basées sur l’IA ou le Deep Learning soit avec des algorithmes embarqués dans des caméras, soit sous forme de serveurs dédiés.
Vous avez ci dessous les principales problématiques résumées. Parmi les principales: peut on détecter automatiquement des personnes ou véhicules immobiles, et peut on détecter quand on a qu’une fraction masquée de la cible ?
D’autres critères comme la facilité de mise en œuvre et d’auto calibration, l’ergonomie de l’interface utilisateur, son intégration avec les VMS et Hyperviseurs du marché, la résistance / résilience à la saleté, aux insectes et aux végétaux et enfin la facilité de maintenance logicielle du système, car il faut pouvoir évoluer aisément.
Ci dessous test en live avec double détection en mouvement. Sans mouvement ou sur une vue partielle l’algorithme dans la version testée ne détectait pas.
Les véhicules à gauche et devant en partiel ne sont pas détectés. Une main, un avant bras ou une tête seule non plus.
Au stade actuel, aucun éditeur ou constructeur ne se risque à déclarer un 95% ou, à fortiori un 100%.
Peu de sociétés ont le temps et l’argent de tester en conditions de « stress test » les équipements, c’est à dire en faible luminosité ou en noir et blanc avec infra rouge, sous la pluie, et avec une toile d’araignée sur l’objectif.
Néanmoins, je constate que les faux positifs basiques sur végétaux en mouvement (branches, feuillus) ont tendance à disparaitre sur les derniers modèles d’analytiques.
Certaines caméras récentes équipées de Led blanches éclairent la scène dès que la luminosité baisse afin d’appliquer de la reconnaissance humaine ou véhicule et avec de très bons résultats. Elles peuvent émettre des messages pré enregistrés (« Périmètre privé veuillez quitter les lieux.. » ) , des lumières stroboscopiques ou clignotantes… Rester en couleur permet généralement de meilleurs résultats.
Un point important est qu’il est impossible de connaitre généralement la qualité d’apprentissage du « Deep learning » qui a été effectuée part l’éditeur ou le constructeur : a t on alimenté l’algorithme avec d’innombrables situations de l’objet et beaucoup de variations de luminosités pour décrire un véhicule ou un visage ou une arme , ou bien a t on entré des images de type « catalogues » , belles et hyper reconnaissables mais éloignées de la réalité ?
VMD, VCA, Machine Learning, Deep Learning et IA sont abordés et illustrés par des exemples dans nos formations avec leurs forces et leurs limites
De l’importance des Taux de transfert dans le stockage IP …
Eh oui, on apprend de façon continue. Une intervention récente en Audit m’a demandé de réactualiser mes connaissances sur les systèmes de stockage recommandés en IP quand on commence à avoir pas mal de caméras (+/- 30) des débits d’enregistrement un peu conséquents (REC 200 Mb/s) avec des résolutions méga et ultra pixels (2, 3, 5 et 12MP) – évidemment bien au delà des 4 CIF de l’arrêté de 2007. I
Quand vos enregistrements n’atteignent même pas l’unité de stockage, non du fait du réseau, mais d’un overflow purement d’octets entre un serveur vidéo et un enregistreur pourtant très performant sur le papier. Trouver le coupable demandera un petit travail façon Columbo, mais sans l’aide de sa femme..!
En effet, certains RAID ne sont pas du tout recommandés par certains éditeurs, toutes les cartes contrôleurs ne se valent pas, certains disques vendus pour la Vidéo protection sont particulièrement .. lents, (si, si ) les mémoires tampons et les tailles de blocs de formatage ou de bandes RAID sont particulièrement primordiaux pour atteindre de bonnes performances ..!
Ci-dessous, l’une des slides ajoutées à nos supports de cours destinées aux concepteurs (VID) mais aussi aux techniciens (CME)
