La Fondation de l'intelligence visuelle

Parmi les outils mathématiques qui sous-tendent les algorithmes de vision modernes, la fonction sinusale occupe une position uniquement puissante. Sa nature périodique, sa relation précise avec les angles et les cercles et son rôle dans l'analyse de fréquence le rendent indispensable pour des tâches allant de la détection des bords à la reconstruction 3D. Cet article explore pourquoi sinus n'est pas seulement une note de bas de page dans les manuels de vision informatique, mais un bloc de construction fondamental qui permet aux machines de voir, d'interpréter et d'interagir avec le monde visuel.

Comprendre la fonction du sinus dans le contexte

La fonction sinusoïdale, souvent appelée sin(-), est définie comme le rapport du côté opposé à l'hypoténuse dans un triangle droit pour un angle donné -. S'étendant au cercle unitaire, sinus représente la coordination y d'un point se déplaçant autour d'un cercle, produisant une forme d'onde régulière et lisse qui répète tous les radians 2π. Cette périodicité, propriété de valeurs répétées à intervalles réguliers, rend sinusoïdale unique pour modéliser les oscillations, les ondes et le mouvement circulaire.

Dans la vision informatique, les images sont traitées comme des signaux discrets : chaque pixel est un échantillon d'intensité sur une grille bidimensionnelle. Tout comme un signal audio unidimensionnel peut être décomposé en ondes sinusoïdales de fréquences différentes, une image bidimensionnelle peut être analysée en utilisant des fonctions de base sinus et cosinus. Cette décomposition est au cœur de nombreuses opérations de base, du filtrage à la compression.

Les principales propriétés du sinus qui sont utilisées dans les algorithmes de vision sont les suivantes :

  • Périodicité: Permet la modélisation de motifs, textures et structures répétitifs dans les images.
  • Orthogonalité: Les fonctions sinus et cosinus sont orthogonales sur un intervalle, ce qui simplifie les transformations mathématiques.
  • Lisseté: Les ondes sinusoïdales sont continues et différenciables, permettant un calcul numérique stable.
  • Phase et amplitude: Ces paramètres contiennent des informations sur l'emplacement et la force des caractéristiques dans le domaine de la fréquence.

La fonction du sinus comme base pour tous les signaux

Une des conséquences les plus puissantes des propriétés sinusoïdales est que tout signal périodique, ou, avec une manipulation appropriée, tout signal de durée finie, peut être exprimé comme une somme d'ondes sinus et cosinus. C'est l'idée centrale derrière l'analyse de Fourier. Dans la vision informatique, cela signifie que la structure d'une image peut être comprise non seulement en regardant les valeurs de pixel mais en examinant les amplitudes et les phases des composants sinusoïdaux qui ensemble reconstruisent l'image.

Ce changement de perspective est critique. Au lieu d'essayer de détecter les bords directement dans le domaine spatial, un algorithme peut fonctionner dans le domaine de fréquence où les bords correspondent à l'énergie haute fréquence.

Sine dans le filtrage d'images et les transformations

Analyse de domaine de fréquence et transformation de Fourier

La transformée discrète de Fourier (DFT) et sa mise en œuvre rapide, la transformation de Fourier rapide (FFT), sont les chevaux de travail du traitement d'image de domaine de fréquence. Chaque coefficient de la transformation de Fourier représente la contribution d'une onde spécifique sinus et cosinus à une fréquence et une orientation particulières.

où le complexe exponentiel e‐j- = cos(γ) – j sin(γ) intègre directement la fonction sinusoïdale. Chaque application de la DFT ou de la FFT, que ce soit pour la convolution, la corrélation ou l'analyse spectrale, fait des calculs sinusoïdaux comme son noyau calculateur.

  • Accélération de la convolution: La convolution dans le domaine spatial devient une multiplication ponctuelle dans le domaine de fréquence. Grâce à FFT, cela réduit la complexité de O(N2) à O(N log N), permettant le filtrage en temps réel sur des images à haute résolution.
  • Compresse d'image (JPEG): La transformation discrète de la cosine (DCT), un proche parent des transformations à base de sinus, concentre l'énergie visuelle en coefficients de basse fréquence. La quantification rejette ensuite les composants perceptuels de haute fréquence moins importants. Sans les fonctions de base sinus/cosine, l'efficacité de JPEG serait inaccessible.
  • Modèle correspondant à : La corrélation croisée dans le domaine de fréquence permet de créer une corrélation de phase sinusale pour localiser les modèles, indépendamment des variations de traduction ou d'éclairage.

Lien externe: Transformer rapidement Fourier – Wikipedia

Filtres Gabor : Détection des bords modérés

Parmi les filtres les plus réussis, le filtre Gabor, qui est constitué d'une enveloppe gaussienne multipliée par une onde sinusoïdale (ou cosinus).

où x' = x cos φ + y sin , y' = –x sin φ + y cos λ est la longueur d'onde (échelle), λ est l'orientation, φ est l'offset de phase, λ est l'écart-type de l'enveloppe gaussienne et γ est le rapport d'aspect spatial.

Les filtres Gabor sont particulièrement efficaces pour détecter les bords et les textures car ils répondent fortement aux bords qui correspondent à la fois à la fréquence et à l'orientation du composant sinus. Ils sont utilisés de manière intensive dans:

  • Reconnaissance de l'empreinte digitale : Les filtres Gabor capturent les patrons de crête à de multiples échelles et orientations.
  • Reconnaissance faciale: Les caractéristiques locales de Gabor fournissent une robustesse à l'éclairage et aux changements d'expression.
  • segmentation des textures: Les banques de filtres Gabor décomposent une image en vecteur de fonctionnalités pour la classification.

La fonction sinusoïdale du filtre Gabor fournit la sélectivité pour la fréquence spatiale et l'orientation, tandis que la fenêtre gaussienne localise l'analyse. Cette combinaison est fondamentale pour de nombreux pipelines de vision de pointe.

Lien externe: Filtre Gabor – Wikipédia

Dénonciation et amélioration de l'image

De nombreuses techniques de réduction du bruit fonctionnent dans le domaine de la fréquence en atténuant ou en éliminant les composants sinusoïdaux qui correspondent au bruit. Par exemple, un simple filtre encoche peut supprimer le bruit périodique (p. ex., des interférences électriques) en éliminant des composants sinusoïdaux spécifiques.

En perfectionnement, les filtres sinusoïdaux peuvent aiguiser les images en amplifiant le contenu haute fréquence. Le filtre Laplacien de Gaussian (LoG) n'est pas directement une fonction sinusoïdale mais est souvent implémenté dans le domaine de fréquence en utilisant des transformations sinusoïdales pour détecter les passages zéro aux bords.

Sinus en vision 3D et géométrie

Triangulation et profondeur stéréo

Les systèmes de vision stéréo calculent la profondeur en appariement des points entre deux vues de la caméra et utilisent ensuite des relations trigonométriques.

où d est la disparité (pixel offset) et f est la longueur focale. Les angles nécessaires pour la triangulation impliquent des calculs sinus (et cosinus) lors de la résolution pour les coordonnées dans l'espace 3D. Plus généralement, la géométrie épipolaire qui limite la correspondance stéréo dépend du sinus des angles entre les rayons. La matrice fondamentale, qui code la pose relative entre les caméras, est dérivée de ces relations trigonométriques.

Dans la structure du mouvement (SfM) et de la SLAM visuelle, la fonction sinusale apparaît dans la formulation des matrices de rotation et dans l'optimisation des poses de caméra. Chaque fois qu'un algorithme calcule l'erreur angulaire entre une caractéristique prédite et observée, il utilise sinus (ou son dérivé) dans le jacobin.

Représentations de rotation et sinus

Décrire l'orientation d'une caméra ou d'un objet dans l'espace 3D implique inévitablement le sinus et le cosinus. Les trois représentations les plus courantes intègrent toutes le sinus :

  • Angles d'Euler: Chaque axe de rotation utilise une matrice de rotation impliquant cos(γ) et sin(γ). Par exemple, une rotation autour de l'axe X par angle γ est:
    Autresx(γ) = [[1, 0, 0], [0, cosγ, –sinγ], [0, sinγ, cosγ]].
  • Formule Rodrigues: Compte tenu de l'axe unitaire k et de l'angle φ, la matrice de rotation est calculée en utilisant le sinus de φ comme terme clé.
  • Quaternions: Bien que les quaternions évitent les singularités des angles d'Euler, leur conversion en matrices de rotation implique toujours le sinus et le cosinus du demi-angle.

Dans l'enregistrement des nuages point (p. ex. ICP) et l'estimation de la pose de caméra (p. ex. PnP), les algorithmes minimisent les erreurs sur ces paramètres trigonométriques.

Sinus dans l'apprentissage automatique et l'apprentissage profond

Fourier Caractéristiques pour les réseaux de coordination

Une percée dans le rendu neuronal (NeRF) et les représentations implicites a été l'utilisation de la cartographie des fonctionnalités de Fourier. Au lieu de nourrir les coordonnées brutes (x, y, z) à un perceptron multicouche (MLP), l'entrée est d'abord cartographiée par un ensemble de fonctions sinus et cosinus à plusieurs fréquences:

Cette cartographie permet au MLP de représenter des détails à haute fréquence dans des scènes 3D (par exemple, textures, structures minces) qui seraient autrement lissées. La fonction sinusale fournit la base périodique nécessaire pour capturer les variations à de nombreuses échelles. Cette technique est maintenant standard dans la reconstruction 3D basée sur la vision à partir de photographies.

Encodages positionnels dans les transformateurs

Les transformateurs de vision (ViT) et les autres architectures de transformateurs pour les images utilisent des encodages positionnels sinusoïdaux pour conserver les informations spatiales. Comme dans le papier de transformateur original, l'encodage pour la position pos et la dimension i est :

Ces encodages sinusoïdaux permettent au modèle d'apprendre les relations de position relatives car le produit point de deux encodages positionnels dépend de la différence de position (due à des formules d'addition sinus/cosine). Sans sinus, les transformateurs n'auraient pas une notion intégrée de structure spatiale et leur adaptation aux images serait beaucoup moins efficace.

Lien externe: L'attention est tout ce dont vous avez besoin – Vaswani et al.

Fonctions d'activation et régularisation

Bien que moins courantes, certaines architectures réseau neuronales ont expérimenté des fonctions d'activation sinusoïdale (p. ex., réseaux de représentation sinusoïdale – SIREN). Ces réseaux utilisent comme fonction d'activation, qui préserve naturellement les informations à haute fréquence et est bien adapté pour représenter des signaux continus tels que les images, les formes audio et 3D. L'activation sinusoïdale et la douceur offrent également une dynamique d'entraînement unique.

Efficacité informatique et impact réel sur le monde

Calculs Sinus optimisés

La vision en temps réel de l'ordinateur exige que les calculs sinusaux soient effectués extrêmement rapidement. Le matériel moderne exploite des tables de recherche, des algorithmes CORDIC (Coordinated Rotation Digital Computer) et des instructions SIMD vectorielles (p. ex. Intel MKL, CUDA) pour calculer sinus avec une latence minimale. Le FFT lui-même est un exemple privilégié d'optimisation algorithmique : en réutilisant des valeurs sinus/cosine (facteurs de déplacement), le calcul d'un DFT N‐point est réduit de O(N2) à O(N log N).

Les systèmes de vision embarqués, comme ceux des drones, des smartphones et des véhicules autonomes, sont basés sur ces implémentations sinusoïdales optimisées pour la détection des bords, l'extraction des fonctionnalités et l'odométrie visuelle à 30–60 images par seconde.

Applications dans les industries

  • Imagerie médicale : Les algorithmes de reconstruction de la CT et de l'IRM utilisent des transformations de Fourier (à base de sinus/cosine) pour convertir les données brutes du capteur en images diagnostiques.
  • Conduite autonome: La détection des voies par caméra, la reconnaissance des signaux de circulation et l'estimation de la profondeur dépendent tous du filtrage de la fréquence et de la géométrie trigonométrique.
  • La réalité augmentée : Placer des objets virtuels dans le monde réel exige une estimation précise de la pose de la caméra et une compréhension de la scène, tous deux alimentés par des transformations sinusoïdales.
  • Imagerie par satellite: La télédétection utilise l'analyse de Fourier pour l'enregistrement des images, la détection des changements et le traitement des radars à ouverture synthétique (SAR).

Conclusion

La fonction sinusoïdale n'est pas une curiosité mathématique abstraite; c'est un outil pratique et à fort impact qui imprègne toutes les couches de la vision moderne de l'ordinateur. De la décomposition de fréquence de bas niveau dans les filtres au raisonnement géométrique de haut niveau dans la reconstruction 3D, sinus fournit la structure mathématique nécessaire pour représenter et manipuler l'information visuelle. Sa combinaison de périodicité, d'orthogonalité et de douceur la rend indispensable pour des algorithmes efficaces, et son rôle continue de s'étendre avec des avancées dans l'apprentissage profond et les représentations neurales.

Pour plus de détails, explorez la Fourier optique les principes qui sous-tendent la formation d'images ou papier filtre gaborique original pour un traitement mathématique plus profond.