Qu'est-ce que le traitement du langage naturel?

Contrairement à la programmation traditionnelle qui repose sur des entrées rigides et structurées, la NLP traite de la nature désordonnée, riche en contexte de la parole et de l'écriture quotidiennes. En combinant linguistique, modélisation statistique et apprentissage profond, les systèmes NLP peuvent lire un tweet, traduire un paragraphe, résumer un document juridique ou poursuivre une conversation avec un client.

Le domaine a connu une croissance explosive depuis l'introduction d'architectures de transformateurs comme BERT et GPT. Ces modèles peuvent apprendre des modèles de langage complexes à partir de corpus de texte massif, permettant des percées dans la traduction automatique, l'analyse des sentiments et la réponse aux questions. Aperçu du NLP d'IBM- Oui.

Les différences entre les NLP et les programmes traditionnels

Le langage humain, par contre, est ambigu, idiomatique et souvent incomplet. La même phrase peut signifier différentes choses basées sur le ton, le contexte ou l'intention de l'orateur. Les systèmes NLP doivent gérer cette variabilité en modélisant les distributions de probabilités sur les mots et les séquences, ce qui explique pourquoi l'apprentissage profond – en particulier les réseaux neuronaux récurrents (RNN) et les transformateurs – est devenu l'approche dominante.

Tâches essentielles de la NLP

Le NLP n'est pas une seule capacité mais une collection de tâches interdépendantes, chacune résolvant un morceau spécifique du puzzle de compréhension du langage. Voici les tâches les plus importantes, avec des explications et des cas d'utilisation pratique.

Classement des textes

La classification textuelle attribue des catégories prédéfinies à un texte. Les applications courantes comprennent la détection de spam (classification des courriels comme spam ou non), l'étiquetage thématique (articles de nouvelles en sections) et la reconnaissance d'intention pour les chatbots. Bien que les méthodes traditionnelles utilisent des naïfs ou des machines vectorielles de soutien, les systèmes modernes reposent sur des modèles de transformateurs à réglage fin comme BERT ou RoBERTa.

Reconnaissance de l'entité désignée (NER)

Le NER identifie et classe les entités dans le texte comme les noms de personnes, les organisations, les lieux, les dates, les valeurs monétaires et les noms de produits. Il est essentiel pour l'extraction de l'information et la construction de graphiques de connaissances. Par exemple, un agrégateur de nouvelles utilise le NER pour extraire des acteurs clés et des lieux de centaines d'articles par jour. Google Cloud Langue naturelle offrir des modèles de RNE pré-formés qui peuvent être personnalisés pour des domaines spécifiques comme les soins de santé ou les finances.

Analyse des sentiments

L'analyse du sentiment détermine le ton émotionnel derrière le texte — positif, négatif ou neutre — et peut détecter des émotions plus fines comme la colère, la frustration ou la satisfaction. Les entreprises l'utilisent pour surveiller la réputation de la marque en analysant les messages des médias sociaux, les examens de produits et les réponses aux sondages.

Traduction automatique

Les systèmes modernes de MT, tels que Google Translate et DeepL, utilisent des modèles neuraux séquence-séquence avec des mécanismes d'attention. Ces systèmes ont atteint une maîtrise quasi-humaine pour les paires de langues à haute ressource (par exemple, l'anglais au français). Cependant, ils continuent de lutter contre les langues à faible ressource, le jargon spécifique au domaine et les expressions idiomatiques.

Reconnaissance de la parole (ASR)

La reconnaissance automatique de la parole (ASR) transforme la langue parlée en texte. L'ASR alimente les assistants vocaux, les services de transcription et les outils d'accessibilité. Les progrès récents dans l'apprentissage profond de bout en bout – comme le Whisper d'OpenAI et l'USM de Google – ont permis d'atteindre des taux d'erreur de mots inférieurs à 5 % dans des conditions audio propres.

Résumé du texte

La synthèse de texte produit une version concise d'un document plus long tout en préservant les points clés. Il existe deux approches principales : la synthèse extractive sélectionne les phrases importantes mot à mot, tandis que la synthèse abstraite génère de nouvelles phrases qui paraphrasent le contenu. Les applications d'entreprise comprennent un résumé des rapports financiers, des contrats juridiques, des documents scientifiques et des tickets de soutien à la clientèle.

Réponse aux questions (QA)

Les systèmes d'AQ répondent aux questions posées en langage naturel en fonction d'un contexte ou d'une base de connaissances fournis. L'AQ du domaine fermé se concentre sur des sujets spécifiques (p. ex. diagnostic médical à partir des dossiers des patients), tandis que l'AQ du domaine ouvert peut gérer les connaissances générales.

Résolution de référence

La résolution de coréférence détermine quand deux ou plusieurs expressions du texte se réfèrent à la même entité (p. ex., « Dr Smith » et « lui »). Cette tâche est essentielle pour la compréhension du discours, l'extraction de l'information et la compréhension de la lecture automatique.

Extraction de la relation

L'extraction de relation identifie les relations sémantiques entre les entités dans le texte. Par exemple, à partir de "Apple acquis Beats en 2014," un système d'extraction de relation sortirait (Apple, acquis, Beats, time:2014). Cette tâche est la clé pour construire des graphiques de connaissance et de populer des bases de données pour répondre aux questions et les systèmes de recommandation.

Applications des NLP dans le monde réel dans les industries

Le NLP n'est pas seulement une discipline académique, il alimente des produits et des processus qui touchent presque tous les secteurs de l'économie.

Chatbots et assistants virtuels

Les appareils comme Amazon Alexa, Apple Siri et Google Assistant utilisent un pipeline de reconnaissance vocale, NLU et la gestion du dialogue pour comprendre et répondre aux commandes vocales. Dans le service client, les chatbots NLP gèrent le support de niveau 1, les demandes de réservation et les réponses aux questions fréquentes, et traitent jusqu'à 80% des requêtes courantes.

Soins de santé et PNL clinique

Le PNL révolutionne les soins de santé en extrayant les diagnostics, les médicaments et les résultats de notes cliniques non structurées. Il aide à identifier les cohortes de patients pour les essais cliniques, à coder automatiquement le CIM-10 et à détecter les effets indésirables des médicaments de la littérature médicale et des médias sociaux.

Analyse des documents juridiques

Les cabinets d'avocats et les services juridiques des entreprises utilisent la NLP pour examiner les contrats, identifier les clauses à risque et effectuer la découverte électronique. La NER peut indiquer les parties, les dates et les obligations, tandis que la synthèse de texte réduit le temps nécessaire pour comprendre les documents longs.

Services financiers

Les banques et les entreprises d'investissement déploient des NLP pour analyser les sentiments des nouvelles et des appels de gains afin d'informer les stratégies de négociation, de détecter les transactions frauduleuses dans les descriptions narratives et d'automatiser la conformité réglementaire. La classification textuelle trie les courriels des clients dans les catégories de plaintes (p. ex., facturation, fraude, problèmes de service), tandis que le NER extrait des entités financières comme les symboles de tique et les montants de devises.

Commerce de détail et commerce électronique

Les moteurs de recherche sémantiques comprennent les requêtes des utilisateurs au-delà de la correspondance par mots-clés (« chaussures de course abordables pour pieds plats » plutôt que simplement « chaussures de course »). L'analyse du sentiment sur les évaluations des clients identifie les forces et les faiblesses des produits, améliore la conduite.

Éducation et apprentissage en ligne

Des outils comme Duolingo et Grammaire permettent de tirer parti des NLP pour corriger instantanément la grammaire, suggérer le vocabulaire et évaluer les compétences. Les plateformes éducatives génèrent des résumés des transcriptions de conférences, créent des quiz interactifs et donnent des commentaires personnalisés sur les essais des étudiants.

Gouvernement et secteur public

Les organismes de renseignement appliquent le PNL pour surveiller l'information libre et traduire le contenu en langue étrangère. Pendant la pandémie de COVID-19, le PNL a été utilisé pour regrouper les documents de recherche et répondre aux questions des cliniciens par l'entremise de systèmes comme le CORD-19. Les capacités multilingues sont essentielles pour servir diverses populations.

Pourquoi le NLP compte pour la technologie moderne

En déverrouillant les informations piégées dans des textes non structurés, qui représentent environ 80 % des données d'entreprise, les organisations acquièrent des connaissances pratiques, améliorent la prise de décisions et personnalisent les expériences des utilisateurs à grande échelle. Les NLP améliorent également l'accessibilité : la reconnaissance vocale aide les malentendants, le texte à la parole aide les malvoyants et les outils de simplification linguistique aident les personnes ayant des déficiences cognitives.

Dans les affaires, NLP automatise des processus à forte intensité de main-d'oeuvre comme la saisie de données, l'examen des contrats et le soutien à la clientèle, ce qui permet d'économiser des coûts et d'accélérer les délais de réponse.

Défis et limites des NLP

Malgré des progrès rapides, les systèmes NLP sont loin d'être parfaits. Voici les défis les plus pressants auxquels sont confrontés les chercheurs et les praticiens aujourd'hui.

Ambiguïté et contexte

Les mots et les phrases ont souvent plusieurs interprétations selon le contexte. « J'ai vu son canard » pourrait signifier l'animal ou l'action. Résoudre une telle ambiguïté lexicale et syntaxique nécessite des modèles qui tiennent compte des mots environnants, de la structure du discours, et même de la connaissance du monde.

Bénéfices et équité

Les modèles de NLP formés sur le texte historique héritent souvent et amplifient les préjugés sociaux liés au sexe, à la race, à l'ethnicité et à la religion. Par exemple, les ancrages de mots peuvent associer plus fortement les noms masculins aux termes de carrière et aux noms féminins aux termes de la famille. Cela peut entraîner des résultats néfastes lorsque des modèles sont utilisés pour l'embauche, la notation de crédit ou la police.

Besoins en données et intensité des ressources

La formation d'un modèle linguistique de grande envergure comme le GPT-3 consomme des milliers d'heures de GPU et des téraoctets de mémoire, ce qui rend inaccessibles à de nombreuses petites organisations et chercheurs. Cela crée des obstacles pour les langues à faible ressource et les domaines spécialisés où les données étiquetées sont rares. Des techniques comme l'apprentissage par transfert, l'apprentissage par zéro prise et l'ajustement par paramètre (par exemple, LoRA, Adapters) aident à démocratiser l'accès, mais l'écart demeure important.

Hallucination et ffactualité

Les grands modèles de langage peuvent générer des textes qui sont grammaticalement couramment et superficiellement plausibles, mais qui contiennent des erreurs factuelles, des citations inventées ou des contradictions logiques, phénomène connu sous le nom d'hallucination.C'est particulièrement problématique dans les applications comme les soins de santé, les conseils juridiques et la génération d'informations où l'exactitude est critique.

Confidentialité et sécurité des données

Par exemple, un modèle affiné sur les dossiers des patients peut produire des chaînes qui ressemblent à de vraies données sur les patients. Les techniques comme la confidentialité différentielle, l'apprentissage fédéré et l'anonymisation des modèles visent à réduire ces risques, mais il y a des compromis avec la performance des modèles.

Défis multilingues et interlinguaux

Alors que le NLP a obtenu des résultats impressionnants pour les langues principales (anglais, chinois, espagnol), beaucoup des 7000 langues du monde ont peu ou pas de ressources numériques. Les modèles multilingues comme XLM-R couvrent 100 langues mais continuent de fonctionner mal sur celles à faible ressources. Le changement de code (mélange de plusieurs langues en une seule expression) et la variation dialectale ajoutent à la complexité.

Orientations futures du NLP

Le domaine évolue rapidement et plusieurs tendances façonneront la prochaine génération de technologies NLP.

Modèles linguistiques et modèles de base

Les modèles comme GPT-4, Claude, Gemini et Llama deviennent de plus en plus capables dans un large éventail de tâches NLP sans réglage précis de la tâche. Les futurs LLM intégreront probablement un meilleur raisonnement, des fenêtres contextuelles plus longues (jusqu'à des millions de jetons) et des capacités multimodales qui traitent le texte, les images, l'audio et la vidéo ensemble.

Génération de récupération-augmentée (RAG)

Pour traiter l'hallucination et la fraîcheur des connaissances, de nombreux systèmes de production combinent maintenant une étape de recherche (par exemple, recherche d'une base de données vectorielle ou d'un graphique de connaissances) avec une étape de génération. RAG permet aux modèles d'accéder à des informations actualisées et vérifiables avant de générer une réponse.

Communication multilingue en temps réel

Les progrès de la traduction de bout en bout et de l'interprétation simultanée rendront les conversations en plusieurs langues presque sans fin. Microsoft Teams offre déjà une traduction en temps réel pour les réunions, et des appareils portables avec traduction en direct sont en train de se développer.

L'IA et le NLP empathiques

Les systèmes qui peuvent détecter et répondre aux émotions humaines – frustration, confusion, excitation – créeront des interactions plus naturelles et satisfaisantes avec les utilisateurs. Combiner l'analyse du sentiment avec des signaux de voix provenant d'expressions vocales ou faciales (PLN multimodal) pourrait alimenter les robots de soutien de la santé mentale de prochaine génération, des plates-formes d'apprentissage adaptatives et des assistants virtuels émotionnellement intelligents.

NLP spécifique et personnalisé

Au lieu de s'appuyer uniquement sur des modèles génériques, nous verrons des systèmes NLP plus spécialisés, adaptés à la médecine, au droit, aux finances et à d'autres verticales. Les NLP personnalisés s'adapteront aux styles d'écriture, au vocabulaire et aux préférences des utilisateurs.

NLP énergétiquement efficace et durable

Les techniques comme la distillation des connaissances, la quantification des modèles, la taille et la sparsité permettent une performance élevée avec des exigences de calcul réduites. Les progrès matériels – y compris les accélérateurs NLP spécialisés et les puces neuromorphes – permettront de réduire encore la consommation d'énergie pour l'inférence, rendant les NLP plus accessibles et plus durables sur le plan environnemental.

Conclusion

Le traitement du langage naturel est l'une des technologies d'IA les plus transformatrices de notre temps. Il permet aux machines d'interagir avec les humains selon leurs propres termes, en extrayant le sens des milliards de mots générés quotidiennement.

Les défis liés aux préjugés, aux faits, à la vie privée et aux besoins en ressources demeurent loin d'être résolus, mais la trajectoire est claire : les PNL seront mieux intégrés à tous les aspects de la vie – travail, apprentissage, communication et création. Groupe NLP de Stanford pour la recherche universitaire, Visage de la main pour les modèles et ensembles de données open-source, et Anthologie de l'ACL pour les derniers articles de recherche.