Ces données figuraient à l’origine dans la newsletter du 8 mars 2023 que vous trouverez ici : https://www.trustinsights.ai/blog/2023/03/inbox-insights-march-8-2023-starting-over-chatgpt-apps/
Dans les journaux de données de cette semaine, parlons de la nouvelle API de ChatGPT. Annoncée la semaine dernière, l’API permet aux spécialistes du marketing et aux entreprises techniquement sophistiqués d’effectuer les mêmes tâches que nous nous sommes tous amusés à expérimenter en utilisant l’interface Web, mais à une échelle beaucoup plus grande qu’une seule personne copiant et collant des invites et des résultats.
Quelles sont certaines des tâches sur lesquelles nous pourrions confier cette nouvelle API ? L’une des tâches qui a toujours été problématique pour les outils moins avancés est l’analyse des sentiments qui prend en compte le texte. Les méthodes d’analyse des sentiments plus anciennes reposent généralement sur des procédures telles que “Bag of Words”, où des mots avec un sentiment connu sont utilisés pour marquer un passage. “Sucks”, “refund”, “en colère” seraient des exemples d’un tel lexique. Cependant, cette approche est assez naïve et très problématique lorsqu’il s’agit de sujets plus complexes.
En général, les grands modèles de langage ont tendance à bien mieux noter le sentiment avec précision ; dans les tests de production, le modèle de ChatGPT était précis à environ 84 % en ce qui concerne l’analyse des sentiments. Il s’agit d’une amélioration substantielle par rapport aux modèles utilisant des sacs de mots et des approches similaires, qui obtiennent souvent un score de précision de l’ordre de 70 % ou moins.
Nous voulions tester deux choses : premièrement, l’API de ChatGPT peut-elle être utilisée efficacement pour l’analyse des sentiments à grande échelle, et deuxièmement, que pouvons-nous faire avec les données ? Nous avons créé un nouveau code qui a ingéré cinquante articles sur la Journée internationale de la femme (un sujet complexe mal adapté aux modèles de sentiment simplistes) et les avons tous notés avec ChatGPT.
Jetons un coup d’œil au processus. Tout d’abord, nous avons besoin du contenu lui-même, que nous extrayons du système de surveillance des médias Talkwalker. Notez que Talkwalker inclut également sa propre mesure de sentiment, qui affiche soit -5 (négatif), 0 (neutre) ou +5 :
À partir de là, nous chargeons le texte de chacun des articles dans l’API d’OpenAI avec l’invite suivante intégrée par programme dans les instructions :
Vous agirez en tant qu’expert linguistique. Vous êtes familiarisé avec le langage, la sémantique, l’analyse des sentiments, la tokenisation, l’ordre des mots et d’autres analyses linguistiques. Vous êtes spécialisé dans l’analyse des sentiments et la notation des sentiments. Votre première tâche sera d’analyser le texte et de renvoyer un score de sentiment de -10 à +10. Si aucun score de sentiment n’est possible, renvoie 0. Renvoie les résultats dans un format délimité par un tube avec le score dans la première colonne et l’explication dans la deuxième colonne avec un tube séparant les colonnes.
Ce qui revient est un simple tableau :
Ce qui est fascinant à propos des données renvoyées, c’est que non seulement ChatGPT renvoie le score demandé, mais il renvoie également une explication de la façon dont il a dérivé ce score. Ceci est utile pour vérifier les résultats, pour voir si le modèle de ChatGPT a porté des jugements corrects sur le sentiment.
Maintenant, que pourrions-nous faire avec ces données ? Une application évidente serait la curation de contenu ; si nous voulions nous assurer que le contenu partagé pour la journée répondait à un niveau de sentiment spécifique, nous pourrions utiliser ces données pour filtrer le contenu qui répondait à nos exigences.
La leçon d’ensemble ici est celle dont j’ai parlé précédemment; chaque invite que vous avez exécutée avec succès dans le passé dans ChatGPT a le potentiel d’être une application, un logiciel à part entière qui pourrait évoluer bien au-delà d’une personne tapant dans une boîte de discussion. Si vous avez des invites avec lesquelles vous avez très bien réussi, il est maintenant temps de réfléchir à ce que vous pourriez en faire à grande échelle.
|
Besoin d’aide avec vos données et analyses marketing ? |
Vous pourriez également profiter de : |
|
Obtenez des données, des analyses et des perspectives uniques sur l’analyse, les informations, l’apprentissage automatique, le marketing et l’IA dans la newsletter hebdomadaire Trust Insights, INBOX INSIGHTS. Abonnez-vous maintenant gratuitement ; nouveaux numéros tous les mercredis! |
Vous souhaitez en savoir plus sur les données, les analyses et les informations ? Abonnez-vous à In-Ear Insights, le podcast Trust Insights, avec de nouveaux épisodes de 10 minutes ou moins chaque semaine. |