Katie et Chris répondent à vos questions sur le marketing, les données et l’IA tous les lundis.
Cette semaine, Marion demande : “Comment analysez-vous les données provenant de ChatGPT afin qu’elles ne soient pas faussées politiquement, religieusement, racialement, etc ?”
Connectez-vous tous les lundis pour obtenir une réponse à votre question !
Vous avez une question à laquelle vous voulez que nous répondions? Contactez-nous au trustinsights.ai/contact ou rejoignez notre groupe slack gratuit, à trustinsights.ai/analyticsformarketers
Abonnez-vous à notre newsletter hebdomadaire pour voir les épisodes passés sur trustinsights.ai/newsletter
Transcription générée par l’IA :
Katie Robbert 0:00
Bienvenue à nouveau dans un autre courrier lundi où Chris et moi répondons à toutes vos questions chaque semaine. Alors cette semaine, Chris, quelle question traitons-nous ?
Christophe Penn 0:09
Nous en avons une intéressante des récentes discussions martec Coffee de Mary et demandant, comment comptez-vous filtrer les données qui sortent d’un système comme ChatGPT ? Ce n’est donc pas biaisé, politiquement, religieusement, racialement, etc.?
Katie Robbert 0:22
Oh, mec. C’est une excellente question, Chris. C’est quelque chose que j’ai l’impression que vous avez passé beaucoup de temps à rechercher et à réfléchir, alors par où commencerait Marian ?
Christophe Penn 0:39
La réponse courte est que vous ne pouvez pas.
Katie Robbert 0:42
J’avais peur que ce soit la réponse. Et avant de dire, je voulais m’assurer que c’était vraiment vrai.
Christophe Penn 0:47
Le premier endroit où vous devez commencer est de comprendre quels biais existent dans le modèle. Bon, donc OpenAI a publié cela dans sa documentation technique, ils ont dit, par exemple, que nous savons que les noms européens sont notre sentiment positif préféré par rapport aux noms afro-américains, et qu’il existe des préjugés négatifs contre les noms féminins afro-américains dans la base de données par exemple. Mais voici le problème, la plate-forme de la technologie n’est pas au bon endroit. Pour regarder cela oui, vous voulez vous assurer qu’un ensemble de données qui a été utilisé pour l’entraîner est aussi exempt de biais que possible. Mais même dans le document technique pour GPT-4. Ils ont dit qu’il y avait des compromis inhabituels pour obtenir des réponses plus justes. Ils ont dû accepter une partialité accrue, ils ont essayé de réduire la partialité à zéro et ont commencé à créer des réponses de fans injustes qui étaient, vous savez, légères, carrément calomnieuses. Et donc il y a quelque chose dans la façon dont nous utilisons le langage en tant qu’êtres humains. Autrement dit, c’était notre compromis. Je veux donc revenir au genre des cinq P à droite. Mais le modèle GPT-4. Bard, quelle que soit la plate-forme que la quatrième plate-forme peon, si vous vous attendez à ce que le modèle fasse tout cela et ne crache pas des choses racistes, vous dites essentiellement que vous avez abandonné le troisième temps, ce qui est processus. Le modèle n’est qu’un logiciel, tout comme Microsoft Word, Microsoft Word créera tout ce que vous y tapez, mais c’est la personne qui tape, puis le processus de collecte des exigences à l’avance, puis le processus de comment vous gérez la sortie, cela va réduire ou atténuer ces biais. Et vous devez avoir des processus d’assurance qualité en place pour pouvoir le faire. Parce que si vous ne le faites pas, alors oui, vous obtiendrez ce que vous obtenez du modèle. Mais c’est un peu comme lancer des fléchettes.
Katie Robbert 2:36
Dans ce cas, pensez-vous qu’il est préférable de créer votre propre modèle avec vos propres données plutôt que de vous fier à quelque chose comme un ChatGPT ? Où vous ne pouvez pas être sûr, vous savez, ce que vous savez, une sorte de boîte noire à l’intérieur ressemble,
Christophe Penn 2:54
si vous avez les capacités techniques pour le faire. Oui. Mais ce n’est pas une petite entreprise. Et vous touchez la partie la plus difficile du réglage fin, c’est en fait la surveillance du système pour voir, d’accord, eh bien, que se passe-t-il ? Oh, vous avez besoin d’une sorte de boucle de rétroaction de renforcement en place pour pouvoir dire, d’accord, c’était une réponse appropriée, ce n’est pas une réponse appropriée. Et pendant le QA sur le modèle, c’est en fait la partie la plus difficile, parce que vous allez lui faire cracher 10 000 réponses ? Et puis devinez quoi ? Tu dois passer par les 10 000 ? donnez-lui des pouces vers le haut, des pouces vers le bas ?
Katie Robbert 3:30
Ouais, c’est, je pense que ça va être, vous savez, la conversation autour des informations qui sortent de ce genre de modèles ne fera que s’agrandir et se compliquer. Vous savez, l’un des exemples célèbres, Chris, que vous citez est l’exemple d’Amazon, où ils ont donné, vous savez, Amazon, vous savez, des modèles de science des données, toutes leurs embauches, des informations d’embauche historiques, pour aider à trouver, vous savoir, les bons candidats pour les personnes qui postulent. Et ce qu’ils ont découvert, c’est qu’il y avait un fort préjugé sexiste dans le modèle dont ils n’étaient pas pleinement conscients, ils en étaient peut-être conscients, pensaient peut-être que le modèle n’en était pas conscient, quelle que soit la situation. Et ce qui a fini par se produire, c’est que le modèle, en utilisant les informations d’embauche historiques, a développé un parti pris pour ne recruter que des candidats masculins par opposition aux candidatures féminines. Et Amazon a pu identifier cela, mais c’est parce qu’il s’agissait de leurs données. Maintenant, quand vous regardez donc si Chris et moi devions aller sur Amazon et partir, Oh, ça ressemble à ça, mais nous ne connaissons pas très bien les données d’Amazon, vous savez, nous sommes désavantagés. Et donc, lorsque vous utilisez des systèmes comme OpenAI, vous savez, je ne pense pas qu’ils fassent tout leur possible pour vous donner, vous savez, des données biaisées et contraires à l’éthique. Mais c’est en quelque sorte la réalité de la saisie de ces ensembles de données sur Internet.
Christophe Penn 4:56
Et, en particulier, avec le modèle de langage Aussi, il y a, il y a leurs degrés de biais, n’est-ce pas ? Je vais donc vous donner un exemple très simple. Si un mannequin crachait, vous savez, quelque chose qui me parlait et me disait, Hé, tu as fait une gaffe. OK, clairement, c’est une insulte raciale. De toute évidence, ce n’est pas censé être là. C’est le drapeau, non ? Si un modèle dit, Hé, double-cliquons dessus, c’est un terme d’entreprise pour un certain groupe d’âge, juste que d’autres groupes d’âge, ce n’est pas dans leur jargon. Ainsi, le modèle s’adresse aux gens d’une manière qui cible un groupe d’âge spécifique. C’est une forme de partialité beaucoup plus subtile, n’est-ce pas ? Si vous regardez la façon dont les gens utilisent le langage, en fonction du sexe, il existe des différences dans la façon dont les différents sexes utilisent le langage selon les sexes et les cultures. Le modèle parle-t-il donc d’une manière appropriée au public auquel il s’adresse ? Ce sont toutes des choses qui doivent faire partie de ce processus des cinq P et clairement définies comme des exigences ? Comme oui, si nous parlions à quelqu’un d’un certain âge, votre langage ne devrait pas être sensiblement différent de celui de parler à quelqu’un d’un groupe d’âge différent, n’est-ce pas ? Si vous dites, l’utiliser pour une application de service client, il ne devrait pas traiter les gens différemment. Même s’ils utilisent un langage spécifique à eux et à leur tranche d’âge. Droite. Maintenant, mon père dira des choses qui retiendront vos chevaux, Charlie Brown, il dira, contrairement à ça, c’est une expression que personne de moins de 60 ans ne dit,
Katie Robbert 6:35
Je veux dire, je dis tiens tes chevaux, et j’ai moins de 60 ans. Mais non, et, et je pense que tu sais, Chris, pour ce que tu veux dire sur le processus, une partie de celui-ci, il ne suffit pas de dire dans ton invite, tu sais, parle-moi comme si j’étais une femme, ou parle-moi, comme si j’étais un homme, c’est la mauvaise façon absolue d’aborder pour s’assurer que vous coupez les préjugés, parce que tout ce que vous faites introduit une couche supplémentaire de biais dans la sortie que vous êtes susceptible d’obtenir. Et donc, dans la section d’arrière-plan de cette ingénierie rapide, que vous pouvez trouver sur trust, insights.ai, dans nos informations, c’est là que vous voulez inclure toutes ces choses à retirer. Donc, par exemple, juste un exemple vraiment terrible. Tu sais, parce que je suis une femme, tu sais, je pourrais, tu sais, programmer ça et dire, chaque fois que je parle à ChatGPT, je veux qu’il réponde par Hé, petite amie, ou hé, salope, tu sais, c’est un terrible exemple. Mais si j’étais si Chris était alors comme, pourquoi est-ce qu’il m’appelle soudainement petite amie? Comme, en fait, ce serait plutôt drôle. Je pense que je dois trouver comment faire maintenant. Mais, vous savez, vous ne voulez pas introduire de parti pris en disant, je suis une femme, parlez-moi comme si j’étais une femme. C’est le moyen absolu de réduire les biais dans ce type d’ensembles de données, ou en général. Oui, mais l’essentiel est,
Christophe Penn 8:07
l’essentiel ici est, et je pense que Marion pose les bonnes questions. En fin de compte, vous devriez toujours vous poser la question : qu’est-ce qui pourrait mal tourner ? Qu’est-ce qui pourrait mal se passer? Alors que nous déployons ce truc ? Quelles sont les choses? Comment cette chose a-t-elle pu dérailler ? Et ensuite, avons-nous suffisamment de protections dans la partie processus de nos cinq P pour réduire la probabilité et l’impact de ces choses qui tournent mal ? Je pense que c’est une excellente question et une question intéressante. Si vous avez des questions que vous aimeriez poser pour un courrier lundi, rendez-vous sur notre jeu gratuit pour faire confiance à insights.ai/analytics Pour les marqueurs, où plus de 3000 autres spécialistes du marketing posent des questions comme celle-ci chaque jour . Si vous souhaitez vous tenir au courant des épisodes précédents, rendez-vous sur trust insights.ai/newsletter pour vous y abonner, vous recevrez les mises à jour chaque semaine. Merci de vous être connecté. Nous vous parlerons la prochaine fois.
Transcrit par https://otter.ai
|
Besoin d’aide avec vos données et analyses marketing ? |
Vous pourriez également profiter de : |
|
Obtenez des données, des analyses et des perspectives uniques sur l’analyse, les informations, l’apprentissage automatique, le marketing et l’IA dans la newsletter hebdomadaire Trust Insights, INBOX INSIGHTS. Abonnez-vous maintenant gratuitement ; nouveaux numéros tous les mercredis! |
Vous souhaitez en savoir plus sur les données, les analyses et les informations ? Abonnez-vous à In-Ear Insights, le podcast Trust Insights, avec de nouveaux épisodes de 10 minutes ou moins chaque semaine. |