A quoi peut bien servir l'outil de clonage vocal d'Open AI, à part aux arnaques et aux fake news ?

OpenAI a révélé vendredi un outil de clonage vocal qu'il prévoit de garder étroitement contrôlé jusqu'à ce que des mesures de protection soient en place pour contrecarrer les contrefaçons audio destinées à tromper les auditeurs.

Un modèle appelé "Voice Engine" peut essentiellement dupliquer le discours d'une personne sur la base d'un échantillon audio de 15 secondes, selon un article de blog OpenAI partageant les résultats d'un test à petite échelle de l'outil.

"Nous reconnaissons que générer un discours qui ressemble à la voix de personne comporte de sérieux risques, qui sont particulièrement importants en période d'élections", a déclaré la société basée à San Francisco.

"Nous collaborons avec des partenaires américains et internationaux du gouvernement, des médias, du divertissement, de l'éducation, de la société civile et au-delà pour garantir que nous intégrons leurs commentaires à mesure que nous construisons."

Les chercheurs en désinformation craignent une utilisation abusive généralisée des applications basées sur l'IA au cours d'une année électorale charnière, en raison de la prolifération d'outils de clonage vocal, bon marché, faciles à utiliser et difficiles à retracer.

Reconnaissant ces problèmes, OpenAI a déclaré qu'elle " adoptait une approche prudente et éclairée pour une version plus large en raison du potentiel d'utilisation abusive de la voix synthétique ".

Cette révélation prudente est intervenue quelques mois après qu'un consultant politique travaillant pour la campagne présidentielle de longue haleine d'un rival démocrate de Joe Biden a admis avoir été à l'origine d'un appel automatisé se faisant passer pour le dirigeant américain.

L'appel généré par l'IA, idée originale d'un agent du membre du Congrès du Minnesota, Dean Phillips, présentait ce qui ressemblait à la voix de Biden exhortant les gens à ne pas voter lors des primaires du New Hampshire en janvier.

L'incident a alarmé les experts qui craignent un déluge de fausses informations alimentées par l'IA lors de la course à la Maison Blanche en 2024 ainsi que lors d'autres élections clés dans le monde cette année.

OpenAI a déclaré que les partenaires testant Voice Engine ont accepté des règles exigeant notamment le consentement explicite et éclairé de toute personne dont la voix est dupliquée à l'aide de l'outil.

Il faut également indiquer clairement au public que les voix qu'il entend sont générées par l'IA, a ajouté la société.

"Nous avons mis en œuvre un ensemble de mesures de sécurité, notamment le filigrane pour retracer l'origine de tout audio généré par Voice Engine, ainsi qu'une surveillance proactive de la façon dont il est utilisé", a déclaré OpenAI.