La semaine de la sécurité : hallucinations de l'IA liées au risque de la chaîne d'approvisionnement des logiciels, correctif CI jugé critique

Accueil » Calendrier éditorial » Sécurité de la chaîne d'approvisionnement logicielle » La semaine de la sécurité : hallucinations de l'IA liées au risque de la chaîne d'approvisionnement logicielle, correctif CI jugé critique

Bienvenue dans la dernière édition de La Semaine de la sécurité, qui vous présente les derniers titres du monde entier et de notre équipe sur l'ensemble de la sécurité : sécurité des applications, cybersécurité et au-delà. Cette semaine : les hallucinations de ChatGPT constituent une menace pour la chaîne d'approvisionnement des logiciels. Aussi: Un groupe de surveillance mandaté par le Congrès estime que la Maison Blanche doit intensifier son jeu pour sécuriser les infrastructures critiques.

Les chercheurs de l'équipe de recherche Voyager18 de Vulcan Cyber ​​ont découvert que les acteurs de la menace peuvent exploiter les fausses recommandations de ChatGPT pour diffuser du code malveillant via les développeurs qui s'appuient sur l'outil. Cette découverte présente un risque immense pour les chaînes d'approvisionnement en logiciels, dans la mesure où du code malveillant et des chevaux de Troie peuvent être accidentellement insérés par les développeurs dans des applications et des référentiels de code open source. Ces référentiels, tels que npm et PyPI, ont déjà connu une augmentation majeure des attaques sur leurs plates-formes, et ce nouveau risque associé à ChatGPT ne fera qu'aggraver le problème.

Les chercheurs pensent que les acteurs de la menace peuvent tirer parti de ce que l'on appelle les "hallucinations de packages d'IA" pour créer des packages recommandés par ChatGPT qui sont en réalité malveillants. Les hallucinations dans ce scénario sont définies comme des réponses d'IA réelles qui sont insuffisantes, biaisées ou fausses. Ceux-ci se produisent parce que ChatGPT utilise des sources sur Internet, même incorrectes et malveillantes, pour générer des réponses pour les utilisateurs.

Les attaquants peuvent utiliser cela à leur avantage en publiant leur propre version malveillante d'un progiciel suggéré par ChatGPT. L'attaquant espère que ChatGPT adoptera alors le paquet malveillant comme source, le donnant comme recommandation aux développeurs qui utilisent la machine AI. Les développeurs qui téléchargent par inadvertance ces packages malveillants via ChatGPT peuvent les utiliser à la fois dans des projets privés ou des référentiels open source, ce qui entraîne un risque potentiel pour un nombre infini de chaînes d'approvisionnement de logiciels.

Depuis la sortie de ChatGPT en novembre 2022, il est devenu un outil populaire pour les développeurs et les acteurs de la menace. Cela a forcé la communauté de la cybersécurité à comprendre comment l'IA pourrait changer radicalement la façon dont nous devrions sécuriser au mieux nos systèmes et nos chaînes d'approvisionnement.

Voici les histoires auxquelles nous prêtons attention cette semaine…

Les politiques du gouvernement américain conçues pour protéger les infrastructures critiques contre les pirates informatiques sont terriblement obsolètes et inadéquates pour protéger des secteurs tels que l'eau et les transports contre les cybermenaces, a déclaré un groupe d'experts influent mandaté par le Congrès.

Le groupe Clop, un gang de cybercriminalité qui serait basé en Russie, a lancé "un ultimatum" aux entreprises du Royaume-Uni et d'autres pays qui ont été ciblées dans un récent piratage à grande échelle des données de paie. Les données de paie de plus de 100 000 employés ont été volées dans des entreprises telles que la BBC, British Airways et bien d'autres.

L'acteur menaçant de l'État-nation nord-coréen connu sous le nom de Kimsuky a été lié à une campagne d'ingénierie sociale ciblant des experts des affaires nord-coréennes dans le but de voler les informations d'identification de Google et de fournir des logiciels malveillants de reconnaissance. La divulgation intervient quelques jours après que les agences de renseignement américaines et sud-coréennes ont émis un avertissement sur l'utilisation par Kimsuky de tactiques d'ingénierie sociale pour frapper les groupes de réflexion, les universités et les secteurs des médias.

Le gang Royal ransomware a commencé à tester un nouveau chiffreur appelé BlackSuit qui partage de nombreuses similitudes avec le chiffreur habituel de l'opération. Le gang a été lancé en janvier 2023 et serait le successeur direct de la tristement célèbre opération Conti, qui s'est arrêtée en juin 2022.

Dans l'édition de la semaine dernière, nous faisions état de la découverte récente d'une faille de messagerie Barracuda laissée ouverte pendant des mois. Désormais, la société demande à ses clients de remplacer immédiatement les appliances ESG (Email Security Gateway) piratées, même s'ils ont installé tous les correctifs disponibles.

*** Ceci est un blog syndiqué du Security Bloggers Network du blog ReversingLabs rédigé par Carolynn van Arsdale. Lisez le message original sur : https://www.reversinglabs.com/blog/week-in-security-ai-hallucinations-risk