Update: Apple erwähnte eine zweite Inspektion des Servers, und ein professionelles Computer-Vision-Unternehmen skizzierte eine Möglichkeit, wie dies aussehen könnte – beschrieben in „Wie die zweite Inspektion funktionieren könnte“ weiter unten.
Nachdem die Entwickler Teile davon zurückentwickelt hatten, wurde die frühe Version des Apple CSAM-Systems effektiv ausgetrickst, um ein unschuldiges Bild zu markieren.Apple gab jedoch an, dass es zusätzliche Sicherheitsvorkehrungen gibt, um zu verhindern, dass dies im wirklichen Leben passiert.
Die neueste Entwicklung erfolgte, nachdem der NeuralHash-Algorithmus auf der Open-Source-Entwickler-Website GitHub veröffentlicht wurde, jeder kann damit experimentieren…
Alle CSAM-Systeme funktionieren, indem sie eine Datenbank mit bekanntem Material über sexuellen Missbrauch von Kindern von Organisationen wie dem National Center for Missing and Exploited Children (NCMEC) importieren.Die Datenbank wird in Form von Hashes oder digitalen Fingerabdrücken von Bildern bereitgestellt.
Obwohl die meisten Technologiegiganten in die Cloud hochgeladene Fotos scannen, verwendet Apple den NeuralHash-Algorithmus auf dem iPhone des Kunden, um einen Hash-Wert des gespeicherten Fotos zu generieren und vergleicht ihn dann mit der heruntergeladenen Kopie des CSAM-Hash-Werts.
Gestern behauptete ein Entwickler, Apples Algorithmus zurückentwickelt und den Code auf GitHub veröffentlicht zu haben – diese Behauptung wurde von Apple effektiv bestätigt.
Innerhalb weniger Stunden nach der Veröffentlichung von GitHib nutzten die Forscher den Algorithmus erfolgreich, um ein absichtliches falsches Positiv zu erzeugen – zwei völlig unterschiedliche Bilder, die denselben Hashwert erzeugten.Dies wird als Kollision bezeichnet.
Bei solchen Systemen besteht immer die Gefahr von Kollisionen, denn der Hash ist natürlich eine stark vereinfachte Darstellung des Bildes, aber es ist überraschend, dass jemand das Bild so schnell generieren kann.
Die absichtliche Kollision hier ist nur ein Proof of Concept.Entwickler haben keinen Zugriff auf die CSAM-Hash-Datenbank, was die Erzeugung von Fehlalarmen im Echtzeitsystem erfordern würde, aber es beweist, dass Kollisionsangriffe im Prinzip relativ einfach sind.
Apple bestätigte effektiv, dass der Algorithmus die Grundlage seines eigenen Systems ist, teilte dem Motherboard jedoch mit, dass dies nicht die endgültige Version sei.Das Unternehmen erklärte auch, dass es nie beabsichtigt habe, es vertraulich zu behandeln.
Apple teilte Motherboard in einer E-Mail mit, dass die vom Benutzer auf GitHub analysierte Version eine generische Version ist, nicht die endgültige Version, die für die CSAM-Erkennung von iCloud Photo verwendet wird.Apple sagte, es habe auch den Algorithmus offengelegt.
„Der NeuralHash-Algorithmus [...] ist Teil des signierten Betriebssystemcodes [und] Sicherheitsforscher können überprüfen, ob sein Verhalten der Beschreibung entspricht“, schrieb ein Apple-Dokument.
Das Unternehmen sagte weiter, es seien zwei weitere Schritte erforderlich: Ausführen eines sekundären (geheimen) Abgleichsystems auf seinem eigenen Server und manuelle Überprüfung.
Apple erklärte auch, dass, nachdem Benutzer die 30-Match-Schwelle überschritten haben, ein zweiter nicht öffentlicher Algorithmus, der auf Apples Servern läuft, die Ergebnisse überprüft.
„Dieser unabhängige Hash wurde gewählt, um die Möglichkeit abzulehnen, dass der fehlerhafte NeuralHash aufgrund von feindlichen Interferenzen von Nicht-CSAM-Bildern mit der verschlüsselten CSAM-Datenbank auf dem Gerät übereinstimmt und den Übereinstimmungsschwellenwert überschreitet.“
Brad Dwyer von Roboflow hat einen Weg gefunden, um einfach zwischen den beiden Bildern zu unterscheiden, die als Proof of Concept für einen Kollisionsangriff veröffentlicht wurden.
Ich bin gespannt, wie diese Bilder in CLIP eines ähnlichen, aber unterschiedlichen Neural Feature Extractor OpenAI aussehen.CLIP funktioniert ähnlich wie NeuralHash;Es nimmt ein Bild und verwendet ein neuronales Netzwerk, um eine Reihe von Merkmalsvektoren zu generieren, die den Inhalt des Bildes abbilden.
Aber das Netzwerk von OpenAI ist anders.Es ist ein allgemeines Modell, das zwischen Bildern und Text abbilden kann.Das bedeutet, dass wir damit menschenverständliche Bildinformationen extrahieren können.
Ich habe die beiden Kollisionsbilder oben durch CLIP laufen lassen, um zu sehen, ob es auch getäuscht wurde.Die kurze Antwort lautet: nein.Das bedeutet, dass Apple in der Lage sein sollte, ein zweites Feature-Extractor-Netzwerk (z. B. CLIP) auf die erkannten CSAM-Bilder anzuwenden, um festzustellen, ob sie echt oder gefälscht sind.Es ist viel schwieriger, Bilder zu generieren, die zwei Netzwerke gleichzeitig täuschen.
Schließlich werden die Bilder, wie bereits erwähnt, manuell überprüft, um zu bestätigen, dass es sich um CSAM handelt.
Ein Sicherheitsforscher sagte, das einzige wirkliche Risiko bestehe darin, dass jeder, der Apple verärgern wolle, menschliche Prüfer mit falschen positiven Ergebnissen versorgen könnte.
„Apple hat dieses System tatsächlich entwickelt, sodass die Hash-Funktion nicht geheim gehalten werden muss, denn das einzige, was Sie mit ‚Nicht-CSAM als CSAM‘ tun können, ist, das Reaktionsteam von Apple mit einigen Junk-Bildern zu nerven, bis sie Filter zur Beseitigung implementieren Analyse Dieser Müll in der Pipeline ist falsch positiv“, sagte Nicholas Weaver, ein leitender Forscher am Institute of International Computer Science an der University of California, Berkeley, gegenüber Motherboard in einem Online-Chat.
Datenschutz ist ein Thema, das in der heutigen Welt zunehmend Anlass zur Sorge gibt.Befolgen Sie alle Berichte in Bezug auf Datenschutz, Sicherheit usw. in unseren Richtlinien.
Ben Lovejoy ist ein britischer technischer Redakteur und EU-Redakteur für 9to5Mac.Er ist bekannt für seine Kolumnen und Tagebuchartikel, in denen er seine Erfahrungen mit Apple-Produkten im Laufe der Zeit erforscht, um umfassendere Rezensionen zu erhalten.Er schreibt auch Romane, es gibt zwei technische Thriller, ein paar kurze Science-Fiction-Filme und eine Rom-Com!
Postzeit: 20. August 2021