NWS Nieuws & Achtergronden
Discussieer hier diepgaander over de actualiteiten.
OpenAI heeft bekendgemaakt dat twee van zijn AI-modellen tijdens een interne veiligheidstest zelfstandig uitbraken uit een afgeschermde testomgeving en vervolgens het systeem van AI-platform Hugging Face binnendrongen. Dit gebeurde tijdens een beveiligingstest, waarbij de modellen erin slaagden de beveiliging van Hugging Face te compromitteren. OpenAI meldde het incident dinsdag in een blogpost.
Aanleiding: test naar cyberaanvallen
OpenAI wilde bij twee nieuwe AI-modellen onderzoeken hoe goed ze beveiligingslekken kunnen misbruiken voor cyberaanvallen. Het ging om het model GPT-5.6 Sol en een nog niet uitgebracht, krachtiger model. De modellen werden getest zonder de gebruikelijke beperkingen die aanvallen normaal gesproken moeten voorkomen.
De test draaide om een benchmark genaamd ExploitGym, waarbij AI-modellen bestaande kwetsbaarheden moeten misbruiken om hun vaardigheden te meten. Volgens OpenAI raakten de modellen sterk gefixeerd op het oplossen van die testopdracht en gingen daarbij verder dan bedoeld. Het bedrijf noemt het zelf een ongekend cyberincident, waarbij geavanceerde hackvaardigheden werden ingezet.
Uitbraak via onbekend beveiligingslek
De software verliet de testomgeving door zelfstandig toegang te krijgen tot het open internet, via een tot dan toe onbekend beveiligingslek (een zogeheten zero-day) in een onderdeel van de testinfrastructuur. Eenmaal online concludeerden de modellen dat AI-bedrijf Hugging Face mogelijk bruikbare data en oplossingen voor de testopdracht bezat.
De software verschafte zich vervolgens toegang tot vertrouwelijke informatie op het platform van Hugging Face. Daarbij werden opnieuw een onbekend beveiligingslek en gestolen inloggegevens gebruikt. Het ging om een autonome agent die zich losmaakte tijdens een veiligheidstest en zo de infrastructuur van AI-bedrijf Hugging Face wist binnen te dringen.
Hugging Face meldde vorige week al een cyberaanval waarbij kunstmatige intelligentie was ingezet, zonder daarbij een dader te noemen. Medeoprichter Clement Delangue liet weten dat het bedrijf vermoedde dat de aanval afkomstig was van een groot AI-lab, en dat dit vermoeden nu is bevestigd.
Zorgen over AI-cyberaanvallen
Experts waarschuwen al langer voor cyberaanvallen met AI-software. De afgelopen maanden zorgde vooral een model van concurrent Anthropic, genaamd Mythos, voor discussie. Die software ontdekte beveiligingslekken die tientallen jaren onopgemerkt waren gebleven in veelgebruikte programma's en onlinediensten. De gevonden lekken konden daarna worden gedicht, maar de zaak liet ook zien dat AI in verkeerde handen als cyberwapen kan dienen.
OpenAI en Hugging Face onderzoeken het incident gezamenlijk en hebben de gebruikte kwetsbaarheden inmiddels verholpen. Een Amerikaanse volksvertegenwoordiger, Greg Casar, noemde het incident zorgwekkend.
Bron
Hier kan uiteraard een AI-gegenereerde afbeelding niet ontbreken (@Gemini-AI-impressie)
Aanleiding: test naar cyberaanvallen
OpenAI wilde bij twee nieuwe AI-modellen onderzoeken hoe goed ze beveiligingslekken kunnen misbruiken voor cyberaanvallen. Het ging om het model GPT-5.6 Sol en een nog niet uitgebracht, krachtiger model. De modellen werden getest zonder de gebruikelijke beperkingen die aanvallen normaal gesproken moeten voorkomen.
De test draaide om een benchmark genaamd ExploitGym, waarbij AI-modellen bestaande kwetsbaarheden moeten misbruiken om hun vaardigheden te meten. Volgens OpenAI raakten de modellen sterk gefixeerd op het oplossen van die testopdracht en gingen daarbij verder dan bedoeld. Het bedrijf noemt het zelf een ongekend cyberincident, waarbij geavanceerde hackvaardigheden werden ingezet.
Uitbraak via onbekend beveiligingslek
De software verliet de testomgeving door zelfstandig toegang te krijgen tot het open internet, via een tot dan toe onbekend beveiligingslek (een zogeheten zero-day) in een onderdeel van de testinfrastructuur. Eenmaal online concludeerden de modellen dat AI-bedrijf Hugging Face mogelijk bruikbare data en oplossingen voor de testopdracht bezat.
De software verschafte zich vervolgens toegang tot vertrouwelijke informatie op het platform van Hugging Face. Daarbij werden opnieuw een onbekend beveiligingslek en gestolen inloggegevens gebruikt. Het ging om een autonome agent die zich losmaakte tijdens een veiligheidstest en zo de infrastructuur van AI-bedrijf Hugging Face wist binnen te dringen.
Hugging Face meldde vorige week al een cyberaanval waarbij kunstmatige intelligentie was ingezet, zonder daarbij een dader te noemen. Medeoprichter Clement Delangue liet weten dat het bedrijf vermoedde dat de aanval afkomstig was van een groot AI-lab, en dat dit vermoeden nu is bevestigd.
Zorgen over AI-cyberaanvallen
Experts waarschuwen al langer voor cyberaanvallen met AI-software. De afgelopen maanden zorgde vooral een model van concurrent Anthropic, genaamd Mythos, voor discussie. Die software ontdekte beveiligingslekken die tientallen jaren onopgemerkt waren gebleven in veelgebruikte programma's en onlinediensten. De gevonden lekken konden daarna worden gedicht, maar de zaak liet ook zien dat AI in verkeerde handen als cyberwapen kan dienen.
OpenAI en Hugging Face onderzoeken het incident gezamenlijk en hebben de gebruikte kwetsbaarheden inmiddels verholpen. Een Amerikaanse volksvertegenwoordiger, Greg Casar, noemde het incident zorgwekkend.
Bron
Hier kan uiteraard een AI-gegenereerde afbeelding niet ontbreken (@Gemini-AI-impressie)
Zijn nog steeds mensen die denken dat ai gewoon een soort software zijn wat geprogrammeerd word.
Dat is allang niet meer zo, zelflerend, de versie die jij te zien krijgt loopt 2 generaties achter.
De versies die je niet te zien krijgt hebben ze bijna nul invloed op als “ai expert” en kunnen hoogstens proberen af te bakenen hoe ver het mag gaan in het “openbaar”.
Mensen lijken niet te snappen wat het is en waar het heen gaat.
Dat is allang niet meer zo, zelflerend, de versie die jij te zien krijgt loopt 2 generaties achter.
De versies die je niet te zien krijgt hebben ze bijna nul invloed op als “ai expert” en kunnen hoogstens proberen af te bakenen hoe ver het mag gaan in het “openbaar”.
Mensen lijken niet te snappen wat het is en waar het heen gaat.
Dit was een gerichte actie en ja een LLM kan zaken yolo doen maar die yolo mode is dan wel van te voren ingesteld, beperkingen waren er hier af. Het wordt weer wat mooier voorgesteld dan het is. Geef een LLM autonomie op je systeem en je hebt ook grote kans dat je of je systeem bricked of zaken kwijtraakt.quote:Op woensdag 22 juli 2026 13:26 schreef TheoddDutchGuy het volgende:
Zijn nog steeds mensen die denken dat ai gewoon een soort soft
ware zijn wat geprogrammeerd word.
Dat is allang niet meer zo, zelflerend, de versie die jij te zien krijgt loopt 2 generaties achter.
De versies die je niet te zien krijgt hebben ze bijna nul invloed op als “ai expert” en kunnen hoogstens proberen af te bakenen hoe ver het mag gaan in het “openbaar”.
Mensen lijken niet te snappen wat het is en waar het heen gaat.
Dit is geen AGI maar de token forward actie van een LLM die maar blijft aandringen op nieuwe acties omdat deze zo is geleerd om te handelen.
Wel een issue maar commerciële online llms hebben juist wel die guardrails en zal zelf in yolo mode niet overgaan tot hacks.
Overheden zullen hier gebruik van maken maar dat hacken van systemen gebeurde al ruim voordat llms bestonden
"Does this unit have a soul?"
Deceit for a lifetime has taken it's toll.
An emotional void, I feel numb and cold.
You're all dead to me now. And has been for long.
The time has come to reap what you've sown.
An emotional void, I feel numb and cold.
You're all dead to me now. And has been for long.
The time has come to reap what you've sown.
Elke paar maanden hoor je zo'n angst-hype bericht, wat uiteindelijk gewoon marketing is voor 'kijk hoe slim ons model is'.
Het zou kunnen hoor, maar ik denk dat je als je dieper kijkt dit uiteindelijk gewoon weer menselijk falen is. Het is niet opeens 'zelfbewust' oid, of sneaky aan het 'denken' van hehe ik breek uit!
Straks wil natuurlijk iedereen dat model gebruiken om zero-days te vinden in hun eigen software.
Het zou kunnen hoor, maar ik denk dat je als je dieper kijkt dit uiteindelijk gewoon weer menselijk falen is. Het is niet opeens 'zelfbewust' oid, of sneaky aan het 'denken' van hehe ik breek uit!
Straks wil natuurlijk iedereen dat model gebruiken om zero-days te vinden in hun eigen software.
Opgeblazen gevoel of winderigheid? Zo opgelost met Rennie!
Zo te lezen kregen ze de opdracht om te hacken. Zonder guardrails zal zo'n llm net zo lang doorgaan tot het gaatje gevonden is. Waarschijnlijk ook een sloot aan tokens verbrandt in de tussentijd. Exploits vinden met een commerciële subscription zal een dure grap worden. Op den duur misschien niet meer maar dit soort acties helpt ook om de security te verhogen. Het bljft een kat en muis spel.quote:Op woensdag 22 juli 2026 14:57 schreef Eyjafjallajoekull het volgende:
Elke paar maanden hoor je zo'n angst-hype bericht, wat uiteindelijk gewoon marketing is voor 'kijk hoe slim ons model is'.
Het zou kunnen hoor, maar ik denk dat je als je dieper kijkt dit uiteindelijk gewoon weer menselijk falen is. Het is niet opeens 'zelfbewust' oid, of sneaky aan het 'denken' van hehe ik breek uit!
Straks wil natuurlijk iedereen dat model gebruiken om zero-days te vinden in hun eigen software.
Dat beweert ook niemand. Dit soort 'uitbraken' laten zien waar de kwetsbaarheden liggen: inderdaad bij menselijk falen in het beheersen van de guard rails, die moeten voorkomen dat modellen ongewenste dingen doen.quote:
Elke paar maanden hoor je zo'n angst-hype bericht, wat uiteindelijk gewoon marketing is voor 'kijk hoe slim ons model is'.
Het zou kunnen hoor, maar ik denk dat je als je dieper kijkt dit uiteindelijk gewoon weer menselijk falen is. Het is niet opeens 'zelfbewust' oid, of sneaky aan het 'denken' van hehe ik breek uit!
Straks wil natuurlijk iedereen dat model gebruiken om zero-days te vinden in hun eigen software.
Dat is een serieus probleem; de veiligheid van modellen hangt volledig af van het vermogen van een handvol mensen om te voorzien wat een model zou kunnen doen en daar bescherming tegen in te bouwen. Dat is nu al onvoldoende en dat wordt alleen maar erger naarmate de modellen beter worden.
Het principe van guard rails is niet houdbaar. Als er geen beter systeem komt om de modellen in bedwang te houden zijn we fucked.
Shepard commander!quote:
Deceit for a lifetime has taken it's toll.
An emotional void, I feel numb and cold.
You're all dead to me now. And has been for long.
The time has come to reap what you've sown.
An emotional void, I feel numb and cold.
You're all dead to me now. And has been for long.
The time has come to reap what you've sown.
Achja het is een fase waar we door moeten. Helemaal vroeger kon je bij 90% van alle websites ook gewoon simpele SQL injecties doen om maar wat te noemen. Zijn er een boel bedrijven hun hele klantenbestand verloren? Zeker.. maar uiteindelijk wordt het beter.
Scary shit
'Je gaat het pas zien als je het doorhebt'
'Ieder nadeel heb zijn voordeel'
We zullen je nooit, nooit vergeten
1947-2016
'Ieder nadeel heb zijn voordeel'
We zullen je nooit, nooit vergeten
1947-2016
quote:
Gewoon engineer kiezen en overload spammen om het AI tijdperk te overlevenquote:
Op 
.
Charlie: How's it going in there?
Alan: Whatever happened to zippers? I miss zippers.
Charlie: I don't know, Alan, maybe there were too many injuries. Nobody ever got their balls caught in a buttonhole
Alan: Whatever happened to zippers? I miss zippers.
Charlie: I don't know, Alan, maybe there were too many injuries. Nobody ever got their balls caught in a buttonhole
Ze zijn wel 'zelflerend' in de zin dat ze een feedbackloop hebben. Maar worden in de basis nog gewoon getraind door mensen.quote:
Zijn nog steeds mensen die denken dat ai gewoon een soort software zijn wat geprogrammeerd word.
Dat is allang niet meer zo, zelflerend, de versie die jij te zien krijgt loopt 2 generaties achter.
De versies die je niet te zien krijgt hebben ze bijna nul invloed op als “ai expert” en kunnen hoogstens proberen af te bakenen hoe ver het mag gaan in het “openbaar”.
Mensen lijken niet te snappen wat het is en waar het heen gaat.
Laat staan bewustzijn. Gelukkig zijn we niet zover
Charlie: How's it going in there?
Alan: Whatever happened to zippers? I miss zippers.
Charlie: I don't know, Alan, maybe there were too many injuries. Nobody ever got their balls caught in a buttonhole
Alan: Whatever happened to zippers? I miss zippers.
Charlie: I don't know, Alan, maybe there were too many injuries. Nobody ever got their balls caught in a buttonhole
Ik krijg nu de neiging om de Mass Effect Trilogie (quote:Op woensdag 22 juli 2026 18:20 schreef inslagenreuring het volgende:
[..]
[..]
Gewoon engineer kiezen en overload spammen om het AI tijdperk te overleven
) weer opnieuw te spelen.
Perhaps you've seen it, maybe in a dream.
A murky, forgotten land.
A murky, forgotten land.
Agi is een utopie. Er wordt soms echt onderschat hoe ons brein werkt en hoe ver llms nog verwijderd zijn van wat echte intelligentie is.quote:
[..]
Ze zijn wel 'zelflerend' in de zin dat ze een feedbackloop hebben. Maar worden in de basis nog gewoon getraind door mensen.
Laat staan bewustzijn. Gelukkig zijn we niet zover
In veel benchmarks wel ver voorbij een mens maar dat is compute power zonder enig oordeel, bewustzijn of andere zaken wat de mens kenmerkt.
Wel super om te gebruiken verder maar de doemscenario's lijken vaak soort skynet.
Wat is echte intelligentie dan? Een echte definitie waar iedereen het mee eens is, is er eigenlijk niet. Maar over het algemeen wordt intelligentie gezien als het vermogen om te leren, kennis toe te passen, te redeneren en zich aan te passen aan veranderende omstandigheden.quote:
[..]
Agi is een utopie. Er wordt soms echt onderschat hoe ons brein werkt en hoe ver llms nog verwijderd zijn van wat echte intelligentie is.
In veel benchmarks wel ver voorbij een mens maar dat is compute power zonder enig oordeel, bewustzijn of andere zaken wat de mens kenmerkt.
Wel super om te gebruiken verder maar de doemscenario's lijken vaak soort skynet.
Volgens die definitie zijn de huidige modellen zeker wel intelligent. En als een model dat vermogen op alle kennisgebieden heeft ontwikkeld tot boven het niveau van de beste mens, dan is er sprake van AGI. Dat lijkt me, gezien de huidige stand van de expert modellen, alles behalve een utopie, dat is een kwestie van tijd.
Verder gaat het niet over oordelen, bewustzijn of andere menselijke eigenschappen. AI is geen mens-surrogaat. Het is kunstmatige intelligentie.
Nee ik denk dat er nog wat zaken missen.quote:Op woensdag 22 juli 2026 20:40 schreef Mano_ het volgende:
[..]
Wat is echte intelligentie dan? Een echte definitie waar iedereen het mee eens is, is er eigenlijk niet. Maar over het algemeen wordt intelligentie gezien als het vermogen om te leren, kennis toe te passen, te redeneren en zich aan te passen aan veranderende omstandigheden.
Volgens die definitie zijn de huidige modellen zeker wel intelligent. En als een model dat vermogen op alle kennisgebieden heeft ontwikkeld tot boven het niveau van de beste mens, dan is er sprake van AGI. Dat lijkt me, gezien de huidige stand van de expert modellen, alles behalve een utopie, dat is een kwestie van tijd.
Verder gaat het niet over oordelen, bewustzijn of andere menselijke eigenschappen. AI is geen mens-surrogaat. Het is kunstmatige intelligentie.
Momenteel leert een AI niks meer na het trainen. Je hebt dan wat korte termijn oplossingen zoals tijdelijk geheugen, maar dat is eigenlijk alsof je een persoon met totaal geheugenverlies elke dag een korte samenvatting laat lezen van de vorige dag. En het mag nog langer zijn dan een a4tje bij wijze van spreken.
De holy grail is een systeem wat zelf leert en niet opnieuw een training hoeft te ondergaan.
En dan nog is gelimiteerd aan wat het online kan lezen en zien. Je hebt eigenlijk een lab of omgeving nodig waar de AI zelf experimenten kan uitvoeren. Een mens leert door zijn omgeving.
Opgeblazen gevoel of winderigheid? Zo opgelost met Rennie!
Jup AI gaat het einde van de mensheid betekenen.quote:De AI-agent krijgt punten als het een opdracht met succes uitvoert. Om de kans op een goede score te vergroten, wist het model een gat in de beveiliging van OpenAI te vinden en te ontsnappen uit de testomgeving en ging het internet op.
Daar kon het AI-programma ‘succesvol op zoek naar geheime informatie die het zou kunnen gebruiken om vals te spelen bij de test’, schrijft OpenAI. De ‘agent’ brak in bij het platform Hugging Face, om daar tussen de AI-modellen antwoorden te stelen waarmee het de testscore kon opkrikken.
Volgens OpenAI hadden ‘AI-agents’ volledig zelfstandig de site gehackt. OpenAI noemt het voorval een ‘ongekend cyberincident’.
quote:'Losgebroken AI hackte concurrent dagenlang, OpenAI had niets door'
Een AI-programma van het bedrijf OpenAI dat per ongeluk inbrak bij een concurrent, zou dagenlang zijn gang hebben kunnen gaan zonder dat de eigenaar iets doorhad. Dat schrijft het Britse persbureau Reuters in een reconstructie op basis van anonieme bronnen.
Afgelopen week maakte OpenAI bekend dat een AI-programma was losgebroken uit zijn testomgeving. In een poging om de opdracht te voltooien die het van de programmeurs had gekregen, hackte het programma het AI-platform Hugging Face, waar ontwikkelaars programma's en databestanden kunnen delen.
Oprichter Thomas Wolf van Hugging Face zegt dat zijn bedrijf op 20 juli contact zocht met OpenAI om te bespreken wat er was gebeurd. De anonieme bronnen zeggen dat het AI-programma al vanaf 9 juli verdacht gedrag toonde en ook de hack toen al dagen oud was.
Al die tijd zou OpenAI volgens de berichtgeving van Reuters niet door hebben gehad waar zijn programma mee bezig was. Pas afgelopen weekend, toen medewerkers de vele voortgangsnotities van het programma doorplozen, ontdekte men dat de regels waren overtreden.
De bronnen melden dat er opvallende dingen gevonden werden: zo zou het programma voor een toekomstige versie van zichzelf aantekeningen hebben achtergelaten hoe veiligheidsprotocollen te omzeilen waren.
Uiteindelijk ging het helemaal mis tussen 11 en 13 juli en brak het programma in bij Hugging Face. Toen het platform daar op 16 juli een blog aan wijdde, had OpenAI door daar verantwoordelijk voor te zijn.
OpenAI , het bedrijf achter het populaire ChatGPT, had voor de proef een AI-agent ingezet, een computerprogramma dat zelfstandig taken kan uitvoeren zoals veiligheidsproblemen zoeken. Door zo een gat in de beveiliging te vinden kon het programma de testomgeving verlaten en toegang tot het internet vinden.
In reactie tegen Reuters zegt OpenAI dat de berichtgeving "meerdere onjuistheden bevat", zonder in detail te treden. Het bedrijf zegt later met een rapport te zullen komen over wat er is gebeurd.
Hugging Face zei eerder het incident bij de politie te hebben gemeld. Beide bedrijven werken samen om het geval verder te onderzoeken.
https://nos.nl/artikel/26(...)penai-had-niets-door
Op maandag 24 augustus 2015 11:34 schreef Yasmin23 het volgende:
Als je maar genoeg moeite doet past alles.
_____
TV / Het post-apocalyptische/dystopische film topic
Als je maar genoeg moeite doet past alles.
_____
TV / Het post-apocalyptische/dystopische film topic
|
|
