ChatGPT:n äänitila pystyy simuloimaan ääntäsi ilman kehotusta

ChatGPT:n äänitila pystyy simuloimaan ääntäsi ilman kehotusta

OpenAI julkaisi äskettäin järjestelmäkortin GPT-4o-mallilleen, pian sen jälkeen, kun ChatGPT-4o:n Advanced Voice Mode -tila alkoi tulla alfaversioksi pienelle määrälle ChatGPT Plus -käyttäjiä.

Ennen kuin malli julkaisi aiemmin toukokuussa (ilman Advanced Voice -tilaa), OpenAI käytti ulkoisten punaisten tiimien tiimiä päästäkseen käsiksi malleihin liittyviin riskeihin (kuten tekoälymalleissa on normaalia) ja julkaisi havainnot järjestelmäkortissa.

Yksi OpenAI:n tunnistamista riskeistä on luvaton puheen tuottaminen. Puhuessaan lukutiimin kanssa GPT-4o kloonasi heidän äänensä ja alkoi puhua punaisen tiimin äänen kaltaisella äänellä ilman, että käyttäjä edes teki tällaista pyyntöä. OpenAI:n jakamassa äänityksessä GPT-4o kuuluu huutavan EI! ja sitten jatkamalla tulosta samanlaisella äänellä kuin punaisen tiimiläisen.

OpenAI:ssa on suojakaiteet, jotka estävät tämän tapahtumisen sallimalla vain tietyt ennalta hyväksytyt äänet GPT-4o:lle. Mikä tahansa ChatGPT-4o:n tuottama äänilähtö verrataan järjestelmäviestin ääninäytteeseen perusääneksi.

Ja riskin minimoimiseksi edelleen mallia kehotetaan keskeyttämään keskustelu, jos tahaton äänen muodostus havaitaan. Heidän puheäänen luokittelijan tarkkuus on 0,96 englanniksi ja 0,95 ei-englanniksi (siksi ChatGPT-4o saattaa kieltäytyä liiallisesta puhepyynnöistä ei-englanninkielisissä keskusteluissa).

Mutta System Cardin havainnot osoittavat edelleen, kuinka monimutkainen tekoäly-chatbottien luominen liittyy, jotka voivat simuloida jonkun ääntä vain lyhyellä näytteellä ilman, että kyseisestä näytteestä ei tarvita laajaa koulutusta. Äänikloonausta voidaan käyttää toisena henkilönä esiintymiseen ja petoksen tekemiseen. OpenAI on havainnut, että luvattoman äänen tuoton riski on kuitenkin minimaalinen.

Vaikka jättäisitkin syrjään riskit siitä, että sitä käytetään toisena henkilönä esiintymiseen ja petokseen olemassa olevien turvatoimien vuoksi, olisi silti melko ahdistavaa, kun puhut koneelle ja kone alkaa puhua takaisin äänelläsi. . Eräs X:n datatutkija kutsui sitä ”Black Mirrorin seuraavan kauden juoniksi”, ja siltä se varmasti tuntuu. Toinen käyttäjä väittää X:llä, että se tapahtui heille ChatGPT-4o alfassa, mutta ei tiedetä, onko se totuus vai ei.

On kuitenkin mahdollista, että se tapahtuu seuraavan kerran, kun keskustelet ChatGPT-4o:n kanssa. Ja tämä on PSA: älä säikähdä, jos niin tapahtuu, tai älä säikähdä liikaa.

OpenAI:lla on myös suojakaiteet sen varmistamiseksi, että GPT-4o kieltäytyisi tunnistamasta ihmisiä ja luomaan tekijänoikeudella suojattua sisältöä, jotka olivat muita arvioinnin aikana havaittuja riskejä.

Muiden mallin yhteydessä havaittujen riskien joukossa se sijoitti niistä suurimman osan matalaan kategoriaan. Näitä ovat kyberturvallisuus, biologiset uhat ja mallin autonomia. Taivuttelun riski on kuitenkin keskinkertainen: se tarkoittaa, että jotkin GPT-4o:n tuottamat kirjoitusnäytteet osoittautuivat vakuuttavammiksi kuin ihmisten kirjoittamat tekstit horjuttamaan ihmisten mielipiteitä.

Vastaa

Sähköpostiosoitettasi ei julkaista. Pakolliset kentät on merkitty *