“Você quer se ver atuando em um filme ou na TV?” disse a descrição de um aplicativo em lojas online, oferecendo aos usuários a chance de criar mídia sintética gerada por IA, também conhecida como deepfakes.
“Você quer ver seu melhor amigo, colega ou chefe dançando?” adicionado. “Você já se perguntou como você ficaria se seu rosto trocasse com o de seu amigo ou de uma celebridade?”
O mesmo aplicativo foi anunciado de forma diferente em dezenas de sites adultos: “Faça pornografia deepfake em um segundo”, diziam os anúncios. “Deepfake alguém.”
Como a tecnologia cada vez mais sofisticada é aplicada é uma das complexidades enfrentadas pelos mídia sintética softwares de , em que o aprendizado de máquina é usado para modelar digitalmente rostos a partir de imagens e, em seguida, trocá-los em filmes da maneira mais perfeita possível.
A tecnologia, que mal tem quatro anos, pode estar em um ponto crucial, de acordo com entrevistas da Reuters com empresas, pesquisadores, legisladores e ativistas.
Agora é avançado o suficiente para que os espectadores em geral tenham dificuldade em distinguir muitos vídeos falsos da realidade, disseram os especialistas, e proliferou a ponto de estar disponível para quase qualquer pessoa que tenha um smartphone, sem necessidade de especialização.
“Uma vez que o ponto de entrada é tão baixo que não exige nenhum esforço, uma pessoa sem sofisticação pode criar um vídeo pornográfico deepfake não consensual muito sofisticado – esse é o ponto de inflexão”, disse Adam Dodge, advogado e fundador da segurança online empresa EndTab.
“É aí que começamos a ter problemas.”
Com o gênio da tecnologia fora da garrafa, muitos ativistas de segurança online, pesquisadores e desenvolvedores de software dizem que a chave é garantir o consentimento daqueles que estão sendo simulados, embora seja mais fácil falar do que fazer. Alguns defendem uma abordagem mais dura quando se trata de pornografia sintética, devido ao risco de abuso.
A pornografia deepfake não consensual foi responsável por 96% de um estudo de amostra de mais de 14.000 vídeos deepfake postados online, de acordo com um relatório de 2019 da Sensity, uma empresa que detecta e monitora mídia sintética. Ele acrescentou que o número de vídeos deepfake online estava praticamente dobrando a cada seis meses.
“A vasta maioria dos danos causados por deepfakes agora é uma forma de violência digital de gênero”, disse Ajder, um dos autores do estudo e chefe de políticas e parcerias da empresa de IA Metaphysic, acrescentando que sua pesquisa indicou que milhões de as mulheres foram visadas em todo o mundo.
Conseqüentemente, há uma “grande diferença” entre se um aplicativo é comercializado explicitamente como uma ferramenta pornográfica ou não, disse ele.
APLICATIVO DE EIXOS DE REDE DE ANÚNCIOS
ExoClick, a rede de publicidade online usada pelo aplicativo “Faça pornografia deepfake em um segundo”, disse à Reuters que não estava familiarizada com esse tipo de software de troca de rosto de IA. A empresa disse que suspendeu a exibição de anúncios do aplicativo e não promoveria a tecnologia de troca facial de forma irresponsável.
“Este é um tipo de produto que é novo para nós”, disse Bryan McDonald, chefe de conformidade de anúncios da ExoClick, que, como outras grandes redes de anúncios, oferece aos clientes um painel de sites que eles podem personalizar para decidir onde colocar os anúncios.
“Após uma análise do material de marketing, determinamos que o texto usado no material de marketing não é aceitável. Temos certeza de que a grande maioria dos usuários de tais aplicativos os usa para entretenimento sem más intenções, mas reconhecemos que também pode ser usado para fins maliciosos. “
Seis outras grandes redes de anúncios online abordadas pela Reuters não responderam aos pedidos de comentários sobre se haviam encontrado software deepfake ou tinham uma política a respeito.
Não há menção do possível uso pornográfico do aplicativo em sua descrição na da Apple (AAPL.O) App Store ou na do Google (GOOGL.O) Play Store , onde está disponível para maiores de 12 anos.
A Apple disse que não tinha regras específicas sobre aplicativos deepfake, mas que suas diretrizes mais amplas proibiam aplicativos que incluíssem conteúdo difamatório, discriminatório ou que pudesse humilhar, intimidar ou prejudicar alguém.
Ele acrescentou que os desenvolvedores foram proibidos de comercializar seus produtos de forma enganosa, dentro ou fora da App Store, e que estava trabalhando com a empresa de desenvolvimento do aplicativo para garantir que eles estivessem em conformidade com suas diretrizes.
O Google não respondeu aos pedidos de comentário. Depois de ser contatado pela Reuters sobre os anúncios “Deepfake porn” em sites adultos, o Google retirou temporariamente do ar a página da Play Store para o aplicativo, que havia sido classificado como E para todos. A página foi restaurada após cerca de duas semanas, com o aplicativo agora classificado como T para adolescentes devido ao “Conteúdo sexual”.
FILTROS E MARCAS D’ÁGUA
Embora existam atores mal-intencionados na crescente indústria de software de troca de rosto, há uma grande variedade de aplicativos disponíveis para os consumidores e muitos tomam medidas para tentar evitar o abuso, disse Ajder, que defende o uso ético de mídia sintética como parte do Grupo da indústria de Synthetic Futures.
Alguns aplicativos só permitem que os usuários troquem imagens em cenas pré-selecionadas, por exemplo, ou exigem verificação de identidade da pessoa que está sendo trocada, ou usam IA para detectar uploads de pornografia, embora nem sempre sejam eficazes, acrescentou.
Reface é um dos aplicativos de troca de rosto mais populares do mundo, tendo atraído mais de 100 milhões de downloads globalmente desde 2019, com os usuários encorajados a trocar de rosto com celebridades, super-heróis e personagens memes para criar videoclipes divertidos.
A empresa sediada nos Estados Unidos disse à Reuters que estava usando moderação automática e humana de conteúdo, incluindo um filtro de pornografia, além de ter outros controles para evitar o uso indevido, incluindo rotulagem e marcas d’água visuais para sinalizar vídeos como sintéticos.
“Desde o início da tecnologia e do estabelecimento da Reface como uma empresa, houve um reconhecimento de que a tecnologia de mídia sintética pode ser abusada ou mal utilizada”, disse o documento.
‘SÓ PERPETRADOR RESPONSÁVEL’
O acesso cada vez maior do consumidor a uma computação poderosa por meio de smartphones está sendo acompanhado por avanços na tecnologia deepfake e na qualidade da mídia sintética.
Por exemplo, o fundador da EndTab Dodge e outros especialistas entrevistados pela Reuters disseram que nos primeiros dias dessas ferramentas em 2017, elas exigiam uma grande quantidade de entrada de dados, muitas vezes totalizando milhares de imagens para alcançar o mesmo tipo de qualidade que poderia ser produzida hoje a partir de apenas uma imagem.
“Com a qualidade dessas imagens se tornando tão alta, protestos de ‘não sou eu!’ não são suficientes, e se se parecer com você, então o impacto é o mesmo que se fosse você “, disse Sophie Mortimer, gerente da Revenge Porn Helpline com sede no Reino Unido.
Os legisladores que buscam regulamentar a tecnologia deepfake estão fazendo um progresso irregular, também enfrentados por novos rosnados técnicos e éticos.
Leis especificamente voltadas para o abuso online usando tecnologia deepfake foram aprovadas em algumas jurisdições, incluindo China, Coreia do Sul e Califórnia, onde retratar alguém maliciosamente em pornografia sem seu consentimento, ou distribuir tal material, pode acarretar danos legais de US $ 150.000.
“Ainda falta intervenção legislativa específica ou criminalização da pornografia deepfake”, disseram pesquisadores do Parlamento Europeu em um estudo apresentado a um painel de legisladores em outubro que sugeria que a legislação deveria lançar uma rede mais ampla de responsabilidades para incluir atores como desenvolvedores ou distribuidores. bem como abusadores.
“Da forma como está hoje, apenas o perpetrador é responsável. No entanto, muitos perpetradores vão longe para iniciar tais ataques em um nível anônimo que nem a polícia nem as plataformas podem identificá-los.”
Marietje Schaake, diretora de política internacional do Centro de Política Cibernética da Universidade de Stanford e ex-membro do parlamento da UE, disse que novas leis digitais, incluindo a Lei de IA proposta nos Estados Unidos e o GDPR na Europa, poderiam regular elementos da tecnologia deepfake, mas havia lacunas.
“Embora possa parecer que há muitas opções legais a serem seguidas, na prática é um desafio para a vítima ter poderes para fazê-lo”, disse Schaake.
“O projeto de lei de IA em consideração prevê que o conteúdo manipulado deve ser divulgado”, acrescentou ela.
“Mas a questão é se estar atento faz o suficiente para parar o impacto prejudicial. Se a viralidade das teorias da conspiração é um indicador, informações que são absurdas demais para serem verdadeiras ainda podem ter um impacto social amplo e prejudicial”.
Reportagem de Shane Raymond; Edição de Hazel Baker e Pravin Char
