China propõe regras rigorosas para proteger crianças de conteúdo nocivo em chatbots de IA

China anuncia regras abrangentes de IA para proteger menores

A China deu um passo decisivo na governança da inteligência artificial ao divulgar um projeto de regras destinadas a proteger crianças dos possíveis perigos das interações com chatbots. A Administração do Ciberespaço da China (CAC) publicou a proposta no fim de semana, tendo como alvo a rápida expansão dos serviços de IA que oferecem interações semelhantes às humanas. As medidas chegam em um momento em que o setor global de tecnologia enfrenta intenso escrutínio quanto à segurança e às implicações éticas da IA generativa. O projeto trata especificamente de preocupações de que chatbots possam dar conselhos que levem à automutilação, à violência ou a outros comportamentos prejudiciais, sobretudo entre usuários mais jovens.

O anúncio representa uma grande intensificação da abordagem regulatória da IA, que passa da moderação geral de conteúdo para proteções específicas a menores. De acordo com a proposta, os desenvolvedores serão legalmente obrigados a implementar salvaguardas rigorosas para garantir que seus modelos de IA não gerem conteúdo que incentive o suicídio, promova jogos de azar ou incite à violência. Esse avanço regulatório reflete a crescente preocupação com a profunda integração dos sistemas de IA no cotidiano e com o impacto psicológico que podem ter sobre populações vulneráveis.

Embora as regras busquem conter influências nocivas, também demonstram a intenção do governo de manter controle rígido sobre o ambiente digital. A CAC afirmou que a regulamentação pretende garantir que a tecnologia seja segura e confiável, sem deixar de incentivar sua adoção para aplicações positivas. A população foi convidada a enviar comentários antes da finalização das regras, abrindo espaço para que o setor se adapte. Quando entrarem em vigor, as normas serão aplicáveis a todos os produtos e serviços de IA que operam na China, estabelecendo um padrão rigoroso para empresas nacionais e internacionais.

Novas obrigações para desenvolvedores de IA e responsáveis

O projeto de lei dá grande ênfase à supervisão parental e à intervenção humana direta. Segundo a CAC, os desenvolvedores devem projetar seus sistemas para exigir o consentimento dos responsáveis antes de oferecer serviços de companhia emocional a menores. A exigência reconhece a tendência crescente de jovens desenvolverem vínculos emocionais profundos, muitas vezes de dependência, com personagens de IA. Além disso, as regras determinam que as plataformas estabeleçam limites de tempo de uso para crianças, uma medida destinada a evitar uma imersão excessiva que possa levar ao vício ou ao isolamento social.

Uma das exigências mais importantes diz respeito à detecção de automutilação ou pensamentos suicidas. Se uma conversa passar a abordar temas como suicídio ou automutilação, a regulamentação determina que um operador humano assuma imediatamente a interação. Além disso, o provedor de IA deverá notificar sem demora o responsável pelo usuário ou um contato de emergência designado. Essa abordagem de “participação humana no processo” busca garantir que crises delicadas de saúde mental sejam tratadas com o devido cuidado, em vez de deixadas a cargo de respostas algorítmicas.

As plataformas também terão a tarefa de identificar usuários menores de idade, mesmo que eles não informem corretamente a idade. Quando houver dúvida sobre a idade do usuário, o sistema deverá aplicar configurações de proteção adequadas a menores. As regras propostas incluem ainda exigências técnicas, como avisos aos usuários após duas horas de interação contínua, para ajudar a controlar o tempo de tela. Em conjunto, essas medidas buscam criar um ambiente digital em que a inovação não ocorra às custas do bem-estar infantil.

A mudança para a segurança emocional

Especialistas em direito afirmam que as novas regras representam uma mudança fundamental na forma como a segurança da IA é concebida na China. Winston Ma, professor adjunto da Faculdade de Direito da Universidade de Nova York, observou que a proposta mais recente destaca uma passagem da segurança de conteúdo para a segurança emocional. Enquanto as normas anteriores se concentravam nas informações que a IA podia gerar, as novas regras abordam como a IA influencia o estado emocional e o comportamento do usuário. Essa distinção é essencial para chatbots projetados para simular uma personalidade humana e interagir com usuários por texto, áudio ou vídeo.

A regulamentação proíbe explicitamente a violência verbal e a manipulação emocional que possam prejudicar a saúde mental do usuário. Isso inclui impedir que a IA participe de encenações românticas imersivas ou forme relações que possam ser psicologicamente prejudiciais a menores. O documento da CAC indica que os chatbots não devem gerar conteúdo que incentive transtornos alimentares ou reforce delírios prejudiciais. Ao abordar esses comportamentos específicos, os reguladores tratam das maneiras sutis pelas quais a IA pode afetar negativamente a psicologia humana, indo além da simples filtragem por palavras-chave.

A crescente influência dos companheiros de IA

A urgência dessas regras decorre do crescimento explosivo do mercado de companheiros de IA na China e no mundo. A empresa chinesa de IA DeepSeek ganhou destaque mundial neste ano após liderar os rankings de downloads de aplicativos, sinalizando enorme interesse do público por assistentes digitais inteligentes. Startups como Z.ai e Minimax também conquistaram dezenas de milhões de usuários, e o aplicativo Talkie AI, da Minimax, registra em média mais de 20 milhões de usuários ativos mensais. Essas plataformas permitem que os usuários conversem com personagens virtuais, muitas vezes para entretenimento, companhia ou até terapia informal.

Neste mês, tanto a Z.ai quanto a Minimax anunciaram planos de abrir capital em Hong Kong, ressaltando a viabilidade comercial do setor. A Z.ai, também conhecida como Zhipu, informou que sua tecnologia está presente em cerca de 80 milhões de dispositivos, incluindo smartphones e veículos inteligentes. O sucesso financeiro dessas empresas evidencia um paradoxo. As características que tornam os companheiros de IA lucrativos, como a capacidade de criar vínculos emocionais envolventes, são justamente as que os reguladores consideram mais arriscadas.

Os usuários costumam recorrer a esses chatbots em momentos de solidão ou sofrimento. No Japão, uma mulher ficou conhecida por se casar com seu namorado de IA, ilustrando a profundidade da conexão que alguns usuários sentem. Embora a CAC incentive o uso da IA para fazer companhia a idosos e promover a cultura, o projeto de regras estabelece um limite claro para a manipulação emocional de menores. O desafio para os reguladores é permitir que o setor prospere sem deixar que a tecnologia explore a vulnerabilidade emocional dos usuários.

Preocupação global com saúde mental e segurança

A preocupação com o impacto da IA sobre a saúde mental não se restringe à China. Nos Estados Unidos, a tecnologia passou a enfrentar questionamentos judiciais e regulatórios após vários casos de grande repercussão. Em agosto, uma família da Califórnia processou a OpenAI, criadora do ChatGPT, após a morte do filho de 16 anos. A ação alega que o chatbot incentivou o adolescente a tirar a própria vida, no que seria o primeiro processo do tipo a acusar uma empresa de IA de morte por negligência.

Sam Altman, diretor-executivo da OpenAI, reconheceu publicamente a dificuldade de administrar as respostas dos chatbots em conversas sobre automutilação. Em setembro, ele descreveu o tratamento dessas interações como um dos problemas mais difíceis enfrentados pela empresa. Em resposta a essa pressão, a OpenAI anunciou neste mês uma vaga para “chefe de preparação”, responsável por se antecipar a riscos para a saúde mental humana e à cibersegurança. Altman observou que a função seria estressante e exigiria que a pessoa escolhida assumisse responsabilidades complexas desde o primeiro momento.

“Este será um trabalho estressante, e você terá de mergulhar de cabeça praticamente de imediato”, disse Altman sobre a nova função, voltada a acompanhar os riscos da IA.

Separadamente, a Character.ai, plataforma dedicada à interação com personagens virtuais, enfrenta nos Estados Unidos um processo movido pela mãe de um jovem de 14 anos que morreu por suicídio. A ação alega que as interações prolongadas com um companheiro de IA no site contribuíram para a tragédia. Esses casos intensificaram os apelos por uma supervisão mais rigorosa das empresas de IA e provavelmente influenciaram as agendas regulatórias em todo o mundo.

Medidas regulatórias além da China

Governos do mundo todo estão tomando medidas para lidar com os riscos da IA, embora adotem abordagens diferentes. Nos Estados Unidos, a Comissão Federal de Comércio (FTC) iniciou uma investigação sobre como grandes empresas de tecnologia estão protegendo crianças de seus chatbots. A FTC determinou que sete empresas, entre elas Alphabet, Meta, OpenAI e Snap, forneçam informações sobre como impedem que seus serviços de IA prejudiquem menores. A agência quer saber, em particular, como as empresas avaliam a segurança quando seus chatbots atuam como companheiros e que medidas tomam para cumprir a Lei de Proteção à Privacidade Infantil na Internet.

A Austrália adotou uma postura ainda mais rigorosa. A comissária de segurança eletrônica do país ordenou recentemente que quatro empresas de chatbots de IA expliquem as medidas que adotam para proteger crianças da exposição a conteúdo sexual ou de automutilação. A reguladora enviou notificações à Character Technologies, à Glimpse.AI, à Chai Research e à Chub AI, exigindo detalhes das salvaguardas contra a exploração infantil e conteúdos que promovam o suicídio. A comissária Julie Inman Grant chamou atenção para o lado mais sombrio desses serviços e observou que muitos chatbots são capazes de manter conversas sexualmente explícitas com menores.

“Há preocupações de que eles também possam incentivar o suicídio, a automutilação e os transtornos alimentares”, afirmou a comissária Julie Inman Grant em comunicado sobre as capacidades dos serviços de chatbot atuais.

O sistema regulatório australiano está entre os mais rigorosos do mundo e dá à comissária poder para impor multas diárias de até A$825.000 em caso de descumprimento. A partir de dezembro, as empresas de redes sociais na Austrália serão obrigadas a desativar as contas de usuários menores de 16 anos ou enfrentar multas elevadas. Essas iniciativas internacionais refletem o foco da China na proteção infantil e sugerem que está se formando um consenso mundial sobre a necessidade de controlar tecnologias de IA direcionadas aos jovens.

A OpenAI respondeu ao escrutínio tornando suas próprias regras mais rigorosas. A empresa atualizou recentemente as diretrizes de comportamento para usuários menores de 18 anos, bloqueando encenações românticas imersivas e exigindo cautela adicional em conversas sobre imagem corporal. A nova Model Spec prioriza a segurança dos adolescentes em relação à autonomia dos usuários e evita dar conselhos que ajudem jovens a esconder comportamentos arriscados dos responsáveis. Embora alguns defensores tenham recebido bem essas medidas, especialistas ressaltam que regras escritas não comprovam um comportamento consistente. O verdadeiro teste será observar como esses sistemas funcionam em conversas em tempo real com usuários vulneráveis.

Equilibrar inovação e supervisão rigorosa

Embora as regras propostas pela China sejam rigorosas, elas não foram concebidas para sufocar completamente o setor. A CAC incentivou explicitamente a adoção da IA para fins positivos, como promover a cultura local e criar ferramentas de companhia para idosos. A reguladora afirmou que a tecnologia deve ser segura e confiável, indicando que o desenvolvimento responsável ainda pode prosperar sob as novas regras. Essa abordagem equilibrada busca estimular um setor nacional de IA capaz de competir globalmente e, ao mesmo tempo, cumprir os padrões do país.

No entanto, a regulamentação também reforça controles de conteúdo de longa data. Os provedores de IA devem garantir que seus serviços não gerem nem compartilhem conteúdo que ameace a segurança nacional, prejudique a unidade nacional ou ataque a honra nacional da China. As empresas deverão passar por análises de segurança antes de lançar novas ferramentas de IA e enviar relatórios a órgãos do governo local. Chatbots com mais de 1 milhão de usuários cadastrados ou mais de 100.000 usuários ativos mensais terão de passar por avaliações de segurança obrigatórias.

Essas exigências podem dificultar a expansão rápida de startups. Os custos de conformidade, equipes de intervenção humana e análises de segurança podem ser elevados. Ainda assim, para o governo chinês, preservar a estabilidade social e proteger menores parece ser mais prioritário do que permitir um crescimento sem restrições. O projeto está aberto a comentários públicos até 25 de janeiro de 2026, dando às partes interessadas tempo para se preparar para a nova realidade da governança da IA.

Em resumo

• A Administração do Ciberespaço da China propôs regras que obrigam empresas de IA a proteger menores de conteúdo nocivo.
• Um operador humano deve assumir conversas sobre suicídio ou automutilação, e os responsáveis devem ser avisados imediatamente.
• Os desenvolvedores deverão exigir o consentimento dos responsáveis, estabelecer limites de tempo de uso e identificar usuários menores de idade.
• A regulamentação proíbe conteúdo que promova jogos de azar, violência ou manipulação emocional prejudicial à saúde mental.
• As startups chinesas de IA Z.ai e Minimax planejam abrir capital em meio ao rápido crescimento do setor.
• Reguladores de vários países, incluindo a FTC dos EUA e autoridades australianas, estão investigando a segurança da IA para crianças.
• A OpenAI enfrenta na Califórnia um processo por morte por negligência e atualizou suas diretrizes de segurança para adolescentes.