Olá! Esta é a segunda edição, a 2.0, dessa newsletter. E já começo a achar que periodicidade semanal é demais... em especial, sexta-feira pode não ser uma boa escolha – já que é justamente quando me informo por outras newsletters.
Não perca a última seção - onde analisamos o real significado de “Ô, Milla” do cantor Netinho.
Balanço da semana
- Guerra Rússia x Ucrânia
Mais de um ano depois, as pessoas parecem ter normalizado a guerra. Algo que me tem chamado atenção: o comportamento belicoso do mandatário russo é revoltante, mas há um tom estranhamente agressivo na mídia europeia e americana que tenho acompanhado – como “tambores rufando”. E, na última semana tivemos um encontro relevante entre os Chefes de Estado de Rússia e China, ataques suspeitos de drones próximos a Moscou (o que não me parece fazer absolutamente nenhum sentido para a Ucrânia), nova convocação de 147 mil soldados russos, aprovação da Finlândia na OTAN, e sinalizações de que a decisão do Reino Unido de enviar munição com urânio enriquecido à Ucrânia poderia levar a um confronto global.
É claro que um confronto aberto entre OTAN e Rússia seria uma estupidez de proporções catastróficas (com ou sem participação de outras nações)... mas ninguém dá sinal de recuar.
Notícias positivas
- The Long View foi revisado no Sunday Times
Fisher, editor da BBC Future e entusiasta da geologia, despejou uma década de pensamento sobre essa questão em The Long View. O resultado é uma pesquisa erudita de um assunto que ele acredita que poderia decidir o destino da humanidade..."
Destaque no Vox Future Perfect sobre por que a visão de longo prazo precisa de pluralismo
- A Assembleia-Geral das Nações Unidas aprovou a resolução da Iniciativa Vanuatu, com uma consulta à Corte Internacional de Justiça sobre as responsabilidades dos estados emissores em relação às nações mais expostas às mudanças climáticas e em relação às gerações presentes e futuras. Publiquei um pequeno ensaio sobre o assunto no Conjur no início deste mês. O assunto tem sido ignorado pela mídia.
Inteligência Artificial
Carta aberta do Future of Life Institute para parar o treinamento de todos os modelos avançados de inteligência artificial por seis meses a fim de termos tempo de regular o tema. Eliezer Yudkowsky acha que isso é pouco: deveria ser por tempo indeterminado – e deveríamos estar dispostos a usar a força para garantir a moratória.
Pessoalmente, é muito provável que Yudkowsky esteja errado, mas não consigo deixar de pensar no argumento de Pascal[1] em favor da religião... se o alerta estiver errado, tudo o que ele perde é sua reputação; mas, se estiver correto (ainda que isso seja improvável) todos estamos em grave risco. Com importante diferença: o argumento de Yudkowsky não requer nenhuma causa sobrenatural; na verdade, a ideia de que sistemas avançados de inteligência artificial podem ser perigosos me prece bastante razoável – p. ex., imagine que, ao invés da OpenAI, o GPT-4 houvesse sido lançado pelo governo da Coreia do Norte...
Isso implica que, se você não se sente desconfortável com o atual cenário, é porque confia que as principais empresas da área, concentradas numa região específica do globo, tem interesses alinhados aos seus – mesmo que elas demonstrem estar numa espécie de “corrida armamentista”, sem qualquer regulação relevante, para ver quem dominará o campo. É difícil imaginar que sistemas avançados de IA não terão impactos socioeconômicos significativos nos próximos anos – comparáveis aos da eletricidade e da energia nuclear. Pessoalmente, a principal objeção que vejo contra esta moratória é que, na realidade, seus promotoras são pessoas que temem perder essa corrida... De fato, noto que pessoas que há pouco tempo diziam que segurança de IA era uma prioridade hoje estão integralmente dedicadas ao desenvolvimento da tecnologia – i.e., a abordagem deles é “chegar primeiro”.
Leitura
Consegui dar uma olhada no How much should governments pay to prevent catastrophes? Longtermism’s limited role de EJT e CarlShulman. Há um ótimo resumo aqui. trata-se de um preprint do capítulo de um livro no prelo: Shulman, Carl & Thornley, Elliott (forthcoming). How Much Should Governments Pay to Prevent Catastrophes? Longtermism's Limited Role. In Jacob Barrett, Hilary Greaves & David Thorstad (eds.), Essays on Longtermism. Oxford University Press.
Conquanto concorde com o argumento geral, acho a conclusão um tanto inocente; governos exibem ata aversão a risco em alguns aspectos porque precisam se reeleger, e ignoram análises de custo-benefício (ACB), principalmente com referência ao valor da vida estatística, porque elas conflitam com suas outras prioridades – com compromissos políticos, com políticas eleitoreiras, com suas intuições, etc. Considerações de longo-prazo podem influenciar importantes aspectos da tomada de decisão, como a taxa de desconto utilizada, ou as intuições do tomador de decisão.
Por exemplo, suponha que estejamos decidindo se uma parte da infraestrutura deve resistir a um evento (e.g., um terremoto) que ocorre uma vez a cada cem anos; se perguntarmos aos indivíduos vivos hoje, pode ser que considerem que essa precaução não vale a pena: se você espera utilizar essa infraestrutura por 25 anos, então a probabilidade (acumulada) de observar um tal evento é menor que 25%. Logo, pode ser mais interessante para você que a sociedade invista em outra coisa. No entanto, se tivermos em conta que essa infraestrutura será utilizada por um século, então é quase certo que alguém será prejudicado por este evento.
Em resumo, nós não compramos seguro contra eventos com probabilidades muito baixas (mas ainda relevantes), porque não esperamos observar o respectivo sinistro durante nossa expectativa de vida; mas trabalhar com linhas do tempo mais longas permite “transferir” um argumento sobre probabilidades subjetivas para algo mais similar a uma discussão sobre frequências. Mesmo que esse raciocínio não faça tanto sentido sob a teoria da utilidade esperada, ele faz sentido para tomadores de decisão em democracias.
Próxima leitura - destaque: Revista piauí #199
Saiu hoje. Na próxima semana, talvez haja um resumo das seguintes matérias:
- A formação de uma aliança da ultradireita, que reúne legendas da Espanha, Itália, Alemanha, Holanda e Portugal, à qual Jair Bolsonaro quer se integrar (A Internacional da ultradireta, de João Gabriela de Lima)
- O bioquímico Olavo Amaral escreve um artigo refletindo sobre o significado que a inteligência artificial, na forma de invenções como o ChatGPT, pode ter para o destino da humanidade (As formas intermediárias)
- Bernardo Esteves relata o que as cidades – no Brasil e no mundo – estão fazendo para evitar catástrofes climáticas (Antes da chuva)
- Destaque para a seção Cartas:
Eventos
Próximo seminário do IEAC Unifesp:
1º de Abril – por favor, não leve a sério
Na falta de pular carnaval neste ano, passei muito tempo refletindo, e concluí que a letra de "O Milla" (1996), do profético Netinho, é uma descrição de um cenário apocalíptico em que falhamos em mitigar riscos catastróficos.
Primeiro, o título é uma óbvia referência ao Mila - Quebec AI Institute, um dos centros de pesquisa do tema, onde trabalham autoridades do assunto como Yoshua Bengio. Notem que o cantor usa o artigo masculino "o" antes do nome "Milla"; não se deixem enganar por um “L” a mais – eu mesmo nunca sei quantos “Ls” há no meu nome.
Outras “mensagens” ao leitor atento:
“Destino te mandou de volta para o meu cais” – uma menção clara ao modelo CAIS – Comprehensive AI Services, conforme relatório do FHI.
“No coração ficou lembrança de nós dois / como ferida aberta, como tatuagem”. Esse é um Easter Egg para os iniciados: trata-se de uma menção velada a um excerto de Eliezer Yudkowsky (acho?) no qual ele supõe que uma AGI poderia facilmente resolver o protein folding problem e espalhar príons que, como uma bomba-relógio, danificariam as artérias coronárias de todos os humanos num determinado momento. Netinho é um artista verdadeiramente visionário.
“Na praia, no barco, no farol apagado, no moinho abandonado” – aqui o artista descreve de forma ambígua o cenário pós-catástrofe, onde os sobreviventes se deslocam por uma infraestrutura abandonada que evoca mudanças climáticas e substituição da matriz energética. Estaria o artista discutindo nossa preocupação com o aquecimento global, ou, pelo contrário, a adaptação a um cenário pós-catástrofe (como um inverno nuclear? Geoengenharia que deu errado?) onde dependeríamos de outras fontes de comida e energia? Acho a segunda alternativa mais provável; repare na próxima referência.
“Vendo estrelas caindo, vendo a noite passar...” – óbvia menção a mísseis com ogivas nucleares, cujas explosões teriam lançado partículas na atmosfera, obscurecendo o sol e causando um inverno nuclear.
“Eu e vocêêêeeeê, na ilha do sol”. Seguindo essa linha, os refugiados se deslocaram para os trópicos, fugindo à nova era do gelo, e procuraram posições protegidas, como ilhas.
O que aconteceu? Uma possibilidade é que uma corrida armamentista envolvendo a inteligência artificial levou a uma guerra nuclear; outra, ainda mais sombria, é que uma IA saiu do controle, levando os humanos a responder com uma destruição generalizada da infraestrutura.
[1] Algo bastante distinto do que EA’s e longotermistas chamam de Pascal’s wager e Pascal’s mugger – i.e., situações em que probabilidades absurdamente pequenas de grandes impactos demandam grandes sacrifícios.