Por favor, avalie esta postagem
Os pesquisadores do MIT desenvolveram um novo sistema automatizado de IA com maior eficiência computacional e uma pegada de carbono muito menor. O sistema dos pesquisadores treina uma grande rede neural que compreende muitas sub-redes pré-treinadas de diferentes tamanhos que podem ser adaptadas para diversas plataformas de hardware sem retreinamento. Crédito: MIT News, baseado em números cortesia dos pesquisadores
MIT O sistema corta a energia necessária para treinar e operar redes neurais.
A inteligência artificial tornou-se um foco de certas preocupações éticas, mas também apresenta alguns problemas importantes de sustentabilidade.
Em junho passado, pesquisadores da Universidade de Massachusetts em Amherst divulgaram uma surpreendente relatório estimando que a quantidade de energia necessária para treinar e pesquisar uma determinada arquitetura de rede neural envolve as emissões de aproximadamente 626.000 libras de dióxido de carbono. Isso equivale a quase cinco vezes as emissões ao longo da vida do carro médio dos EUA, incluindo a sua fabricação.
Esse problema fica ainda mais grave na fase de implantação do modelo, onde redes neurais profundas precisam ser implantadas em diversas plataformas de hardware, cada uma com propriedades e recursos computacionais diferentes.
Pesquisadores do MIT desenvolveram um novo sistema automatizado de IA para treinar e executar certas redes neurais. Os resultados indicam que, ao melhorar a eficiência computacional do sistema em alguns aspectos importantes, o sistema pode reduzir os quilos de emissões de carbono envolvidos – em alguns casos, até três dígitos.
O sistema dos pesquisadores, que eles chamam de rede de uma vez por todas, treina uma grande rede neural que compreende muitas sub-redes pré-treinadas de diferentes tamanhos que podem ser adaptadas para diversas plataformas de hardware sem retreinamento. Isso reduz drasticamente a energia normalmente necessária para treinar cada rede neural especializada para novas plataformas – que podem incluir bilhões de dispositivos de Internet das Coisas (IoT). Usando o sistema para treinar um modelo de visão computacional, eles estimaram que o processo exigia cerca de 1/1.300 das emissões de carbono em comparação com as abordagens atuais de pesquisa de arquitetura neural de última geração, ao mesmo tempo que reduziu o tempo de inferência em 1,5-2,6 vezes.
“O objetivo são redes neurais menores e mais ecológicas”, diz Song Han, professor assistente do Departamento de Engenharia Elétrica e Ciência da Computação. “A pesquisa de arquiteturas de redes neurais eficientes teve até agora uma enorme pegada de carbono. Mas reduzimos essa pegada em ordens de magnitude com estes novos métodos.”
O trabalho foi realizado no Satori, um cluster de computação eficiente doado ao MIT pela IBM e capaz de realizar 2 quatrilhões de cálculos por segundo. O artigo será apresentado na próxima semana na Conferência Internacional sobre Representações de Aprendizagem. Juntando-se a Han no artigo estão quatro estudantes de graduação e pós-graduação do EECS, do MIT-IBM Watson AI Lab e da Shanghai Jiao Tong University.
Criando uma rede “de uma vez por todas”
Os pesquisadores construíram o sistema com base em um avanço recente de IA chamado AutoML (para automação aprendizado de máquina), o que elimina o projeto manual de rede. As redes neurais procuram automaticamente enormes espaços de design em busca de arquiteturas de rede adaptadas, por exemplo, para plataformas de hardware específicas. Mas ainda há um problema de eficiência de treinamento: cada modelo deve ser selecionado e então treinado do zero para sua arquitetura de plataforma.
“Como podemos treinar todas essas redes de forma eficiente para um espectro tão amplo de dispositivos – de um dispositivo IoT de US$ 10 a um smartphone de US$ 600? Dada a diversidade de dispositivos IoT, o custo computacional da pesquisa de arquitetura neural explodirá”, diz Han.
Os pesquisadores inventaram um sistema AutoML que treina apenas uma única e grande rede “uma vez por todas” (OFA) que serve como rede “mãe”, aninhando um número extremamente alto de sub-redes que são escassamente ativadas na rede mãe. OFA compartilha todos os pesos aprendidos com todas as sub-redes – o que significa que elas vêm essencialmente pré-treinadas. Assim, cada sub-rede pode operar de forma independente no momento da inferência, sem retreinamento.
A equipe treinou uma rede neural convolucional (CNN) OFA – comumente usada para tarefas de processamento de imagens – com configurações arquitetônicas versáteis, incluindo diferentes números de camadas e “neurônios”, diversos tamanhos de filtro e diversas resoluções de imagem de entrada. Dada uma plataforma específica, o sistema utiliza o OFA como espaço de busca para encontrar a melhor sub-rede com base no precisão e compensações de latência que se correlacionam com os limites de potência e velocidade da plataforma. Para um dispositivo IoT, por exemplo, o sistema encontrará uma sub-rede menor. Para smartphones, serão selecionadas sub-redes maiores, mas com estruturas diferentes, dependendo da vida útil da bateria e dos recursos computacionais individuais. OFA separa o treinamento de modelo e a pesquisa de arquitetura e distribui o custo único de treinamento por muitas plataformas de hardware de inferência e restrições de recursos.
Isso se baseia em um algoritmo de “redução progressiva” que treina eficientemente a rede OFA para suportar todas as sub-redes simultaneamente. Ele começa treinando toda a rede com o tamanho máximo e, em seguida, diminui progressivamente os tamanhos da rede para incluir sub-redes menores. Sub-redes menores são treinadas com a ajuda de sub-redes grandes para crescerem juntas. No final, todas as sub-redes com tamanhos diferentes são suportadas, permitindo uma rápida especialização com base nos limites de potência e velocidade da plataforma. Ele oferece suporte a muitos dispositivos de hardware com custo zero de treinamento ao adicionar um novo dispositivo.
No total, um OFA, descobriram os pesquisadores, pode compreender mais de 10 quintilhões – isto é, um 1 seguido de 19 zeros – configurações arquitetônicas, cobrindo provavelmente todas as plataformas já necessárias. Mas treinar o OFA e pesquisá-lo acaba sendo muito mais eficiente do que passar horas treinando cada rede neural por plataforma. Além disso, o OFA não compromete a precisão ou a eficiência da inferência. Em vez disso, ele fornece precisão ImageNet de última geração em dispositivos móveis. E, em comparação com os modelos CNN líderes do setor, os pesquisadores dizem que o OFA fornece aceleração de 1,5 a 2,6 vezes, com precisão superior.
“Essa é uma tecnologia inovadora”, diz Han. “Se quisermos executar IA poderosa em dispositivos de consumo, temos que descobrir como reduzir o tamanho da IA.”
“O modelo é realmente compacto. Estou muito entusiasmado em ver que o OFA pode continuar ampliando os limites do aprendizado profundo eficiente em dispositivos de ponta”, disse Chuang Gan, pesquisador do MIT-IBM Watson AI Lab e coautor do artigo.
“Para que o rápido progresso na IA continue, precisamos reduzir seu impacto ambiental”, diz John Cohn, pesquisador da IBM e membro do MIT-IBM Watson AI Lab. “A vantagem de desenvolver métodos para tornar os modelos de IA menores e mais eficientes é que os modelos também podem ter um desempenho melhor.”