Usando inteligência artificial para melhorar a forma como os vídeos são organizados

A Netra, cofundada por Shashi Kant SM '06, usa inteligência artificial para ajudar as empresas a classificar e gerenciar conteúdo de vídeo.

A qualquer momento, milhares de novos vídeos são postados em sites como YouTube, TikTok e Instagram. Um número crescente desses vídeos está sendo gravado e transmitido ao vivo. Mas as empresas de tecnologia e mídia ainda lutam para entender o que está acontecendo em todo esse conteúdo.

Agora MIT A Netra, fundada por ex-alunos, está usando inteligência artificial para melhorar a análise de vídeo em grande escala. O sistema da empresa pode identificar atividades, objetos, emoções, locais e muito mais para organizar e fornecer contexto aos vídeos de novas maneiras.

As empresas estão usando a solução da Netra para agrupar conteúdo semelhante em rolos de destaque ou segmentos de notícias, sinalizar nudez e violência e melhorar o posicionamento dos anúncios. Na publicidade, a Netra está ajudando a garantir que os vídeos sejam combinados com anúncios relevantes, para que as marcas possam deixar de rastrear pessoas individuais, o que gerou preocupações com a privacidade.

“A indústria como um todo está se voltando para a publicidade baseada em conteúdo, ou o que eles chamam de publicidade de afinidade, e se afastando do rastreamento baseado em cookies e pixels, o que sempre foi meio assustador”, disse o cofundador e CTO da Netra, Shashi Kant SM. '06 diz.

A Netra também acredita que está melhorando a capacidade de pesquisa do conteúdo de vídeo. Depois que os vídeos são processados ​​pelo sistema da Netra, os usuários podem iniciar uma busca com uma palavra-chave. A partir daí, eles podem clicar nos resultados para ver conteúdos semelhantes e encontrar eventos cada vez mais específicos.

Por exemplo, o sistema da Netra pode processar vídeos de uma temporada de beisebol e ajudar os usuários a encontrar todos os solteiros. Ao clicar em determinadas peças para ver mais peças semelhantes, eles também podem encontrar todos os singles que quase foram eliminados e que levaram os fãs a vaiar com raiva.

“O vídeo é de longe o maior recurso de informação hoje”, diz Kant. “Ele supera o texto em ordens de magnitude em termos de riqueza e tamanho de informações, mas ninguém sequer tocou nele com pesquisas. É o espaço em branco mais branco.”

Perseguindo uma visão

O pioneiro da Internet e professor do MIT, Sir Tim Berners-Lee, trabalha há muito tempo para melhorar a capacidade das máquinas de dar sentido aos dados na Internet. Kant pesquisou com Berners-Lee quando era estudante de pós-graduação e foi inspirado por sua visão de melhorar a forma como a informação é armazenada e usada pelas máquinas.

“O Santo Graal para mim é um novo paradigma na recuperação de informação”, diz Kant. “Sinto que a pesquisa na web ainda é 1.0. Até o Google é 1.0. Essa tem sido a visão da iniciativa de web semântica de Sir Tim Berners-Lee e foi isso que tirei dessa experiência.”

Kant também foi membro da equipe vencedora da Competição de Empreendedorismo de US$ 100 mil do MIT (na época, os US$ 50 mil do MIT). Ele ajudou a escrever o código de computador para uma solução chamada Active Joint Brace, que era um dispositivo ortopédico eletromecânico para pessoas com deficiência.

Depois de se formar em 2006, Kant abriu uma empresa que usava IA em sua solução chamada Cognika. A IA ainda tinha má reputação por ser exagerada, então Kant usava termos como computação cognitiva ao apresentar sua empresa a investidores e clientes.

Kant iniciou a Netra em 2013 para usar IA para análise de vídeo. Hoje em dia, ele tem que lidar com o extremo oposto do espectro do hype, com tantas startups alegando que usam IA em suas soluções.

Netra tenta acabar com o hype com demonstrações de seu sistema. Netra pode analisar vídeos rapidamente e organizar o conteúdo com base no que está acontecendo em diferentes clipes, incluindo cenas em que as pessoas estão fazendo coisas semelhantes, expressando emoções semelhantes, usando produtos semelhantes e muito mais. A análise da Netra gera metadados para diferentes cenas, mas Kant diz que o sistema da Netra fornece muito mais do que marcação de palavras-chave.

“Trabalhamos com incorporações”, explica Kant, referindo-se à forma como seu sistema classifica o conteúdo. “Se há uma cena de alguém fazendo um home run, há uma certa assinatura nisso, e geramos uma incorporação para isso. Uma incorporação é uma sequência de números, ou um 'vetor', que captura a essência de um conteúdo. Tags são apenas representações disso legíveis por humanos. Então, treinaremos um modelo que detecte todos os home runs, mas por baixo da cobertura há uma rede neural, e ela cria uma incorporação desse vídeo, e isso diferencia a cena de outras maneiras de uma saída ou uma caminhada.”

Ao definir as relações entre diferentes clipes, o sistema da Netra permite que os clientes organizem e pesquisem seu conteúdo de novas maneiras. As empresas de mídia podem determinar os momentos mais emocionantes dos eventos esportivos com base nas emoções dos torcedores. Eles também podem agrupar o conteúdo por assunto, localização ou se os clipes incluem ou não conteúdo sensível ou perturbador.

Essas habilidades têm implicações importantes para a publicidade online. Uma empresa de publicidade que representa uma marca como a empresa de roupas para atividades ao ar livre Patagonia poderia usar o sistema da Netra para colocar os anúncios da Patagonia próximos ao conteúdo de caminhadas. As empresas de mídia poderiam oferecer a marcas como a Nike espaço publicitário em torno de clipes de atletas patrocinados.

Estas capacidades estão a ajudar os anunciantes a aderir às novas regulamentações de privacidade em todo o mundo que impõem restrições à recolha de dados sobre pessoas individuais, especialmente crianças. Direcionar anúncios a determinados grupos de pessoas e rastreá-los na web também se tornou controverso.

Kant acredita que o motor de IA da Netra é um passo no sentido de dar aos consumidores mais controlo sobre os seus dados, uma ideia há muito defendida por Berners-Lee.

“Não é a implementação do meu trabalho no CSAIL, mas eu diria que as ideias conceituais que eu estava perseguindo no CSAIL se concretizaram na solução da Netra”, diz Kant.

Transformando a maneira como as informações são armazenadas

A Netra atualmente conta com algumas das maiores empresas de mídia e publicidade do país como clientes. Kant acredita que o sistema da Netra poderá um dia ajudar qualquer pessoa a pesquisar e organizar o crescente oceano de conteúdo de vídeo na Internet. Para isso, ele vê a solução da Netra continuando a evoluir.

“A pesquisa não mudou muito desde que foi inventada para a web 1.0”, diz Kant. “No momento, há muitas pesquisas baseadas em links. Os links estão obsoletos na minha opinião. Você não quer visitar documentos diferentes. Você deseja que as informações desses documentos sejam agregadas em algo contextual e personalizável, incluindo apenas as informações de que você precisa.”

Kant acredita que tal contextualização melhoraria muito a forma como a informação é organizada e compartilhada na internet.

“Trata-se de confiar cada vez menos em palavras-chave e cada vez mais em exemplos”, explica Kant. “Por exemplo, neste vídeo, se Shashi faz uma declaração, é porque ele é um maluco ou há mais do que isso? Imagine um sistema que pudesse dizer: 'Este outro cientista disse algo semelhante para validar essa afirmação e este cientista respondeu de forma semelhante a essa pergunta.' Para mim, esse tipo de coisa é o futuro da recuperação de informações e essa é a paixão da minha vida. É por isso que vim para o MIT. É por isso que passei uma década e meia da minha vida lutando nesta batalha da IA, e é isso que continuarei a fazer.”