Como o upscaling da IA pode melhorar as fotos

Índice:

Como o upscaling da IA pode melhorar as fotos
Como o upscaling da IA pode melhorar as fotos
Anonim

Princípios importantes

  • Novos avanços para ampliar imagens podem ajudar em tudo, desde fotos de família até imagens médicas.
  • Os pesquisadores do Google anunciaram que fizeram avanços no uso da IA para aumentar a resolução das fotos.
  • Mas um especialista diz que o software de upscaling pode não ser necessário para fotógrafos.
Image
Image

Novas técnicas que ampliam imagens usando IA podem melhorar tudo, desde fotos até gráficos de videogame, dizem os especialistas.

Os pesquisadores do Google discutiram recentemente os avanços que fizeram para aumentar a resolução das imagens. Os cientistas usaram um modelo de aprendizado de máquina para transformar uma foto de baixa resolução em uma imagem detalhada de alta resolução. Faz parte de uma tendência crescente de usar a IA para melhorar as imagens.

"Estamos vendo um aumento no upscaling alimentado por IA, especialmente em jogos, onde tecnologias como NVIDIA DLSS usam aprendizado de máquina para recriar uma imagem de resolução muito mais alta, que rivaliza e às vezes excede a qualidade das imagens nativas, " o especialista em imagens Ionut-Alexandru Popa disse à Lifewire em uma entrevista por e-mail.

"Esse tipo de upscaling funciona muito bem em jogos de computador, onde consegue usar menos recursos do que renderizar diretamente uma imagem de qualidade superior."

Criando Pixel

O Google vem explorando uma forma de aprimorar fotos usando um método chamado modelos de difusão.

A empresa afirma que esta técnica melhora as tecnologias existentes quando os humanos são solicitados a julgar os resultados. Uma abordagem que o Google usou é chamada SR3, ou Super-Resolution via Repeated Refinement.

"SR3 é um modelo de difusão de super-resolução que recebe como entrada uma imagem de baixa resolução e cria uma imagem de alta resolução correspondente a partir de ruído puro", escreveram os pesquisadores do Google na postagem do blog."O modelo é treinado em um processo de corrupção de imagem no qual o ruído é progressivamente adicionado a uma imagem de alta resolução até que apenas o ruído puro permaneça."

As técnicas de upscaling não são novas e são comumente usadas em aplicativos de edição de fotos, disse Popa.

"Há muitas situações em que você precisa de uma imagem de resolução mais alta, então o upscaling é usado para criar pixels entre os existentes", acrescentou. "A maioria das pessoas não percebe, mas quando assiste TV em sua tela 4K, o sinal de vídeo 1080p é automaticamente aumentado para cobrir toda a tela. Isso é feito automaticamente pelo seu aparelho de TV."

Muitas técnicas atuais são usadas para 'adivinhar' o conteúdo dos novos pixels para que a imagem resultante pareça boa, disse Popa.

"Atualmente, os algoritmos mais usados para upscaling de imagens são os métodos bilinear e bicúbico, que garantem uma transição contínua entre pixels adjacentes, com mudança gradual de cor, mas esse método muitas vezes resulta em perda de nitidez", acrescentou."Isso é parcialmente compensado pela aplicação de uma passagem de nitidez sobre a imagem ampliada."

Há muitas situações em que você precisa de uma imagem de resolução mais alta, então o upscaling é usado para criar pixels entre os existentes.

O upscaling de imagem é crucial para o funcionamento do entretenimento, mídia e internet, disse o fotógrafo Sebastien Coell à Lifewire em uma entrevista por e-mail.

"Por exemplo, em vez de ter que ter vários tamanhos de imagem para uma página da Web, como em um para uso em um telefone, outro para um tablet", disse ele, "se você puder aumentar a imagem de 1080p para 2k ou 4k e essa imagem do telefone para um tablet e 1080p, você de repente reduziu o número de imagens necessárias de 6 para 2."

"Você também economizará o espaço de arquivo necessário dos arquivos grandes de 2k e 4k, reduzindo o tamanho geral de armazenamento de arquivos necessário em cerca de 70-90%."

Não apenas para TV

O upscaling de fotos também pode aumentar a qualidade das fotos e pode até ajudar com imagens médicas. Os desenvolvedores de software dizem que o upscaling pode aumentar a resolução das imagens sem qualquer degradação na qualidade.

Mas, Matic Broz, fundador do site de fotografia Phototutorial, disse à Lifewire em uma entrevista por e-mail que os resultados reais dependem do software usado.

"Recentemente, a IA encontrou seu caminho para o upscaling de imagens, embora eu não esteja impressionado com isso até agora", acrescentou.

Broz disse que o melhor software de upscaling que ele usou é o AI Image Enlarger da Vance AI.

Image
Image

"Mesmo seu upscaler de imagem de 8x não introduz nenhum ruído significativo (que é um aumento de 64x na resolução) ", disse ele. "Espero que os algoritmos só melhorem nos próximos anos, permitindo um upscaling ainda maior."

Para fotógrafos, Broz disse que é uma questão em aberto se os upscalers de imagem são necessários.

"Os desenvolvedores de câmeras estão constantemente melhorando a resolução dos sensores da câmera, agora mesmo com resolução de 100MP+", acrescentou. "Pessoalmente, usei 24MP e cerca de 50MP, e nunca senti a necessidade de imagens maiores, nem mesmo para impressões grandes."

Recomendado: