Em meados de julho de 2020, celebrando o vigésimo aniversário do OpenCV (biblioteca open source mais utilizada na área de visão computacional) foi lançada uma campanha de um mês de duas câmeras denominadas OAK-1 e OAK-D no site Kickstarter.com, que é uma plataforma global de crowdfunding, ou seja, a prática de financiar um projeto ou empreendimento levantando pequenas quantias de dinheiro de um grande número de pessoas, geralmente pela Internet. Veja mais aqui.
A câmera OAK-1 é uma solução de câmera única 4k/30 12 MP que pode fazer inferência neural (classificação de imagem, detecção de objeto, segmentação e muito mais) em tempo real processando diretamente no próprio dispositivo, liberando o host para processar dados específicos da aplicação.
A câmera OAK-D além das características acima e da inferência neural vem com uma câmera estéreo que consegue fazer uma estimativa de profundidade em tempo real, ou seja, medir a distância de um objeto até a câmera. Neste modelo existem 3 câmeras no dispositivo, sendo a do meio uma câmera RGB e um par estéreo.
Para quem estiver interessado em conhecer a matemática por trás do cálculo de distância das câmeras estéreo, indica-se esse link.
O projeto foi chamado de OpenCV AI KIT, administrado pelo Dr. Satya Mallick do site learnopencv.com, atual CEO da organização OpenCV.org, e contou com mais de 6500 apoiadores e foi arrecadado mais de um milhão e trezentos mil dólares, sendo mais de 300 mil dólares em menos de 48 horas da campanha.
Este projeto foi patrocinado também por empresas como Intel, o Azure da Microsoft e atualmente a ferramenta de anotação SuperAnnotate. Veja maiores detalhes aqui.
É um projeto modular e de código aberto licenciado pelo MIT, e o hardware é baseado no novo chip Myriad X da Intel, permitindo adicionar inteligência artificial e visão computacional a produtos comerciais reais.
Não querendo entrar em muitos detalhes técnicos, para utilizar um modelo treinado em um dispositivo OAK é necessário primeiramente converte-lo para uma estrutura compatível DepthAI, utilizando o framework OpenVino para converter o modelo em uma representação intermediária OpenVivo IR para depois enviar para a API do DepthAI para converter-lo em .blob.
Em julho de 2020 foi lançada a primeira competição “OpenCV Spatial AI Competition” patrocinado pela Intel, cujas propostas de projetos receberiam uma câmera estéreo antecipadamente, acesso livre a nuvem da Intel e concorriam a prêmios de 6 mil dólares inicialmente. Foram 235 projetos submetidos na primeira fase, 32 projetos selecionados para a segunda fase, veja no link e finalmente em novembro de 2020, 6 projetos foram premiados no total de 12 mil dólares, cujos ganhadores se encontram nesse link.
Um dos projetos ganhadores do primeiro prêmio, “Vision System for visual impaired” de Jagadish Mahendran, cujo objetivo é fornecer um sistema de percepção inteligente e confiável ara ajudar cegos e deficientes visuais a se locomover com segurança em uma variedade de ambientes externos e internos usando uma câmera OAK-D, está começando a ser mencionado na grande mídia, veja por exemplo este post na Blomberg aqui.
Ressaltamos também que o projeto “At Home Workout Assistant” ganhador de um dos terceiros prêmios foi elaborado por uma equipe de 4 brasileiros, o qual damos nossos sinceros parabéns.
A empresa fabricante das câmeras é a Luxonis e os pedidos em todo mundo começaram a ser entregues em dezembro de 2020 e no meu caso, recebi a minha OAK-D em meados de janeiro deste ano.
Em dezembro de 2020 foi lançada a segunda competição “Spatial AI Competition 2021” desta vez com prêmios de 400 mil dólares, 1200 câmeras OAD-D doadas para os vencedores da primeira fase e 100 horas grátis no Azure da Microsoft e na nuvem da Intel, porém com prêmios divididos em 6 regiões do planeta.
Foram submetidos mais 1400 projetos no final de janeiro de 2020 e no momento em que foi escrito este post, já foram anunciados os 210 projetos selecionados da primeira fase desta competição. Veja aqui.
Em janeiro deste ano foi lançado um mini curso sobre a utilização das câmeras para os apoiadores do projeto.
Em março de 2020 foi lançada a idéia do “AI Model Marketplace” que visa ser um repositório de modelos de inteligência artificial para serem utilizados nas câmeras OAK, no entanto, este site é por enquanto, apenas para convidados.
O pessoal da OpenCV e Luxonis que administram o projeto estão fazendo reuniões semanais com os apoiadores e as mesmas estão sendo postadas no canal “OpenCV AI” do Youtube.
Para quem estiver interessado na compra de algum modelo desta câmera ou acompanhar este projeto e seus desdobramentos, acesse aqui.
Já existem modelos de Inteligência Artificial prontos para serem usados nas câmeras tais como detecção de Faces, Iris, Poses, Pedestres, Veículos, Placas de carros, reconhecimento de emoções, etc, utilizando técnicas recentes como por exemplo, Yolo v3 e v4, OpenPose, SSD, porém novos modelos treinados podem ser utilizados na câmera usando a API do dispositivo.
A documentação oficial das câmeras e da API DepthAI em C++ e Python se encontra aqui.
As câmeras estão sendo utilizadas em vários sistemas para diversas áreas, entre outras como vigilância, educação, agricultura, logística, etc.
Em termos gerais, acredito que estas câmeras serão muito utilizadas em projetos de inteligência artificial, visão computacional e internet das coisas nos próximos anos.
