Respostas no Fórum
- Posts
Olá Rodrigo! No bloco de código onde apareceu esse erro, substitua “runwayml/stable-diffusion-inpainting” por “botp/stable-diffusion-v1-5-inpainting”, o endereço oficial do modelo parece que está apresentando problemas nesse momento.
E caso ocorra algum outro erro nessa mesma parte, troque o comando de instalação no topo (o primeiro bloco de código) por esse:
!pip install torch==2.1.0+cu121 torchvision==0.16.0+cu121 torchaudio==2.1.0 torchtext==0.16.0+cpu torchdata==0.7.0 --index-url https://download.pytorch.org/whl/cu121
Na dúvida você pode conferir aqui o Colab da aula
Olá, este problema parece ser uma incompatibilidade bem recente que passou a ocorrer nessa última semana entre a versão CUDA do Colab e a biblioteca jax, parece que até o momento não há uma solução oficial por parte dos desenvolvedores mas já estamos tentando encontrar uma alternativa para que a função funcione corretamente no Colab sem essas mensagens. Enquanto isso, como alternativa você tem duas opções:
1) Executar em sua máquina local. Você pode usar o mesmo código, apenas certifique-se de instalar as bibliotecas necessárias antes de rodar. Recomendamos o uso do Jupyter Notebook para que você possa reutilizar o notebook fornecido na aula.
2) Use o Kaggle em vez do Colab. A ideia é basicamente a mesma, mas caso tenha dúvidas faça o seguinte:
* Acesse os Notebooks do Kaggle (link). Faça login ou cadastre-se rápido caso não tenha uma conta.
* Clique em “New Notebook”
* Selecione File > Import Notebook
* Selecione o arquivo .ipynb nos materiais da aula (ou baixe-o diretamente clicando em Arquivo > Fazer Download > Baixar o .ipynb , dentro do Colab da aula).
* Arraste e solte o arquivo .ipynb e clique em Importar.
Se tiver alguma dúvida sobre a instalação local ou o uso do Kaggle, sinta-se à vontade para entrar em contato conosco. Enquanto isso, estamos tentando encontrar uma solução alternativa para que funcione corretamente no Colab de forma gratuita.
Olá Rodrigo!
Devido a algumas mudanças recentes no Colab é necessário um pequeno ajuste para evitar o erro, lá no topo do arquivo. Deixe os comandos de instalação desse modo abaixo, conforme está no Colab da seção (link aqui)
!pip install numpy==1.26.4 !pip install "jax[cuda12_local]==0.4.23" -f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html
!pip install torch==2.1.0+cu121 torchvision==0.16.0+cu121 torchaudio==2.1.0 torchtext==0.16.0+cpu torchdata==0.7.0 --index-url https://download.pytorch.org/whl/cu121
!wget -q https://github.com/ShivamShrirao/diffusers/raw/main/examples/dreambooth/train_dreambooth.py !wget -q https://github.com/ShivamShrirao/diffusers/raw/main/scripts/convert_diffusers_to_original_stable_diffusion.py %pip install -qq git+https://github.com/ShivamShrirao/diffusers %pip install -q -U --pre triton %pip install -q accelerate transformers ftfy bitsandbytes gradio natsort safetensors xformers %pip install huggingface_hub==0.25.2
Caso tenha alguma dúvida ou se aparecer algum erro nos avise
Ah sim, mas então com essa correção agora deve funcionar normal!
Se mesmo assim você notar mais algum erro, pode tentar ver direto pelo Colab no link que te passei, ou mande aqui o seu código completo que daremos uma olhada
Olá Silvio!
Só para certificar: na sua dúvida você comentou “no código final aparecem 5 imagens”, no caso refere ao código apresentado ao final da aula “Detecção de faces com haarcascade e OpenCV”? E quais são essas imagens que aparecem para você? É a mesma imagem porém repetida?
Pela sua descrição, acredito que o problema deve ser a indentação do cv2_imshow(imagem), que no seu código ficou dentro do loop “for” mas deveria ficar fora (e por isso a imagem é exibida várias vezes – nesse caso, a quantidade de vezes exibida corresponde à quantidade de faces detectadas na imagem)
Se quiser comparar com o seu, aqui está o código da aula:
imagem = cv2.imread('/content/drive/MyDrive/Images/people1.jpg') imagem = cv2.resize(imagem, (800, 600)) imagem_cinza = cv2.cvtColor(imagem, cv2.COLOR_BGR2GRAY) deteccoes = detector_facial.detectMultiScale(imagem_cinza, scaleFactor=1.09) for (x, y, w, h) in deteccoes: cv2.rectangle(imagem, (x, y), (x + w, y + h), (0,255,0), 5) cv2_imshow(imagem)outra opção é conferir o código acessando direto o Colab dessa seção (link aqui)
Olá Celso! Pode ser um bug da biblioteca no Colab, testei agora o código com a versão mais recente e funcionou corretamente. Testei o mesmo código da seção (link aqui)
Tente desinstalar o bitsandbytes e instalar novamente de outro modo, segue o comando abaixo:
!pip uninstall bitsandbytes
!python -m pip install bitsandbytes --prefer-binary --extra-index-url=https://jllllll.github.io/bitsandbytes-windows-webui
E reinicie a sessão do Colab logo após executar o comando (provavelmente ele vai pedir automaticamente, daí basta clicar no botão que aparecer na tela para reiniciar)
Caso não funcione, outro comando que costuma resolver é esse:
!pip install bitsandbytes-cuda110 bitsandbytes
(execute bem no começo do Colab e reinicie a sessão antes)
Teste e me avise se não funcionar
Olá Douglas,
Obrigado pela sua sugestão! Essa funcionalidade já está no planejamento de futuras atualizações. No entanto, devido a limitações no player de vídeo, ainda não foi possível implementá-la de modo que afete todas as aulas, mas a intenção é sim adicioná-la assim que viável.
Oi Paulo! Ainda não, não há uma correção por parte dos desenvolvedores da biblioteca que torne compatível com a versão CUDA do Colab. Recomendamos usar a alternativa com o HOG, que possui maior compatibilidade entre sistemas e performa bem. Se preferir o CNN, pode tentar executar em ambiente local ou em outro cloud provider que não seja o Colab.
Olá, obrigado pelo comentário! O histórico foi adicionado à pipeline na chain de contextualização (que tem o objetivo de utilizar as mensagens anteriores e a última pergunta feita para reformulá-la, caso faça referência a informações já mencionadas no histórico). Dessa forma, se a pergunta do usuário depender de algo do histórico, o modelo poderá reconstruí-la corretamente antes da busca nos documentos. Mas reforçar o histórico na chain de perguntas & respostas pode ser bom nessa situação que você citou.
Como esse projeto foca em interações com documentos/PDFs, o principal objetivo é contextualizar a resposta com base nas informações recuperadas e no histórico do chat relacionado a esses documentos. No entanto, sua adaptação faz bastante sentido se a intenção for criar um chatbot que precise lembrar de informações gerais que o usuário forneceu durante a conversa e que não estão de nenhum modo relacionados ao conteúdo ou tema dos PDFs carregados.
Olá Michael!
O history_aware_retriever sempre retorna documentos porque seu comportamento padrão é recuperar informações mesmo que a similaridade com a consulta seja baixa, e como o objetivo do projeto é conversar com documentos então é esperado que sempre haja algum PDF para ser consultado como referência. Para filtrar apenas documentos realmente relevantes, você pode alterar parâmetros do search_kwargs do retriever: ajustar k (número de documentos retornados) e fetch_k (número de documentos inicialmente buscados) pode ajudar a filtrar melhor as respostas (por exemplo, diminuir k para 1 retornaria apenas o documento mais relevante). O código usa o método mmr para recuperação, mas você pode customizar os parâmetros para melhorar a relevância dos resultados. Você pode ainda testar outros métodos de busca, como similarity ou similarity_score_threshold, dependendo do comportamento desejado para o retriever.
Outra opção seria filtrar a resposta com base na pontuação de similaridade (score) que é obtida entre a pergunta e os documentos. Você poderia definir um limiar (threshold) de similaridade para filtrar apenas os documentos que tenham uma pontuação acima de um determinado valor.
Exemplo:
query = "A pergunta aqui..." docs_and_scores = faiss_index.similarity_search_with_score(query, k=5) threshold = 0.7 # ajuste conforme necessário relevant_docs = [doc for doc, score in docs_and_scores if score > threshold]
Quanto a transformar o retriever em uma Tool dentro de um Agent, isso pode ser uma abordagem válida, especialmente se você implementar um mecanismo de decisão que primeiro classifique a intenção da pergunta antes de buscar documentos. Outra alternativa seria adicionar um filtro semântico antes de exibir os resultados, como um reranker (ex: Cohere Rerank) ou um modelo de classificação treinado para validar se os documentos são realmente úteis para a consulta. Ou ainda, simplesmente pedir para a própria LLM classificar se é uma pergunta que deve ser consultada em arquivos ou não. Isso pode evitar buscas irrelevantes sem precisar modificar toda a estrutura do pipeline.
Olá Martony!
Esse erro parece ser devido a uma incompatibilidade recente envolvendo esse método do dlib, que ainda não há uma solução oficial dos autores mas estamos a procura de uma alternativa. Por enquanto, para esses exemplos de detecção de faces você pode estar usando o HOG mesmo ao invés desse método com CNN, que é bem próximo e bastante eficaz, muito usado para detecção ainda por ser mais rápido que CNN ao mesmo tempo que é mais robusto que o haarcascade.
Olá Michael! O método from_youtube_url() não detecta automaticamente o idioma das legendas. Você precisa especificar o idioma desejado usando o parâmetro language. Se não for definido, o loader tentará buscar as legendas no idioma padrão do vídeo ou as automáticas, caso estejam disponíveis.
Portanto, se você precisar de legendas em um idioma específico, pode usar o parâmetro language ao inicializar o YoutubeLoader, conforme exemplo no Colab oficial desse projeto.
Para vídeos armazenados localmente, o LangChain não possui um loader específico como o YoutubeLoader. No entanto, você pode usar bibliotecas como MoviePy ou FFmpeg para extrair o áudio do vídeo e, em seguida, aplicar a transcrição do áudio (speech-to-text) com ferramentas como o Google Speech-to-Text Audio Transcripts ou o Whisper da OpenAI (ambas podem ser integradas com o LangChain). Isso permite transcrever o áudio local e processá-lo da mesma forma que faria com vídeos do YouTube.
Como alternativa, você também pode integrar outras APIs específicas para isso, como a AssemblyAI ou Deepgram, que oferecem transcrição e análise de vídeos/áudios com suporte a múltiplos idiomas.
