Seu Estado
Não Inscrito
Preço
Assinantes

O que você aprenderá

  • Aprenda a construir um crawler do zero para buscar o conteúdo de páginas web
  • Entenda como funcionam as bibliotecas urllib e BeautifulSoup do Python para processar páginas web
  • Aprenda a indexar o conteúdo de páginas web utilizando o MySql
  • Aprenda como classificar documentos por conteúdo, utilizando métricas como frequência de palavras, posição da palavra no documento e distância entre palavras
  • Entenda e implemente o algoritmo PageRank para classificação de documentos utilizando links externos

Requisitos

  • É recomendado conhecimento sobre lógica de programação, principalmente estruturas condicionais e de repetição
  • Conhecimentos básicos em Python são desejáveis, embora seja possível acompanhar o curso sem saber essa linguagem com profundidade
  • É necessário conhecer comandos SQL básicos, principalmente o “select” e o “insert”
  • É importante entender o modelo entidade-relacionamento para a construção de bases de dados, principalmente chaves primárias e estrangeiras
  • É recomendável que você saiba as principais tags HTML existentes em páginas web, embora seja possível acompanhar o curso sem esse conhecimento
  • Não são necessários conhecimentos prévios sobre Inteligência Artificial

Descrição

Os sistemas de busca em texto representam uma importante área da Inteligência Artificial. Eles consistem em analisar grande volume de texto para retornarem para o usuário uma lista dos principais documentos encontrados de acordo com os parâmetros de busca. Os exemplos práticos mais comuns deste tipo de sistema são os motores de busca, como Google, Bing ou Yahoo; nos quais o usuário pode informar um conjunto de palavras e o sistema apresenta as páginas web mais relevantes. Para que isso seja possível, são utilizados uma série de algoritmos e/ou métricas que tem a função de indicar a ordem pela qual os documentos serão apresentados, ou seja, as páginas mais importantes serão mostradas no topo da pesquisa enquanto que as menos relavantes serão mostradas por último.

Baseado nisso, neste curso você vai aprender na teoria e principalmente na prática como desenvolver do zero um sistema para buscas em textos utilizando vários algoritmos para ordenação dos resultados. Você desenvolverá passo a passo todas as etapas de um sistema de busca, iniciando pelo crawler que buscará as páginas web utilizando o Python e as bibliotecas urllib3 e BeautifulSoup. Logo após passaremos para a fase da indexação, na qual o conteúdo das páginas web serão analisadas e faremos a gravação em uma base de dados no MySql. Por fim, implementaremos as seguintes pesquisas: consultas com uma ou múltiplas palavras, frequência de palavras, posição das palavras no documento e distância entre as palavras. Também veremos a classificação dos documentos utilizando o texto do link e por fim implementaremos o uso de links externas que é caracterizado pelo famoso algoritmo PageRank, que é considerado o algoritmo que ajudou muito na grande ascensão do Google e que hoje em dia é utilizado nos principais motores de busca. É importante enfatizar que o objetivo do curso é mostrar passo a passo a implementação do zero, portanto, não utilizaremos nenhuma biblioteca específica para esse cenário. Também não é objetivo do curso desenvolver uma interface web para a realização das pesquisas, ou seja, todos os testes serão realizados via prompt. Por fim, este material pode ser considerado de nível iniciante para quem está entrando tanto na área de Inteligência Artificial quanto na área de desenvolvimento de motores de busca.

Para quem é este curso

  • Pessoas interessadas em Inteligência Artificial
  • Pessoas interessadas na área de recuperação de informação de documentos textuais


Conteúdo do Curso

Expandir
Conteúdo da Lição
0% Completo 0/1 Passos

Avaliações e Comentários

4.9
Avaliação média
31 Avaliações
5
27
4
4
3
0
2
0
1
0
Qual foi a sua experiência com esse curso? Conte para nós!
Profile photo ofcomentarios_udemy Comentário extraído do curso na Udemy
Publicado 12 meses atrás
por Marian Kaczęba

Este curso explica tudo passo a passo como desenvolver o programa. Não tem dúvida sobre nada.

×
Preview Image
Profile photo ofcomentarios_udemy Comentário extraído do curso na Udemy
Publicado 1 ano atrás
por Glaucio Cancion

Até o momento bem didático e direto ao ponto, muito bom.

×
Preview Image
Profile photo ofcomentarios_udemy Comentário extraído do curso na Udemy
Publicado 1 ano atrás
por Daniel Alex Xavier

Gostei. Embora no meu caso não tenha visto muita aplicação prática no momento, mas foi uma ótimo aprendizado de como funciona (+ ou - ) os motores de busca. Uma crítica construtiva é não mencionar que o aluno precisa SIM ter conhecimento sobre Python, principalmente sobre a parte procedural da linguagem. Ótimo instrutor e já estou ansioso para o próximo curso.

×
Preview Image
Profile photo ofcomentarios_udemy Comentário extraído do curso na Udemy
Publicado 1 ano atrás
por Ezer Nathan Fagundes Ribeiro

Muito bem explicado, o tutor possui total domínio do conteúdo...

×
Preview Image
Profile photo ofcomentarios_udemy Comentário extraído do curso na Udemy
Publicado 1 ano atrás
por Thiago Henrique Domingues Botelho

Conteúdo muto bom, vai ser de grande ajuda em meus estudos!

×
Preview Image
Profile photo ofcomentarios_udemy Comentário extraído do curso na Udemy
Publicado 1 ano atrás
por Joselino Santos

Estava procurando essa solução para um projeto no meu Raspberry Pi e veio passo a passo. Como sempre o professor Jones arrasa na didática. Já fiz vários cursos e vou continuar.

×
Preview Image
Profile photo ofcomentarios_udemy Comentário extraído do curso na Udemy
Publicado 2 anos atrás
por Ricardo Santos

Otima didatica e conteudo muito bom.

×
Preview Image
Profile photo ofcomentarios_udemy Comentário extraído do curso na Udemy
Publicado 2 anos atrás
por Marcelo Costa de Queiroz

Didática incrível e conteúdo excelente.

×
Preview Image
Profile photo ofcomentarios_udemy Comentário extraído do curso na Udemy
Publicado 2 anos atrás
por Domingos Napolitano

Explicações muito claras e detalhadas, muito bom!!

×
Preview Image
Profile photo ofcomentarios_udemy Comentário extraído do curso na Udemy
Publicado 2 anos atrás
por Joao Carlos Neto

O assunto é novidade para mim, mas até o momento o professor já deu uma idéia do que será tratado. Tenho boas expectativas.

×
Preview Image
Mostrar mais avaliações
Qual foi a sua experiência com esse curso? Conte para nós!