Os modelos BERT tem se tornado mais populares e são extraordinariamente bons em aplicações de NLP de domínio geral. Expandir as capacidades desses modelos para domínios específicos como por exemplo, jurídico, financeiro, acadêmico e também específico do setor Óleo & Gás é um dos principais desafios desta área. Muitas pesquisas têm desenvolvido seus próprios modelos BERT de domínio específico e estão conseguindo aumentar a precisão de suas aplicações de NLP. Sendo assim, quais estratégias utilizarmos para construir estes modelos? Nesta palestra você aprenderá os processos para a construção de modelos pré-treinados de domínio específico: preparação e manipulação de grandes conjuntos de dados para pré-treinamento, construção de gerador de dados, treinamento distribuído e avaliação de modelos.

Palestrante:

Cristian Muñoz: doutor e professor do curso de especialização BI MASTER. Tem 8 anos de experiência em projetos de P&D, e atualmente é pesquisador sênior do laboratório de Inteligência Computacional Aplicada - ICA da PUC Rio, atuando na área de inteligência artificial com foco em deep learning e processamento de linguagem natural.