Este componente utiliza um modelo de QA (Pergunta e Resposta) pré-treinado em Português com o dataset SQuAD v1.1, é um modelo de domínio público disponível em Hugging Face. Seu objetivo é encontrar a resposta de uma ou mais perguntas de acordo com uma lista de contextos distintos.
Espera-se como entrada para o componente uma tabela com uma coluna de contextos para a aplicação do QA e uma coluna com as perguntas para serem aplicadas aos contextos.
A seguir são listados todos os parâmetros utilizados pelo componente:
- Coluna dos contextos:
string(Obrigatório).
Esta coluna será utilizada para ler os contextos e aplicar o Reader. - Coluna das perguntas:
string(Obrigatório).
Esta coluna será utilizada para identificar as perguntas a serem aplicadas aos contextos. - Coluna das respostas:
string(Obrigatório).
Esta coluna será utilizada para gerar a resposta produzida por cada pergunta. - Coluna da pontuação das respostas:
string(Obrigatório).
Esta coluna será utilizada para gerar a pontuação de cada resposta produzida. - Coluna de avaliação:
string(Opcional).
Esta coluna será utilizada para avaliar as respostas produzidas por cada pergunta, espera-se que nesta coluna estejam as respostas esperadas de cada pergunta em sua respectiva linha na tabela. É uma coluna opcional. - Dispositivo:
string, {"cuda","cpu"}, padrão:"cuda"(Obrigatório).
Tipo de dispositivo para efetuar as inferências. Caso selecionado a opção"cuda"e ela não estiver disponível na máquina, automaticamente será transferido para"cpu". - Apenas Melhor Resposta:
string, {"sim","não"}, padrão:"sim"(Obrigatório).
Manterá apenas as linhas correspondentes à melhor resposta gerada pelo par pergunta e contexto.
As métricas de performance tem o propósito de ajudar o usuário a avaliar a performance do modelo. Essas métricas variam de acordo com o tipo de problema, tal como: classificação, regressão, agrupamento, entre outros.
- BLEU: A métrica BLEU (cujo nome provém de BiLingual Evaluation Understudy) mede a precisão dos n-gramas das sentenças alvo geradas automaticamente em relação a um conjunto de textos de referência
- ROUGE-L: A métrica ROUGE (cujo nome provém de Recall-Oriented Understudy for Gisting Evaluation) identifica a co-ocorrência das substrings mais longas definidas por n-gramas entre as sentenças alvo geradas automaticamente e um conjunto de textos de referência.
O retorno durante a experimentação ajuda o usuário a analisar tanto métricas distintas de forma visual, como a distribuição dos dados e os dados brutos ao final da execução. Sendo assim, é possível visualizar diversos retornos para este componente como os listados a seguir:
- Dataframe com os dados de entrada e as colunas de resposta e pontuação produzidas (Apenas melhor resposta).
- Dataframe com os dados de entrada e as colunas de resposta e pontuação produzidas (Todas as respostas).
- Uma tabela com a pontuação obtida para cada texto pelas métricas BLEU e ROUGE-L caso seja informado a coluna de avaliação.
Na implantação, espera-se uma requisição do tipo POST com os dados em formato JSON, com os campos ndarray e names seguindo a mesma estrutura dos dados utilizados na experimentação, em que ndarray refere-se aos valores, e names aos nomes das colunas de entrada. Um exemplo de uso seria:
$ curl --header "Content-Type: application/json" https://URL-DO-MODELO-IMPLANTADO -d "{"data":{"ndarray":[[1, "A bola é um objeto esférico utilizado para lazer e em diversos desportos.", "Qual é o formato da bola?"]], "names": ["index", "text", "question"]}}"
Espera-se como retorno um objeto JSON contendo os campos ndarray e names, referentes ao array de valores produzidos e ao nome das colunas após a aplicação. Um exemplo de saída seria:
{
"data":
{
"ndarray":[[1, "A bola é um objeto esférico utilizado para lazer e em diversos desportos.", "Qual é o formato da bola?", "esférico", 0.754]],
"names": ["index", "text", "question", "answer", "answer_score"]
}
}