tokenizer: Gera tokens a partir de uma string

Description Usage Arguments Value Author(s) Examples

Description

Função que recebe uma string e um número inteiro e gera tokens do tamanho indicado pelo inteiro recebido.

Usage

1
tokenizer(texto, q)

Arguments

texto

A string a ser tokenizada

q

Valor inteiro que indica o tamanho dos tokens a ser gerados

Value

Um vetor de strings com os tokens gerados

Author(s)

Jones Quito

Examples

1
tokenizer('Um texto qualquer', 2)

JonesQuito/packageR_similaridade documentation built on May 13, 2019, 12:50 p.m.