Bem-vindo à documentação do MLConjug!¶

Conteúdo:

mlconjug¶

Uma biblioteca Python para conjugar verbos em francês, inglês, espanhol, italiano, português e romeno (mais em breve) usando técnicas de Machine Learning.
Qualquer verbo em uma das linguagens suportadas pode ser conjugado, já que o módulo contém um modelo de Aprendizado de Máquina de como os verbos se comportam.
Mesmo verbos completamente novos ou inventados podem ser conjugados com sucesso desta maneira.
Os modelos pré-treinados fornecidos são compostos por:

um extrator de recurso binário
um seletor de recursos usando a Classificação Linear de Vetor de Suporte
um classificador usando o descendente de gradiente estocástico»

O MLConjug usa o scikit-learn para implementar os algoritmos de Machine Learning.

Users of the library can use any compatible classifiers from scikit-learn to modify and retrain the models.

The training data for the french model is based on Verbiste https://perso.b2b2c.ca/~sarrazip/dev/verbiste.html .

Os dados de treinamento para inglês, espanhol, italiano, português e romeno foram gerados usando técnicas de aprendizado não supervisionadas usando o modelo francês como modelo para consulta durante o treinamento.

Software livre: licença do MIT
Documentação: https://mlconjug.readthedocs.io.

Idiomas Suportados¶

Francês
Inglês
Espanhol
Italiano
Português
Romena

Características¶

Fácil de usar API»
Inclui modelos pré-treinados com precisão de 99% + na previsão de classe de conjugação de verbos desconhecidos.
Treine facilmente novos modelos ou adicione novos idiomas.
Integre facilmente o MLConjug em seus próprios projetos.
Pode ser usado como uma ferramenta de linha de comando.

Créditos¶

Este pacote foi criado com a ajuda de Verbiste e scikit-learn.

O logotipo foi projetado por Zuur.

Instalação¶

Versão estável¶

Para instalar o MLConjug, execute este comando no seu terminal:

$ pip install mlconjug

Este é o método preferido para instalar o MLConjug, já que ele sempre instalará a versão estável mais recente.

Se você não tem o` pip`_ instalado, este guia de instalação do Python pode guiá-lo através do processo.

De fontes¶

As fontes do MLConjug podem ser baixadas do repositório do Github.

Você pode clonar o repositório público:

$ git clone git://github.com/SekouD/mlconjug

Ou baixe o` tarball`_:

$ curl  -OL https://github.com/SekouD/mlconjug/tarball/master

Depois de ter uma cópia da fonte, você pode instalá-lo com:

$ python setup.py install

Uso¶

Nota

O idioma padrão é o francês. Quando chamado sem especificar um idioma, a biblioteca tentará conjugar o verbo em francês.

Usar o MLConjug em um projeto com os modelos de conjugação pré-treinados fornecidos

import mlconjug

# To use mlconjug with the default parameters and a pre-trained conjugation model.
default_conjugator = mlconjug.Conjugator(language='fr')

# Verify that the model works
test1 = default_conjugator.conjugate("manger").conjug_info['Indicatif']['Passé Simple']['1p']
test2 = default_conjugator.conjugate("partir").conjug_info['Indicatif']['Passé Simple']['1p']
test3 = default_conjugator.conjugate("facebooker").conjug_info['Indicatif']['Passé Simple']['1p']
test4 = default_conjugator.conjugate("astigratir").conjug_info['Indicatif']['Passé Simple']['1p']
test5 = default_conjugator.conjugate("mythoner").conjug_info['Indicatif']['Passé Simple']['1p']
print(test1)
print(test2)
print(test3)
print(test4)
print(test5)

# You can now iterate over all conjugated forms of a verb by using the newly added Verb.iterate() method.
default_conjugator = mlconjug.Conjugator(language='en')
test_verb = default_conjugator.conjugate("be")
all_conjugated_forms = test_verb.iterate()
print(all_conjugated_forms)

Para usar o MLConjug em um projeto e treinar um novo modelo

# Set a language to train the Conjugator on
lang = 'fr'

# Set a ngram range sliding window for the vectorizer
ngrange = (2,7)

# Transforms dataset with CountVectorizer. We pass the function extract_verb_features to the CountVectorizer.
vectorizer = mlconjug.CountVectorizer(analyzer=partial(mlconjug.extract_verb_features, lang=lang, ngram_range=ngrange),
                             binary=True)

# Feature reduction
feature_reductor = mlconjug.SelectFromModel(mlconjug.LinearSVC(penalty="l1", max_iter=12000, dual=False, verbose=0))

# Prediction Classifier
classifier = mlconjug.SGDClassifier(loss="log", penalty='elasticnet', l1_ratio=0.15, max_iter=4000, alpha=1e-5, random_state=42, verbose=0)

# Initialize Data Set
dataset = mlconjug.DataSet(mlconjug.Verbiste(language=lang).verbs)
dataset.construct_dict_conjug()
dataset.split_data(proportion=0.9)

# Initialize Conjugator
model = mlconjug.Model(vectorizer, feature_reductor, classifier)
conjugator = mlconjug.Conjugator(lang, model)

#Training and prediction
conjugator.model.train(dataset.train_input, dataset.train_labels)
predicted = conjugator.model.predict(dataset.test_input)

# Assess the performance of the model's predictions
score = len([a == b for a, b in zip(predicted, dataset.test_labels) if a == b]) / len(predicted)
print('The score of the model is {0}'.format(score))

# Verify that the model works
test1 = conjugator.conjugate("manger").conjug_info['Indicatif']['Passé Simple']['1p']
test2 = conjugator.conjugate("partir").conjug_info['Indicatif']['Passé Simple']['1p']
test3 = conjugator.conjugate("facebooker").conjug_info['Indicatif']['Passé Simple']['1p']
test4 = conjugator.conjugate("astigratir").conjug_info['Indicatif']['Passé Simple']['1p']
test5 = conjugator.conjugate("mythoner").conjug_info['Indicatif']['Passé Simple']['1p']
print(test1)
print(test2)
print(test3)
print(test4)
print(test5)

# Save trained model
with open('path/to/save/data/trained_model-fr.pickle', 'wb') as file:
    pickle.dump(conjugator.model, file)

Para usar o MLConjug na linha de comando

$ mlconjug manger

$ mlconjug bring -l en

$ mlconjug gallofar --language es

Package Api Documentation for mlconjug¶

Referência de API para as classes em mlconjug.mlconjug.py¶

Módulo principal do MLConjug.

Este módulo declara as principais classes com as quais o usuário interage.

O módulo define as classes necessárias para interagir com os modelos de Machine Learning.

mlconjug.mlconjug.extract_verb_features(verb, lang, ngram_range)[código fonte]¶

Custom Vectorizer otimizado para extrair recursos de verbos.
O vetorizador subclasse sklearn.feature_extraction.text.CountVectorizer.
As in Indo-European languages verbs are inflected by adding a morphological suffix,
the vectorizer extracts verb endings and produces a vector representation of the verb with binary features.

Para aprimorar os resultados da extração de recursos, vários outros recursos foram incluídos:

As características são o final do verbo n-grams, iniciando n-grams, comprimento do verbo, número de vogais, número de consoantes e a razão entre vogais e consoantes.

Parâmetros:	verb – string. Verb para vetorizar. lang – string. Language to analyze. ngram_range – tupla. O intervalo da janela deslizante do ngram.
Retorno:	Lista. Lista das características mais salientes do verbo para a tarefa de encontrar sua classe de conjugação.

class mlconjug.mlconjug.Conjugator(language='fr', model=None)[código fonte]¶

Esta é a principal classe do projeto.
The class manages the Verbiste data set and provides an interface with the scikit-learn pipeline.
If no parameters are provided, the default language is set to french and the pre-trained french conjugation pipeline is used.
A classe define o método conjugado (verbo, idioma) que é o método principal do módulo.

Parâmetros:	language – string. Linguagem do conjugador. O idioma padrão é “fr” para francês. model – mlconjug.Model ou scikit-learn Pipeline ou Classifier que implementam os métodos fit () e predict (). Um usuário forneceu o pipeline se o usuário tiver treinado seu próprio pipeline.

conjugate(verb, subject='abbrev')[código fonte]¶

Este é o principal método desta classe.
Primeiro, verifica se o verbo está em Verbiste.
If it is not, and a pre-trained scikit-learn pipeline has been supplied, the method then calls the pipeline
to predict the conjugation class of the provided verb.

Retorna um objeto Verbo ou Nenhum.

Parâmetros:	verb – string. Verb para conjugar. subject – string. Alterna os pronomes abreviados ou completos. O valor padrão é “abrev”. Selecione “pronome” para os pronomes completos.
Retorno:	Objeto Verbo ou Nenhum.

set_model(model)[código fonte]¶

Assigns the provided pre-trained scikit-learn pipeline to be able to conjugate unknown verbs.

Parâmetros:	model – Classificador ou Pipeline do scikit-learn.

class mlconjug.mlconjug.DataSet(verbs_dict)[código fonte]¶

Esta classe mantém e gerencia o conjunto de dados.

Defines helper methodss for managing Machine Learning tasks like constructing a training and testing set.

Parâmetros:	verbs_dict – Um dicionário de verbos e sua classe de conjugação correspondente.

construct_dict_conjug()[código fonte]¶: Popula o dicionário que contém os modelos de conjugação.

Popula as listas contendo os verbos e seus modelos.

split_data(threshold=8, proportion=0.5)[código fonte]¶

Divide os dados em um treinamento e um conjunto de testes.

Parâmetros:	threshold – int. Tamanho mínimo da classe de conjugação a ser dividida. proportion – float. Proporção de amostras no conjunto de treino. Deve estar entre 0 e 1.

class mlconjug.mlconjug.Model(vectorizer=None, feature_selector=None, classifier=None, language=None)[código fonte]¶

Bases:: class:` objeto`

This class manages the scikit-learn pipeline.
O Pipeline inclui um vetorizador de recursos, um seletor de recursos e um classificador.
If any of the vectorizer, feature selector or classifier is not supplied at instance declaration,
the __init__ method will provide good default values that get more than 92% prediction accuracy.

Parâmetros:	vectorizer – scikit-learn Vectorizer feature_selector – classificador scikit-learn com um método fit_transform () classifier – classificador scikit-learn com um método predict () language – linguagem do corpus de verbos a ser analisado.

train(samples, labels)[código fonte]¶

Trains the pipeline on the supplied samples and labels.

Parâmetros:	samples – lista. Lista de verbos. labels – lista. Lista de modelos de verbos.

predict(verbs)[código fonte]¶

Prevê a classe de conjugação da lista de verbos fornecida.

Parâmetros:	verbs – lista. Lista de verbos.
Retorno:	lista. Lista de grupos de conjugação previstos.

Referência de API para as classes em mlconjug.PyVerbiste.py¶

PyVerbiste.

Uma biblioteca Python para conjugar verbos em francês, inglês, espanhol, italiano, português e romeno (mais em breve).
Ele contém dados de conjugação gerados por modelos de aprendizado de máquina usando a biblioteca python mlconjug.
Mais informações sobre mlconjug em https://pypi.org/project/mlconjug/

Os dados de conjugação estão em conformidade com o esquema XML definido pela Verbiste.

Mais informações sobre a Verbiste em https://perso.b2b2c.ca/~sarrazip/dev/conjug_manager.html

class mlconjug.PyVerbiste.ConjugManager(language='default')[código fonte]¶

This is the class handling the mlconjug json files.

Parâmetros:	language – string. \| The language of the conjugator. The default value is fr for French. \| The allowed values are: fr, en, es, it, pt, ro.

_load_verbs(verbs_file)[código fonte]¶

Load and parses the verbs from the json file.

Parâmetros:	verbs_file – string or path object. Path to the verbs json file.

_load_conjugations(conjugations_file)[código fonte]¶

Load and parses the conjugations from the xml file.

Parâmetros:	conjugations_file – string ou caminho do objeto. Caminho para o arquivo xml de conjugação.

_detect_allowed_endings()[código fonte]¶

Detecta os finais permitidos para verbos nos idiomas suportados.
Todos os idiomas suportados, exceto o inglês, restringem a forma que um verbo pode receber.
Como o inglês é muito mais produtivo e variado na morfologia de seus verbos, qualquer palavra é permitida como um verbo.

Retorno:	set. Um conjunto contendo as terminações permitidas de verbos no idioma de destino.

is_valid_verb(verb)[código fonte]¶

Verifica se o verbo é um verbo válido na língua dada.
Palavras inglesas são sempre tratadas como verbos possíveis.
Verbos em outros idiomas são filtrados por seus finais.

Parâmetros:	verb – string. O verbo para conjugar.
Retorno:	bool. Verdadeiro se o verbo é um verbo válido na língua. Falso caso contrário.

get_verb_info(verb)[código fonte]¶

Obtém informações verbais e retorna uma instância VerbInfo.

Parâmetros:	verb – string. Verb para conjugar.
Retorno:	Objeto VerbInfo ou Nenhum.

get_conjug_info(template)[código fonte]¶

Obtém informações de conjugação correspondentes ao modelo fornecido.

Parâmetros:	template – string. Nome do padrão final do verbo.
Retorno:	OrderedDict ou None. OrderedDict contendo os sufixos conjugados do template.

class mlconjug.PyVerbiste.Verbiste(language='default')[código fonte]¶

Bases: mlconjug.PyVerbiste.ConjugManager

Esta é a classe que manipula os arquivos xml da Verbiste.

Parâmetros:	language – string. \| The language of the conjugator. The default value is fr for French. \| The allowed values are: fr, en, es, it, pt, ro.

_load_verbs(verbs_file)[código fonte]¶

Load and parses the verbs from the xml file.

Parâmetros:	verbs_file – string ou caminho do objeto. Caminho para o arquivo xml verbos.

_parse_verbs(file)[código fonte]¶

Parses the XML file.

Parâmetros:	file – FileObject. Arquivo XML contendo os verbos.
Retorno:	OrderedDict. Um OrderedDict contendo o verbo e seu modelo para todos os verbos no arquivo.

_load_conjugations(conjugations_file)[código fonte]¶

Load and parses the conjugations from the xml file.

Parâmetros:	conjugations_file – string ou caminho do objeto. Caminho para o arquivo xml de conjugação.

_parse_conjugations(file)[código fonte]¶

Parses the XML file.

Parâmetros:	file – FileObject. Arquivo XML contendo os modelos de conjugação.
Retorno:	OrderedDict. Um OrderedDict contendo todos os modelos de conjugação no arquivo.

_load_tense(tense)[código fonte]¶

Carregue e analise os formulários flexionados do tempo do arquivo xml.

Parâmetros:	tense – lista de tags xml contendo formulários flexionados. A lista de formulários flexionados para o tempo atual sendo processado.
Retorno:	list. List of inflected forms.

_detect_allowed_endings()¶

Detecta os finais permitidos para verbos nos idiomas suportados.
Todos os idiomas suportados, exceto o inglês, restringem a forma que um verbo pode receber.
Como o inglês é muito mais produtivo e variado na morfologia de seus verbos, qualquer palavra é permitida como um verbo.

Retorno:	set. Um conjunto contendo as terminações permitidas de verbos no idioma de destino.

get_conjug_info(template)¶

Obtém informações de conjugação correspondentes ao modelo fornecido.

Parâmetros:	template – string. Nome do padrão final do verbo.
Retorno:	OrderedDict ou None. OrderedDict contendo os sufixos conjugados do template.

get_verb_info(verb)¶

Obtém informações verbais e retorna uma instância VerbInfo.

Parâmetros:	verb – string. Verb para conjugar.
Retorno:	Objeto VerbInfo ou Nenhum.

is_valid_verb(verb)¶

Verifica se o verbo é um verbo válido na língua dada.
Palavras inglesas são sempre tratadas como verbos possíveis.
Verbos em outros idiomas são filtrados por seus finais.

Parâmetros:	verb – string. O verbo para conjugar.
Retorno:	bool. Verdadeiro se o verbo é um verbo válido na língua. Falso caso contrário.

class mlconjug.PyVerbiste.VerbInfo(infinitive, root, template)[código fonte]¶

Esta classe define a estrutura da informação verbal Verbiste.

Parâmetros:	infinitive – string. Forma infinitiva do verbo. root – string. Raiz lexical do verbo. template – string. Nome do padrão final do verbo.

class mlconjug.PyVerbiste.Verb(verb_info, conjug_info, subject='abbrev', predicted=False)[código fonte]¶

This class defines the Verb Object. TODO: Make the conjugated forms iterable by implementing the iterator protocol.

Parâmetros:	verb_info – Objeto VerbInfo» conjug_info – OrderedDict. subject – string. Alterna os pronomes abreviados ou completos. O valor padrão é “abrev”. Selecione “pronome” para os pronomes completos. predicted – bool. Indica se as informações de conjugação foram previstas pelo modelo ou recuperadas do conjunto de dados.

iterate()[código fonte]¶: Iterates over all conjugated forms and returns a list of tuples of those conjugated forms. :return:

_load_conjug()[código fonte]¶: Popula as formas flexionadas do verbo.

Esta é a versão genérica deste método.

Não acrescenta pronomes pessoais às formas conjugadas.

Este método pode manipular qualquer novo idioma se a estrutura de conjugação estiver em conformidade com o Esquema XML da Verbiste.

class mlconjug.PyVerbiste.VerbFr(verb_info, conjug_info, subject='abbrev', predicted=False)[código fonte]¶