Неологизм

Это неконтролируемый тренировочный текстовый словарь с сегментацией

Тренировочный код (текст в формате UTF-8)

if __name__ == '__main__':
    neologism_words = analysis(file='西游记.txt', thread_num=10, flag=True)
    for k, v in neologism_words.items():
        print('key:{0} number:{1} frequency:{2} cond:{3} free:{4}'.format(k, v[0], v[1], v[2], v[3]))

Параметры интерфейса

def analysis(file, thread_num=10, split_num=4, frequency=0.0001, cond=10, free=0.1, flag=False): """ :param file: обучающий текст :param thread_num: количество потоков :param split_num: число совпадений :param frequency: частота :param cond: степень конденсации :param free: степень свободы :param flag: логическое условие, по умолчанию «или», достаточно выполнения одного условия для фильтрации :return: готовый словарь """

Часть скриншота данных новостей от краулера (примерно 100 М чистого текста)

Результаты обучения на политических новостях