Обновление. Текущая версия концептуального словаря на сервере.

[audetv]

Наименование	Значение
Обновление	24.04.2023 18:00
Версия	v.0.1.0
Версия файла	wordforms.txt
Изменения	405162bd6a5857063be5a9deaf96b1b6feb97a38
Url	https://fct-search.audetv.ru/

[audetv]

Наименование	Значение
Обновление	26.04.2023 18:30
Версия	v.0.2.0
Синонимы	wordforms.txt
Исключения	exceptions.txt
Стоп слова	stopwords
Url	https://svodd.ru/

[iprst]

Вижу, что ~gaga добавилась, но «гага» не ищется пока что. Это нормально? Должно пройти ещё время?

[audetv]

Вижу, что ~gaga добавилась, но «гага» не ищется пока что. Это нормально? Должно пройти ещё время?

Нет время уже прошло, gaga не ищется. У меня не получилось заставить это работать, ни в исключениях, ни в wordform`ах. Я включал stem_ru, stem_en. Но пока без результата. Оставил, для того чтобы было видно всем как работает - не работает, чтобы получить обратную связь, чтобы подумать.

Предлагаю создать issue и туда в шапку записать список слов и сочетаний, которые не работают или работают не так как ожидается. А под первым сообщением вести обсуждение , записывать наблюдения, мысли, результат.

[iprst]

Предлагаю создать issue и туда в шапку записать список слов и сочетаний, которые не работают или работают не так как ожидается

Кажется, тут проблема более сфокусированная. Оформил issue #153

[audetv]

Наименование	Значение
Обновление	27.04.2023 13:48
Версия	v.0.3.0
Синонимы	wordforms.txt
Межязыковые синонимы	alternateforms.txt
Исключения	exceptions.txt
Стоп слова	stopwords
Url	https://svodd.ru/

Решение проблем:
Проблема двух языков в wordforms #153
Тестирование стоп слов #154

[audetv]

Наименование	Значение
Обновление	01.05.2023 23:40
Версия	v0.4.0
Синонимы	wordforms.txt
Межязыковые синонимы	alternateforms.txt
Исключения	exceptions.txt
Стоп слова	stopwords
Url	https://svodd.ru/

Обсуждение: #164
Тестирование стоп слов. #154

[audetv]

Наименование	Значение
Обновление	02.05.2023 23:15
Версия	v0.5.0
Синонимы	wordforms.txt
Межязыковые синонимы	alternateforms.txt
Исключения	exceptions.txt
Стоп слова	stopwords
Url	https://svodd.ru/

Обсуждение: #164
Тестирование стоп слов. #154
Warnings требуется исправление синонимов terratensor/conceptual-dictionary#6

[grigorovsckaya-sandra]

у меня вопрос;
задвоение п.п. 9 и 360 (внеюридическое воздаяние), 89 и 414 (мохнатая лапа), 392 и 452 (произвол) - это в принципе ничего страшного?
тогда я могу не переживать, если снова появятся задвоения?

[iprst]

тогда я могу не переживать, если снова появятся задвоения?

Переживать, наверное, не стоит. Задвоения мы решим, надо исправить файл, убрав дубли и оставив наиболее подходящие пары.

[audetv]

тогда я могу не переживать, если снова появятся задвоения?

Да, тоже считаю, что не страшно, просто это надо позже исправить. Сейчас при обновлении я публикую лог (журнал) предупреждений, которые выдает поиск, в журнале есть эти слова. Ниже продублирую часть журнала:
terratensor/conceptual-dictionary#6

duplicate wordform found - overridden ( current='~марксизм > Интернационал', old='марксизм > марксизм' )
duplicate wordform found - overridden ( current='~толпо-элитаризм > БК', old='толпо элитаризм > толпа' )
duplicate wordform found - overridden ( current='ссудный процент > БК', old='ссудный процент > бк' )
duplicate wordform found - overridden ( current='внеюридическое воздаяние > авторство', old='внеюридическое воздаяние > мистика' )
duplicate wordform found - overridden ( current='~свобода > Воля', old='~свобод > либерализм' )
duplicate wordform found - overridden ( current='мохнатая лапа > хитроумные', old='мохнатая лапа > коррупция' )
duplicate wordform found - overridden ( current='мохнатая лапа > хитроумные', old='мохнатая лапа > коррупция')
duplicate wordform found - overridden ( current='Государство > 53bfdb4debb5dd708d19d3a273669ffa', old='государство > государство' )

7 записей.в 8ой - Государство я не правильно записал в alternateforms, буду исправлять.

1. '~марксизм > Интернационал', old='марксизм > марксизм' - пока не понял почему, но Интернационал - не работает

2. '~толпо-элитаризм > БК', old='толпо элитаризм > толпа' - дубль, надо решать к какому понятию относим.

3. 'ссудный процент > БК', old='ссудный процент > бк' - просто 2 раза повтор одного и того же, исправлю

4. 'внеюридическое воздаяние > авторство', old='внеюридическое воздаяние > мистика' - дубль, надо решать к какому понятию относим.

5. '~свобода > Воля', old='~свобод > либерализм' - дубль, надо решать к какому понятию относим.

1 .'мохнатая лапа > хитроумные', old='мохнатая лапа > коррупция' - надо решать куда мохнатая лапа.

1. 'мохнатая лапа > хитроумные', old='мохнатая лапа > коррупция'

Т.е. сейчас эти слова не работают, как только исправим в словаре, я сделаю исправление в wordforms или любой другой желающий может сделать исправление и в wordforms, в файл wordforms.txt доступ есть у всех.

Далее обновляю на сервере и после обновления публикую журнал предупреждений, если будут какие-то ошибки или предупреждения, будем спокойно исправлять. Так и работаем, все хорошо.

[grigorovsckaya-sandra]

Алексей, в словаре я добавила некоторые синонимы к уже находящимся в wordforms понятиям, со значком &+, на ваше усмотрение,
таким же макаром наверняка будут добавляться ещё синонимы по мере продвижения до конца списка

[audetv]

Наименование	Значение
Обновление	10.05.2023 22:30
Версия	v0.6.0
Синонимы	wordforms.txt
Межязыковые синонимы	alternateforms.txt
Исключения	exceptions.txt
Стоп слова	stopwords
Url	https://svodd.ru/

Обсуждение: #164
Тестирование стоп слов. #154

Тестируем:
вера в бога
вера бога

[audetv]

Наименование	Значение
Обновление	07.06.2023 23:12
Версия	v0.7.0
Синонимы	wordforms.txt
Межязыковые синонимы	alternateforms.txt
Исключения	exceptions.txt
Стоп слова	stopwords
Url	https://svodd.ru/

Обсуждение: #164
Тестирование стоп слов. #154

[iprst]

Требуется что-то тестировать?

[audetv]

Пока не понял, почему-то не все слова заработали. Взял выборочно и попал с первого раза, например - любовь, лженаука , не могу понять что это. Возможно еще какие-то слова не работают.

[iprst]

В правиле:

~антинаучный > Лженаука
~псевдонаука > Лженаука
~догматический > Лженаука

Но по факту:
догматический отдаёт антинаучный
псевдонаука отдаёт антинаучный
а лженаука сама по себе

Быть может что-то с заглавными и прописными символами?

[audetv]

Да, и я не пойму как так.

Быть может что-то с заглавными и прописными символами?

Может быть, надо будет посмотреть.

Есть еще лучше пример:

дефолт > Экономика, и работает вместе с ~образование > Благосостояние, здравоохранение > Благосостояние

Надо будет завтра свежим взглядом посмотреть.

[iprst]

Есть впечатление, будто где-то остаются неубитые с тестовых релизов хвосты. Но доказательств нет.