FEDOT warm start experiment

[MorrisNein]

• Создал requirements.txt;
• Создал Dockerfile;
• Подготовил скрипт для эксперимента (в процессе).

План эксперимента:

1. Взять случайные 15 датасетов из OpenML-CC18.
2. Разделить датасеты на 10 тренировочных, 5 тестовых.
3. Обучить Федота на тренировочных датасетах, получить лучшие пайплайны.
4. Посчитать мета-признаки тренировочных датасетов.
5. Обучить "наивного" Федота на тестовых датасетах.
6. Повторить с "мета"-Федотом на тестовых датасетах, получая мета-признаки на тестовых датасетах. Отсчитывать общее время для извлечения мета-признаков и AutoML.
7. Сравнить метрики и время наивного и мета-Федота.

По пункту 6 возможна вариация: засечь отдельно время извлечения мета-признаков и затем вычесть его из последующего таймаута для Федота.

[AxiomAlive]

#9

[MorrisNein]

@algormx, воздержитесь, пожалуйста, от пуша больших изменений в ветку, с которой работает другой разработчик. Это может привести к необходимости внепланово мёрджить большое количество локальных изменений.

[aim-pep8-bot]

Hello @MorrisNein! Thanks for updating this PR. We checked the lines you've touched for PEP 8 issues, and found:

There are currently no PEP 8 issues detected in this Pull Request. Cheers! 🍻

Comment last updated at 2024-03-26 12:50:00 UTC

[codecov]

Codecov Report

Attention: Patch coverage is 12.57310% with 299 lines in your changes are missing coverage. Please review.

Project coverage is 26.70%. Comparing base (2f41916) to head (3cfa159).
Report is 1 commits behind head on main.

❗ Current head 3cfa159 differs from pull request most recent head 295c7e2

Please upload reports for the commit 295c7e2 to get more accurate results.

Files	Patch %	Lines
...l/data_preparation/file_system/persistent_cache.py	0.00%	167 Missing ⚠️
...a_automl/approaches/knn_similarity_model_advice.py	0.00%	76 Missing ⚠️
...preparation/models_loaders/fedot_history_loader.py	0.00%	37 Missing ⚠️
meta_automl/approaches/meta_learning_approach.py	0.00%	15 Missing ⚠️
meta_automl/approaches/__init__.py	0.00%	1 Missing ⚠️
.../meta_features_extractors/dataset_meta_features.py	0.00%	1 Missing ⚠️
...automl/data_preparation/models_loaders/__init__.py	0.00%	1 Missing ⚠️
...oml/data_preparation/surrogate_dataset/__init__.py	0.00%	1 Missing ⚠️

Additional details and impacted files

@@             Coverage Diff             @@
##             main       #6       +/-   ##
===========================================
- Coverage   40.45%   26.70%   -13.75%     
===========================================
  Files          60       61        +1     
  Lines        2571     2651       +80     
===========================================
- Hits         1040      708      -332     
- Misses       1531     1943      +412     

☔ View full report in Codecov by Sentry.
📢 Have feedback on the report? Share it here.

[pep8speaks]

Hello @MorrisNein! Thanks for updating this PR. We checked the lines you've touched for PEP 8 issues, and found:

• In the file experiments/fedot_warm_start/run.py:

Line 38:1: E402 module level import not at top of file
Line 39:1: E402 module level import not at top of file
Line 40:1: E402 module level import not at top of file
Line 43:1: E402 module level import not at top of file
Line 523:121: E501 line too long (149 > 120 characters)
Line 577:121: E501 line too long (157 > 120 characters)
Line 596:84: F821 undefined name 'e'

• In the file gamlet/approaches/knn_similarity_model_advice.py:

Line 7:1: F401 'pandas as pd' imported but unused

• In the file gamlet/components/meta_features_extractors/pymfe_extractor.py:

Line 15:1: F811 redefinition of unused 'DatasetMetaFeatures' from line 14

Comment last updated at 2024-05-21 09:09:29 UTC