Интернет и IT

Генетика, нейросети и Excel - как они связаны

Генетический алгоритм - это один из методов решения задач, который разработан на основе эволюции. Такой алгоритм используют тогда, когда количество решений настолько большое, что протестировать их все нереально. Расскажем, как устроены эти алгоритмы, и почему с ними нейросети работают на порядок лучше.
Генетика, нейросети и Excel - как они связаны

Генетический алгоритм — это один из методов решения задач, который разработан на основе эволюции. Такой алгоритм используют тогда, когда количество решений настолько большое, что протестировать их все нереально. Расскажем, как устроены эти алгоритмы, и почему с ними нейросети работают на порядок лучше.

Эволюция в математике

Составление алгоритма начинается с создания реестра моделей — популяции. Причем каждая модель должна быть представлена набором чисел — генов. Этот набор генерируют случайным образом.

Список решений — это и есть популяция. Из нее выбираются самые жизнеспособные модели для следующей популяции. Этот процесс многократно запускается до тех пор, пока не будет найдено оптимальное решение.

Чтобы понять, насколько качественным вышло решение, применяют функцию приспособленности. Например: F-score и точность предсказания. Чем качественнее решение, тем больше шансов, что особь будет отобрана для следующей популяции.

Анализ данных не останавливается на Excel. Пройдите онлайн-курс «Google Таблицы для бизнеса». Научитесь работать с Google Таблицами с любого устройства, синхронизируйте вашу работу с коллегами и интегрируйтесь с Google Forms и Google Analytics.

Основные стадии

После того, как будет создана первая популяция, алгоритм проходит четыре стадии:

1. Отбор.

Смысл отбора в том, чтобы найти самые жизнеспособные модели и передать их гены следующему поколению. Приспособленность — главное качество, по которому отбирают родителей. Причем количество родителей (пар особей) может быть любым, но всегда одинаковым для каждого последующего цикла.

Есть два основных метода отбора::

  • Ранговый. Популяцию делят на несколько рангов (групп). Ранги назначают на базе функции приспособленности. А затем пропорционально отбирают по несколько особей из каждого ранга.
  • Турнирный. Несколько особей выбирают случайным образом. Из отобранной группы выделяют лучших. Процесс повторяют до тех пор, пока не наберут нужное число особей из этой популяции.

У каждого метода свои плюсы. Ранговый помогает сохранить разнообразие особей. Турнирный подходит тогда, когда модели можно сравнивать только попарно, а выражение функции приспособленности числом недоступно. Например, его используют для игровых стратегий.

2. Скрещивание.

На этой стадии происходит обмен информацией между родителями. Из популяции отбирают пары особей и смешивают отдельные фрагменты их хромосом. В результате получается новый набор генов.

Часто применяют метод одноточечного скрещивания — внутри хромосом родителей выбирают случайное место и разделяют каждую из них на две части. Далее эти части меняют местами, а затем новые данные загружают в популяцию.

3. Мутация.

Запускается редко и в случайном порядке переставляет местами числа отдельных генов (например: меняет 1 на 0).

Мутация способствует сохранению разнообразия внутри популяции. При этом степень приспособленности мутировавшей особи может повыситься, а может понизиться.

4. Завершение алгоритма.

Процесс заканчивается тогда, когда новая созданная популяция почти не отличается от предыдущей. Это означает, что полученное решение оптимально.

Онлайн. На практике.

r_d помогает в этом — учит людей создавать будущее уже сегодня.

Генетические алгоритмы или нейросети: что лучше

Алгоритм идеально работает с большим объемом дискретных данных, так как простой перебор занимает на порядок больше времени.

Data scientist Мишель Берк запрограммировал алгоритм расставить в верном порядке буквы зашифрованного предложения: Genetic Algorithms are wild. Алгоритму потребовалось сделать выбор из всех вероятных комбинаций — 2753. У него было 30 особей в популяции, а решил задачу он на 51-м поколении. Для этого ему пришлось проверить 1 530 комбинаций.

Алгоритм может быстро найти кратчайший путь между двумя точками. Поэтому его применяют для построения маршрутов GPS-систем и расчета траектории движения.

Для расчета распространения коронавируса ученые также воспользовались генетическим алгоритмом. На его базе был проведен анализ распространения инфекции в 40 странах мира.

Нейросети лучше работают с непрерывными данными. Так они лучше понимают языки или распознают изображения. А еще нейросети используют для задач линейной регрессии, когда нужно найти зависимость между переменными.

Мы разработали онлайн-курс «Excel для финансов» для тех специалистов, которым нужно быстро и качественно составлять отчеты в Excel. Вы научитесь рассчитывать зарплаты сотрудников, готовить налоговую и финансовую отчетность. После курса ваша работа с данными в Excel станет намного эффективнее.

Алгоритмы и нейросети в симбиозе

Существуют примеры удачного объединения нейросетей и алгоритмов в одной системе.

Так алгоритмы могут оптимизировать функциональность модели. Например: подобрать вес, функцию активации. Но их использование для подбора требует больших затрат времени и вычислительных мощностей. Например: чтобы научить нейросети обыгрывать реальных людей в видеоиграх.

Так в 2017 году OpenAI применила алгоритм, для отбора тех ботов в игру Dota 2, которые выигрывали матчи. А затем они провели обучение нейросетей на основе этих данных.

Узнать подробнее об обучении в геймдеве можно тут.

Онлайн. На практике.

r_d помогает в этом — учит людей создавать будущее уже сегодня.

Хотите узнать больше? Подписывайтесь на каналы и соцсети онлайн-школы robot_dreams:

Начать дискуссию

Уважаемые коллеги! Поздравляем вас с Днем Победы!

Коллектив «Клерка» поздравляет всех с Днем Великой Победы!

Уважаемые коллеги! Поздравляем вас с Днем Победы!

Курсы повышения
квалификации

20
Официальное удостоверение с занесением в госреестр Рособрнадзора

Губернаторам могут разрешить продлевать майские праздники

Госдума начинает рассматривать законопроект, который может разрешить региональным властям давать людям больше выходных в майские праздники. Но только если большинство жителей региона поддержит перенос выходных с новогодних праздников.

8% в валюте на удобрениях. Свежие облигации: Акрон CNY на размещении

Нет ничего постыдного в том, чтобы инвестировать в навоз, даже если этот навоз берёт долги в юанях под 8%. Сегодня у нас в гостях Акрон — очередной эмитент, который позволяет инвесторам заработать в валюте. Крайне интересный выпуск, достойный находиться в портфелях всех любителей валюты.

8% в валюте на удобрениях. Свежие облигации: Акрон CNY на размещении
Лучшие спикеры, новый каждый день

Проблема навигации на «Клерке». 20 лет мы искали решение и вот

Теперь навигационное меню можно свернуть и оно запомнит свое состояние.

Проблема навигации на «Клерке». 20 лет мы искали решение и вот

Сравнение сервисов для подачи отчетности. Обзор для бухгалтера

Статья представляет сравнительный обзор трех сервисов для подачи отчетности: 1С-Отчетность, СБИС и Контур Экстерн. Описаны их ключевые функции и ценовые предложения.

Правильно подобрали переводчиков и локализовали сайт: как за 2 месяца мы помогли торговой компании открыть филиалы в ОАЭ, Турции и Казахстане

Когда открываешь филиал компании за рубежом нужно заранее разобраться с требованиями местного законодательства: почитать гражданское и корпоративное право страны, в которой регистрируешь бизнес, и собрать правильный пакет документов. Все сертификаты, лицензии, разрешения должны быть профессионально переведены и заверены.

Правильно подобрали переводчиков и локализовали сайт: как за 2 месяца мы помогли торговой компании открыть филиалы в ОАЭ, Турции и Казахстане
Опытом делятся эксперты-практики, без воды

Грядет очередной эксперимент по маркировке

C 1 сентября 2024 по 31 августа 2025 года Минпромторг планирует проведение эксперимента по маркировке отдельных видов смазочных материалов и специальных автомобильных жидкостей.

1

К 2036 году у 99% населения России будет интернет

Президент в качестве национальной цели обозначил увеличение доли домохозяйств, которым обеспечена возможность качественного высокоскоростного широкополосного доступа к интернету.

Зачем обращаются в Росреестр чаще всего: официальные данные

Росреестр отчитался, с какими вопросами чаще всего обращались заявители в 2023 году.

Ведение бизнеса

Выручка малых технологических компаний должны вырасти в 7 раз

Для достижения национальной цели «Технологическое лидерство» президент поставил целевой показатель по росту выручки малых технологических компаний (МТК).

Названы приоритетные направления для развития новых технологий

Президент поставил задачу обеспечить технологическую независимость и формирование новых рынков по ряду направлений.

Все что вам нужно знать о штрафах за работу с самозанятыми. Реальный опыт юриста

Разберу на примере реальных  судебных дел, как предприниматели «попадают» на штрафы за работу с самозанятыми и теряют миллионы. Отвечу на 3 самых популярных вопроса и развею мифы.

1
Миникурсы, текстовые и видеоинструкции для бухгалтеров
Проверки ФАС

6 основных инструментов ФАС по борьбе с недобросовестной конкуренцией

Антимонопольная служба подвела итоги работы по противодействию недобросовестной конкуренции за 2023 год.

Бесплатно с Увольнение

Увольнение с отработкой: что такое, как правильно оформить, образец заявления

Увольнение с отработкой — это не нормативное, а обиходное выражение. Корректнее говорить об увольнении по собственному желанию или расторжении трудового договора по инициативе работника. Но важнее не термины, а правильное оформление.

Иллюстрация: Вера Ревина/Клерк.ру
Обзоры новостей

⚡️ Итоги дня: Microsoft создала нейросеть для спецслужб, Ozon сгенерирует фото одежды на моделях, а в Москве продают мангал за 350 тысяч

Подготовили обзор главных событий дня — 8 мая 2024 года. Все самое интересное, что писали и обсуждали в сети, в одной подборке.

Маркетплейсы

На Wildberries появился раздел с белорусскими товарами

Маркетплейс выделил целый раздел для сертифицированных белорусских товаров. Сейчас для заказа доступно 2,7 тысяч позиций.

Общество

Болгария не выдает россиянам шенгенские визы

С конца апреля визовые центры Болгарии начали принимать документы на оформление национальных виз по биометрии, но шенген все еще не выдают.

HR

У «Клерка» новый телеграм-канал для HR-специалистов. О карьере без купюр

«Клерк» запустил telegram-канал с обсуждением трендов и тенденций в найме. Пригодится начинающим и опытным рекрутерам, а также всем, кто хочет работать в этой сфере. Подписывайтесь!

У «Клерка» новый телеграм-канал для HR-специалистов. О карьере без купюр
Налог на прибыль

Шохин: повышение налога на прибыль должно затронуть не всю прибыль

Александр Шохин назвал дифференциацию по налогу на прибыль организаций справедливой и важной для развития страны.

Интересные материалы

Стало известно, кого будут активно переводить на российское ПО

Перевод организаций на российское программное обеспечение предусмотрен в рамках выполнения национальной цели, поставленной президентом.