Интернет и IT

Генетика, нейросети и Excel - как они связаны

Генетический алгоритм - это один из методов решения задач, который разработан на основе эволюции. Такой алгоритм используют тогда, когда количество решений настолько большое, что протестировать их все нереально. Расскажем, как устроены эти алгоритмы, и почему с ними нейросети работают на порядок лучше.
Генетика, нейросети и Excel - как они связаны

Генетический алгоритм — это один из методов решения задач, который разработан на основе эволюции. Такой алгоритм используют тогда, когда количество решений настолько большое, что протестировать их все нереально. Расскажем, как устроены эти алгоритмы, и почему с ними нейросети работают на порядок лучше.

Эволюция в математике

Составление алгоритма начинается с создания реестра моделей — популяции. Причем каждая модель должна быть представлена набором чисел — генов. Этот набор генерируют случайным образом.

Список решений — это и есть популяция. Из нее выбираются самые жизнеспособные модели для следующей популяции. Этот процесс многократно запускается до тех пор, пока не будет найдено оптимальное решение.

Чтобы понять, насколько качественным вышло решение, применяют функцию приспособленности. Например: F-score и точность предсказания. Чем качественнее решение, тем больше шансов, что особь будет отобрана для следующей популяции.

Анализ данных не останавливается на Excel. Пройдите онлайн-курс «Google Таблицы для бизнеса». Научитесь работать с Google Таблицами с любого устройства, синхронизируйте вашу работу с коллегами и интегрируйтесь с Google Forms и Google Analytics.

Основные стадии

После того, как будет создана первая популяция, алгоритм проходит четыре стадии:

1. Отбор.

Смысл отбора в том, чтобы найти самые жизнеспособные модели и передать их гены следующему поколению. Приспособленность — главное качество, по которому отбирают родителей. Причем количество родителей (пар особей) может быть любым, но всегда одинаковым для каждого последующего цикла.

Есть два основных метода отбора::

  • Ранговый. Популяцию делят на несколько рангов (групп). Ранги назначают на базе функции приспособленности. А затем пропорционально отбирают по несколько особей из каждого ранга.
  • Турнирный. Несколько особей выбирают случайным образом. Из отобранной группы выделяют лучших. Процесс повторяют до тех пор, пока не наберут нужное число особей из этой популяции.

У каждого метода свои плюсы. Ранговый помогает сохранить разнообразие особей. Турнирный подходит тогда, когда модели можно сравнивать только попарно, а выражение функции приспособленности числом недоступно. Например, его используют для игровых стратегий.

2. Скрещивание.

На этой стадии происходит обмен информацией между родителями. Из популяции отбирают пары особей и смешивают отдельные фрагменты их хромосом. В результате получается новый набор генов.

Часто применяют метод одноточечного скрещивания — внутри хромосом родителей выбирают случайное место и разделяют каждую из них на две части. Далее эти части меняют местами, а затем новые данные загружают в популяцию.

3. Мутация.

Запускается редко и в случайном порядке переставляет местами числа отдельных генов (например: меняет 1 на 0).

Мутация способствует сохранению разнообразия внутри популяции. При этом степень приспособленности мутировавшей особи может повыситься, а может понизиться.

4. Завершение алгоритма.

Процесс заканчивается тогда, когда новая созданная популяция почти не отличается от предыдущей. Это означает, что полученное решение оптимально.

Онлайн. На практике.

r_d помогает в этом — учит людей создавать будущее уже сегодня.

Генетические алгоритмы или нейросети: что лучше

Алгоритм идеально работает с большим объемом дискретных данных, так как простой перебор занимает на порядок больше времени.

Data scientist Мишель Берк запрограммировал алгоритм расставить в верном порядке буквы зашифрованного предложения: Genetic Algorithms are wild. Алгоритму потребовалось сделать выбор из всех вероятных комбинаций — 2753. У него было 30 особей в популяции, а решил задачу он на 51-м поколении. Для этого ему пришлось проверить 1 530 комбинаций.

Алгоритм может быстро найти кратчайший путь между двумя точками. Поэтому его применяют для построения маршрутов GPS-систем и расчета траектории движения.

Для расчета распространения коронавируса ученые также воспользовались генетическим алгоритмом. На его базе был проведен анализ распространения инфекции в 40 странах мира.

Нейросети лучше работают с непрерывными данными. Так они лучше понимают языки или распознают изображения. А еще нейросети используют для задач линейной регрессии, когда нужно найти зависимость между переменными.

Мы разработали онлайн-курс «Excel для финансов» для тех специалистов, которым нужно быстро и качественно составлять отчеты в Excel. Вы научитесь рассчитывать зарплаты сотрудников, готовить налоговую и финансовую отчетность. После курса ваша работа с данными в Excel станет намного эффективнее.

Алгоритмы и нейросети в симбиозе

Существуют примеры удачного объединения нейросетей и алгоритмов в одной системе.

Так алгоритмы могут оптимизировать функциональность модели. Например: подобрать вес, функцию активации. Но их использование для подбора требует больших затрат времени и вычислительных мощностей. Например: чтобы научить нейросети обыгрывать реальных людей в видеоиграх.

Так в 2017 году OpenAI применила алгоритм, для отбора тех ботов в игру Dota 2, которые выигрывали матчи. А затем они провели обучение нейросетей на основе этих данных.

Узнать подробнее об обучении в геймдеве можно тут.

Онлайн. На практике.

r_d помогает в этом — учит людей создавать будущее уже сегодня.

Хотите узнать больше? Подписывайтесь на каналы и соцсети онлайн-школы robot_dreams:

Начать дискуссию

Право

Как заключить госконтракт и не попасть под уголовную статью? Теперь читатели «Клерка» будут лучше разбираться в законах!

Ростовская областная коллегия адвокатов «Советник» начала вести свой блог на «Клерке». Правозащитники уже рассказали, как правильно работать по госконтрактам и не попасть под уголовную ответственность.

Как заключить госконтракт и не попасть под уголовную статью? Теперь читатели «Клерка» будут лучше разбираться в законах!

Курсы повышения
квалификации

20
Официальное удостоверение с занесением в госреестр Рособрнадзора

При выполнении нацпроектов обнаружены ценовые соглашения

Компании и ИП вступили в картельный сговор для поддержания цен на торгах. Общая сумма контрактов превысила 2,8 млрд рублей.

💥Обзор к утру четврега: нашли лекарство от болезни Бехтерева, цены на хлеб взлетели, в Perrier нашли бактерии

Добавим в ленту самых свежих новостей. Рассказываем обо всем, что писали и обсуждали в мире.

Лучшие спикеры, новый каждый день

Контроль за ведением воинского учета и штрафы в 2024 году

В прошлом году увеличили штрафы за нарушения в сфере воинского учета. Контроль за его ведением усиливается: многие организации ожидают проверок военкомата уже в ближайшее время. Рассказываем, как проходят проверки и какие есть штрафы.

Контроль за ведением воинского учета и штрафы в 2024 году

Выплаты многодетным на погашение ипотеки продлили: срок

В 2024 году многодетные получат порядка 50 млрд рублей на погашение жилищного кредита.

Какие меры принудительного исполнения можно применить к должнику

Рассказал о мерах применяемых к должнику, которые помогут быстрее исполнить решение суда.

Опытом делятся эксперты-практики, без воды

И Москва, и Сочи опять подорожали. Что произошло с ценами на недвижимость в этих городах за месяц?

Продолжаю следить за тем, что происходит с ценами на недвижимость в Москве и в Сочи. Как думаете, где цены выросли сильнее? А что будет с ипотекой? Вот и узнаем. В прошлый раз я смотрел февраль–март. Изучаем, что произошло за месяц, думаем, что будет дальше.

И Москва, и Сочи опять подорожали. Что произошло с ценами на недвижимость в этих городах за месяц?

Официально: даны прогнозы роста основных показателей экономики

Минэкономразвития ждет, что за 2024 год ВВП превысит 191 трлн рублей, реальные доходы населения вырастут на 5,3%, а безработица сохранится в пределах 3%.

​Вчера поспешил, сегодня — опоздал. И как же правильно?

Вот уж действительно головоломка. Вчера налоговики тебе сказали: «Поспешишь — нас насмешишь», а сегодня: «Сам виноват. Надо было раньше думать». А на кону, между прочим, опять деньги.

​Вчера поспешил, сегодня — опоздал. И как же правильно?

Бухгалтеры не знают элементарных вещей!

20 лет я главный бухгалтер. Большую часть из них работала в Хабаровском крае. С проблемой ниже, конечно, сталкивалась, но не сплошь, а вопрос с контрагентом решался быстро и безболезненно.

Бухгалтеры не знают элементарных вещей!
Общество

На сколько подорожал шашлык: суммы и наш опрос

Заметнее всего подорожал шашлык из курицы. Стоимость блюда выросла на 20%, до 389 рублей.

Летом стартует очередной эксперимент по маркировке товаров

Минпромторг предложил с 1 июля 2024 года провести эксперимент по маркировке полимерных труб и их сырья.

1
Миникурсы, текстовые и видеоинструкции для бухгалтеров
Мошенничество

Малоактивные и брошенные аккаунты работников сервисов доставок стали основой мошеннической схемы

В Санкт-Петербурге полицейские задержали подозреваемого в интернет-мошенничестве через сервисы доставок.

Инвестиции

Держатели облигаций «Киви финанс» могут потребовать погасить их досрочно

Эмитент проведет выплаты в течение 7 рабочих дней с даты получения требования.

Оценивать риск нарушения закона и принимать решение о проверке будут по 500 индикаторам. А работать когда? 🕵️‍♀️«Ночной бухгалтер» № 1671

Минэкономразвития уже согласовал 30 новых критериев оценки рисков, а до конца года добавят еще 60-70. К концу 2024 году число индикаторов риска увеличится до 500. Как вообще следить за всеми?

Иллюстрация: Вера Ревина/Клерк.ру
Товарный знак

👏 Суд: в товарных знаках нельзя указывать «№1». Но многие компании пренебрегают, хотя это не очень эффективно — говорит эксперт

Роспатенту напомнили, что при регистрации брендов нельзя использовать элементы, которые создают впечатление о превосходстве товаров.

Реклама

С 4 мая упростили продление договора на рекламную конструкцию

Начинают действовать изменения в закон о рекламе и ряд других нормативных актов.

Обзоры новостей

⚡️ Итоги дня: депутат заработал 200 млн рублей, организм может сам вырабатывать алкоголь, у «Яндекс Маркет» ребрендинг, а нейросеть придумала рецепт кофе

Подготовили обзор главных событий дня — 24 апреля 2024 года. Все самое интересное, что писали и обсуждали в сети, в одной подборке.

Тренды договорной работы — 2024

Качественная работа над договором — это работа по минимизации рисков при его исполнении. Потребность что-то отразить в договоре обычно отражает обычаи делового оборота или новые позиции в судебной практике. Если мы говорим о трендах договорной работы в 2024 году, то здесь мы можем отметить и новое, появившееся в этом году, и то, что сохраняет свою актуальность не первый год. В этой статье остановимся коротко на основных договорных трендах.

Тренды договорной работы — 2024

Интересные материалы

Начальника отдела камеральных проверок арестовали по делу о взятке

За получение взятки в размере 12 млн рублей суд заключил под стражу сотрудника ФНС в Новосибирске.