Интернет и IT

Генетика, нейросети и Excel - как они связаны

Генетический алгоритм - это один из методов решения задач, который разработан на основе эволюции. Такой алгоритм используют тогда, когда количество решений настолько большое, что протестировать их все нереально. Расскажем, как устроены эти алгоритмы, и почему с ними нейросети работают на порядок лучше.
Генетика, нейросети и Excel - как они связаны

Генетический алгоритм — это один из методов решения задач, который разработан на основе эволюции. Такой алгоритм используют тогда, когда количество решений настолько большое, что протестировать их все нереально. Расскажем, как устроены эти алгоритмы, и почему с ними нейросети работают на порядок лучше.

Эволюция в математике

Составление алгоритма начинается с создания реестра моделей — популяции. Причем каждая модель должна быть представлена набором чисел — генов. Этот набор генерируют случайным образом.

Список решений — это и есть популяция. Из нее выбираются самые жизнеспособные модели для следующей популяции. Этот процесс многократно запускается до тех пор, пока не будет найдено оптимальное решение.

Чтобы понять, насколько качественным вышло решение, применяют функцию приспособленности. Например: F-score и точность предсказания. Чем качественнее решение, тем больше шансов, что особь будет отобрана для следующей популяции.

Анализ данных не останавливается на Excel. Пройдите онлайн-курс «Google Таблицы для бизнеса». Научитесь работать с Google Таблицами с любого устройства, синхронизируйте вашу работу с коллегами и интегрируйтесь с Google Forms и Google Analytics.

Основные стадии

После того, как будет создана первая популяция, алгоритм проходит четыре стадии:

1. Отбор.

Смысл отбора в том, чтобы найти самые жизнеспособные модели и передать их гены следующему поколению. Приспособленность — главное качество, по которому отбирают родителей. Причем количество родителей (пар особей) может быть любым, но всегда одинаковым для каждого последующего цикла.

Есть два основных метода отбора::

  • Ранговый. Популяцию делят на несколько рангов (групп). Ранги назначают на базе функции приспособленности. А затем пропорционально отбирают по несколько особей из каждого ранга.
  • Турнирный. Несколько особей выбирают случайным образом. Из отобранной группы выделяют лучших. Процесс повторяют до тех пор, пока не наберут нужное число особей из этой популяции.

У каждого метода свои плюсы. Ранговый помогает сохранить разнообразие особей. Турнирный подходит тогда, когда модели можно сравнивать только попарно, а выражение функции приспособленности числом недоступно. Например, его используют для игровых стратегий.

2. Скрещивание.

На этой стадии происходит обмен информацией между родителями. Из популяции отбирают пары особей и смешивают отдельные фрагменты их хромосом. В результате получается новый набор генов.

Часто применяют метод одноточечного скрещивания — внутри хромосом родителей выбирают случайное место и разделяют каждую из них на две части. Далее эти части меняют местами, а затем новые данные загружают в популяцию.

3. Мутация.

Запускается редко и в случайном порядке переставляет местами числа отдельных генов (например: меняет 1 на 0).

Мутация способствует сохранению разнообразия внутри популяции. При этом степень приспособленности мутировавшей особи может повыситься, а может понизиться.

4. Завершение алгоритма.

Процесс заканчивается тогда, когда новая созданная популяция почти не отличается от предыдущей. Это означает, что полученное решение оптимально.

Онлайн. На практике.

r_d помогает в этом — учит людей создавать будущее уже сегодня.

Генетические алгоритмы или нейросети: что лучше

Алгоритм идеально работает с большим объемом дискретных данных, так как простой перебор занимает на порядок больше времени.

Data scientist Мишель Берк запрограммировал алгоритм расставить в верном порядке буквы зашифрованного предложения: Genetic Algorithms are wild. Алгоритму потребовалось сделать выбор из всех вероятных комбинаций — 2753. У него было 30 особей в популяции, а решил задачу он на 51-м поколении. Для этого ему пришлось проверить 1 530 комбинаций.

Алгоритм может быстро найти кратчайший путь между двумя точками. Поэтому его применяют для построения маршрутов GPS-систем и расчета траектории движения.

Для расчета распространения коронавируса ученые также воспользовались генетическим алгоритмом. На его базе был проведен анализ распространения инфекции в 40 странах мира.

Нейросети лучше работают с непрерывными данными. Так они лучше понимают языки или распознают изображения. А еще нейросети используют для задач линейной регрессии, когда нужно найти зависимость между переменными.

Мы разработали онлайн-курс «Excel для финансов» для тех специалистов, которым нужно быстро и качественно составлять отчеты в Excel. Вы научитесь рассчитывать зарплаты сотрудников, готовить налоговую и финансовую отчетность. После курса ваша работа с данными в Excel станет намного эффективнее.

Алгоритмы и нейросети в симбиозе

Существуют примеры удачного объединения нейросетей и алгоритмов в одной системе.

Так алгоритмы могут оптимизировать функциональность модели. Например: подобрать вес, функцию активации. Но их использование для подбора требует больших затрат времени и вычислительных мощностей. Например: чтобы научить нейросети обыгрывать реальных людей в видеоиграх.

Так в 2017 году OpenAI применила алгоритм, для отбора тех ботов в игру Dota 2, которые выигрывали матчи. А затем они провели обучение нейросетей на основе этих данных.

Узнать подробнее об обучении в геймдеве можно тут.

Онлайн. На практике.

r_d помогает в этом — учит людей создавать будущее уже сегодня.

Хотите узнать больше? Подписывайтесь на каналы и соцсети онлайн-школы robot_dreams:

Начать дискуссию

💥 Бодрящие скидки на курсы повышения квалификации и профессиональной переподготовки! Ведем запись на первый летний поток

Набираем первый летний поток-2024 на профкурсы. Успейте записаться до 3 июня, чтобы за лето повысить квалификацию и выйти на новый уровень знаний!

Курсы повышения
квалификации

22
Официальное удостоверение с занесением в госреестр Рособрнадзора
Банки

В РФ скоро появится новый бренд кредитной организации

«Экспобанк» закрыл сделку по покупке 100% дочки британского банка HSBC. Судя по релизу, она будет специализироваться на кредитовании корпоративных клиентов.

Микробизнес стал активно пользоваться «зонтичными» поручительствами

За год объем кредитования с помощью «зонтичных» поручительств вырос в 2,6 раза.

Лучшие спикеры, новый каждый день
Инвестиции

Мой портфель акций на 2 июня 2024

Посмотрел, как идут успехи с приведением портфеля акций к целевым значениям. Пока ещё портфель находится на стадии формирования и приведения к целевым значениям. Его размер составляет 999 тысяч рублей.

Мой портфель акций на 2 июня 2024

Какие риски переводов на карту

Что если вам переведет деньги на карту друг, коллега или кто-то еще? Начислят ли вам за это налоги? Много ходит слухов об этом, часть правдивых, часть нет.

Какие риски переводов на карту
НДФЛ

НДФЛ иностранца можно уменьшить на его аванс по патенту. Но есть ограничения

При расчете зарплаты патентных иностранцев учитывают фиксированный авансовый платеж по НДФЛ, который они оплатили. Для этого нужны документы.

Опытом делятся эксперты-практики, без воды
Алименты

Должники по алиментам станут известны всем

В реестр попадут должники по алиментам, которые были привлечены к административной или уголовной ответственности за неуплату денег на содержание детей, родителей.

1

Не всегда на авто, стоящее на учете, надо платить транспортный налог

Регистрация авто в ГИБДД после 15 числа одного месяца и снятие с учета до 15 числа другого месяца дает право не платить транспортный налог.

Создадут единую цифровую платформу туризма: что она дает

На единой цифровой платформе туризма соберут все сведения о гостиницах, кафе, гидах и транспорте. Это позволит сформировать комплексные предложения для туристов с учетом их потребностей.

1
Инвестиции

Вклады 18%, обвал рынка, рост налогов, дешёвый доллар, новые облигации, дивиденды и другие новости. Воскресный инвестдайджест

Есть что по жести? Ещё как есть! Разве что расчленёнки не хватает, так-то рынок акций и облигаций нормально приуныл. Но это пока был не обвал, а коррекция. Обвал точно ожидает нас всех впереди, но это не точно. Зато доллар всё ещё дешёвый, IPO проводятся, появляются новые облигации и дивиденды.

Вклады 18%, обвал рынка, рост налогов, дешёвый доллар, новые облигации, дивиденды и другие новости. Воскресный инвестдайджест

С 01 июля новая форма отчета о движении денег по зарубежным счетам

С 01 июля 2024 года изменится форма отчета о движении денег и иных финансовых активов по зарубежным счетам, которые готовят и подают юридические лица и ИП

В чем проблема прогрессивной налоговой системы в России?

Сама по себе прогрессивная налоговая система по своей сути не плохая, это нормально, когда люди, которые зарабатывают больше и платят больше налогов. Но есть 2 Но.

Миникурсы, текстовые и видеоинструкции для бухгалтеров

Календарь вебинаров для бухгалтера в июне 2024. Выбирайте и смотрите!

Будьте в курсе последних изменений в законодательстве! Выбирайте из 9 вебинаров интересные именно вам и записывайтесь. Забирайте в закладки календарь вебинаров для бухгалтера, которые пройдут в июне 2024. Подписчикам «Клерк.Премиум» — бесплатный доступ.

Календарь вебинаров для бухгалтера в июне 2024. Выбирайте и смотрите!
7
Инвестиции

Инвестиции в космические объекты пропишут в законе

Госдума приняла в первом чтении законопроект о государственно-частном партнерстве в сфере космической деятельности.

Трудовое право

Чем грозит неявка сотрудника на медосмотр

Работник обязан проходить обязательные предварительные и периодические медосмотры, другие обязательные медосмотры и обязательные психиатрические освидетельствования, а также внеочередные медосмотры по направлению работодателя.

Налог на прибыль

Все гранты на инновационное развитие освободили от налога

Компании, которые получают гранты на инновационное развитие, смогут не учитывать эти доходы при определении базы по налогу на прибыль.

Предприятия за каждого сотрудника из другого региона получат 300 тысяч рублей

Государство выделит субсидии бизнесу, который работает над крупным проектом и привлекает сотрудников из других регионов. Размер поддержки составит 12 МРОТ.

За что заблокируют ваш счет? Что не нужно делать, чтобы «влететь» на блок

Сейчас в мире бизнеса идет война за темную и светлую сторону.

За что заблокируют ваш счет? Что не нужно делать, чтобы «влететь» на блок

Налоговые перспективы на 2025 год. Прогрессивная шкала НДФЛ

Какими будут налоговые ставки НДФЛ в 2025 году и можно ли этот налог оптимизировать.

Интересные материалы

🚚 Грузоперевозка в страну ЕАЭС может облагаться разным НДС

При сделках с контрагентами из стран ЕАЭС взимание косвенных налогов при работах, услугах идет в стране, территория которой признается местом реализации. При грузоперевозках место реализации – страна исполнителя.