Мы решили навести порядок в огромной базе пользователей «Клерка» (1 130 779 пользователя) и удалить из нее ботов, спамеров и прочую нечисть, которую мы накопили за 18 лет.
Первый подход
Удалили 30 тысяч аккаунтов. Из них 23 000 забаненных пользователей и пользователей без почты - это какой-то баг времён старой регистрации. Объединили пользователей с одинаковой почтой.
Осталось 1 096 464 пользователей
Второй подход
Определили ботов. Это те, кто:
- Никогда не заходил на сайт (со времен новой авторизации)
- На форуме нет коментов
- В почте 4 точки до собаки
- В логине нет ничего кроме английских букв и цифр
- Почта не в домене .ru
Получили вот такой список:
Осталось: 983253 пользователей.
Третий подход
Далее мы заметили что у ботов есть специфичные домены.
Проанализировали статистику использования почтовых доменов и поняли, что есть домены, которые используются только ботами. Например 51344 пользователей зарегистрированные с почтой от китайского домена sina.com
Кроме того, если взять hotmail и aol и по ним отфильтровать по тому же принципу (отсутствие коментов, отсутствие русских букв, древняя дата регистрации и т.п.) то ещё тысяч 50 будет
Вот список зарегистрированных пользователей по доменам:
- gmail.com 276645
- mail.ru 187429
- yandex.ru 60572
- sina.com 51344
- hotmail.com 30979
- aol.com 25890
- rambler.ru 23972
- bk.ru 12390
- dolphinmail.org 11724
- buchananinbox.com 11537
- hamstermail.net 11387
- expressgopher.com 11330
- jeffersonbox.com 11294
- tylerexpress.com 10927
- list.ru 10179
- trumanpost.com 8578
- inbox.ru 8079
- pinkinbox.org 7875
- greeninbox.org 7676
- yahoo.com 5439
- outlook.com 4940
- ya.ru 4210
Обратите внимание sina.com на 4м месте. Все регистрации сделаны в 2013 году
Осталось 930 462 пользователей
Четвертый подход
Подготовили к удалению пользователей с почтами:
- @greeninbox.org
- @pinkinbox.org
- @trumanpost.com
- @tylerexpress.com
- @jeffersonbox.com
- @expressgopher.com
- @hamstermail.net
- @buchananinbox.com
- @dolphinmail.org
- @mailondandan.com
- @orangeinbox.org
- @luxurychanel.com
- @newsinhouse.com
- @siteposter.net
- @hooverexpress.net
- @mailabconline.com
- @niketexanshome.com
- @blackinbox.org
- @alexamaci.denver-pop3.top
- @jpcoachoutletvip.com
- @vipraybanuk.co.uk
- @prokonto.pl
- @oakleysunglassesdiscountusw.com
- @fogkkmail.com
- @justafou.com
- @dfgggg.org
- @yandexmailserv.com
- @buyhermeshere.com
- @tom.com
- @satabmail.com
- @besttopbeatssale.com
В этом списке 123 674 пользователей
Начальная цифра перед чисткой была - 1130779 пользователей. Когда закончится четвертая итерация, база пользователей станет чище на 323 674 бота.
И это еще не конец.
Все действия протоколируются и бекапятся. Если вы заметите, что от этой чистки пострадает добропорядочный клерк с электропочтой на китайском домене, пожалуйста, напишите про это мне на почту tot@klerk.ru.
Комментарии
16Главное меня не удалите. Всех остальных можно.
О как)))) А что без всех будем делать? ))
давно пора генуборку провести) молодцы)
Согласен, красавцы...
Только представителей фнс тоже оставьте ;)