Клерк.Ру

Что делать, если вас нет. Громадная чистка базы пользователей «Клерка»

569

Мы решили навести порядок в огромной базе пользователей «Клерка» (1 130 779 пользователя) и удалить из нее ботов, спамеров и прочую нечисть, которую мы накопили за 18 лет.

Первый подход

Удалили 30 тысяч аккаунтов. Из них 23 000 забаненных пользователей и пользователей без почты - это какой-то баг времён старой регистрации. Объединили пользователей с одинаковой почтой.

Осталось 1 096 464 пользователей

Второй подход

Определили ботов. Это те, кто:

  1. Никогда не заходил на сайт (со времен новой авторизации)
  2.  На форуме нет коментов
  3.  В почте 4 точки до собаки
  4.  В логине нет ничего кроме английских букв и цифр
  5.  Почта не в домене .ru

Получили вот такой список:

Осталось: 983253 пользователей.

Третий подход

Далее мы заметили что у ботов есть специфичные домены.

Проанализировали статистику использования почтовых доменов и поняли, что есть домены, которые используются только ботами. Например 51344 пользователей зарегистрированные с почтой от китайского домена sina.com  

Кроме того, если взять hotmail и aol и по ним отфильтровать по тому же принципу (отсутствие коментов, отсутствие русских букв, древняя дата регистрации и т.п.) то ещё тысяч 50 будет

Вот список зарегистрированных пользователей по доменам: 

  1. gmail.com  276645
  2. mail.ru  187429
  3. yandex.ru  60572
  4. sina.com  51344
  5. hotmail.com  30979
  6. aol.com  25890
  7. rambler.ru  23972
  8. bk.ru  12390
  9. dolphinmail.org  11724
  10. buchananinbox.com  11537
  11. hamstermail.net  11387
  12. expressgopher.com  11330
  13. jeffersonbox.com  11294
  14. tylerexpress.com  10927
  15. list.ru  10179
  16. trumanpost.com  8578
  17. inbox.ru  8079
  18. pinkinbox.org  7875
  19. greeninbox.org  7676
  20. yahoo.com  5439
  21. outlook.com  4940
  22. ya.ru  4210

Обратите внимание sina.com на 4м месте. Все регистрации сделаны в 2013 году

Осталось 930 462 пользователей

Четвертый подход

Подготовили к удалению пользователей с почтами:

  1.   @greeninbox.org
  2.  @pinkinbox.org
  3.  @trumanpost.com
  4.  @tylerexpress.com
  5.  @jeffersonbox.com
  6.  @expressgopher.com
  7.  @hamstermail.net
  8.  @buchananinbox.com
  9.  @dolphinmail.org
  10.  @mailondandan.com
  11.  @orangeinbox.org
  12.  @luxurychanel.com
  13.  @newsinhouse.com
  14.  @siteposter.net
  15.  @hooverexpress.net
  16.  @mailabconline.com
  17.  @niketexanshome.com
  18.  @blackinbox.org
  19.  @alexamaci.denver-pop3.top
  20.  @jpcoachoutletvip.com
  21.  @vipraybanuk.co.uk
  22.  @prokonto.pl
  23.  @oakleysunglassesdiscountusw.com
  24.  @fogkkmail.com
  25.  @justafou.com
  26.  @dfgggg.org
  27.  @yandexmailserv.com
  28.  @buyhermeshere.com
  29.  @tom.com
  30.  @satabmail.com
  31.  @besttopbeatssale.com

В этом списке 123 674 пользователей

Начальная цифра перед чисткой была - 1130779 пользователей. Когда закончится четвертая итерация, база пользователей станет чище на 323 674 бота.

И это еще не конец.

Все действия протоколируются и бекапятся. Если вы заметите, что от этой чистки пострадает добропорядочный клерк с электропочтой на китайском домене, пожалуйста, напишите про это мне на почту tot@klerk.ru.

«Клерк» — крупнейший сайт для бухгалтеров. Мы не берем денег за статьи, новости или скачивание документов. Мы делаем все, чтобы сделать работу бухгалтеров проще.