Введение
В апреле 2014 года веб-сайт
Android Police опубликовал результаты анализа приложения под названием Virus Shield. На тот момент приложение было загружено более 10 000 раз и было самым популярным приложением в рейтинге новых платных приложений и третьим по популярности в общем рейтинге платных приложений. Пользовательская оценка Virus Shield составляла 4,7 баллов из 5. Судя по названию, можно предположить, что данное приложение является антивирусом для устройств Android. Однако, в ходе исследования Android Police выяснилось, что приложение совсем не имеет антивирусных функций, а при нажатии кнопки активации защиты происходила только смена иконки статуса. Единственными правдивыми заявлениями разработчиков являлись отсутствие рекламы и минимальное воздействие на заряд аккумулятора.
После того, как приложение было признано мошенническим, Google удалил Virus Shield из магазина приложений Google Play, заблокировал аккаунт разработчика и возместил пользователям суммы, потраченные на покупку. Данный пример наглядно демонстрирует, как бесполезное приложение может стать популярным благодаря хорошему маркетингу. Интересно, что обнаружить вредоносное приложение гораздо легче, чем бесполезное приложение, из-за наличия подозрительных участков кода. Тщательный аудит приложения может быть очень дорогостоящим и продолжительным по времени. Google рекомендует проверять рейтинг приложений перед покупкой. Это хороший совет, но в случае с Virus Shield он бы не сработал. Приложения в данном отчете лаборатории AV-Comparatives имеют рейтинг от 4 баллов и выше, хотя многие из них не отличаются эффективной защитой.
Для проверки мобильных антивирусов нужно использовать реальные вредоносные приложения, обнаруженные исследователями лаборатории. Целью данного тестирования было выявление надежных и эффективных мобильных антивирусов и обнаружение поддельных и неэффективных приложений защиты.
Протестированные антивирусы для Android
Для данного теста эксперты лаборатории обнаружили и загрузили из магазина приложений Google Play более 100 антивирусных приложений от различных разработчиков.
Были протестированы следующие 110 мобильных антивирусов:
| ADV Antivirus Mobile Agency | Kaspersky Antivirus & Security |
| AegisLab Antivirus Premium | LINE Antivirus |
| AhnLab V3 Mobile Security | LionMobi Power Security Antivirus Clean |
| AiDevLab Security Antivirus Max Clean | Live multi Player GameAntivirus Total Security |
| AndroHelm AntiVirus | Lookout Antivirus & Security |
| Antiy AVL | MalwareBytes Anti-Malware |
| Ascal Antivirus & Mobile Security | Max Security Antivirus PRO |
| Avast Mobile Security & Antivirus | McAfee Security & Antivirus |
| AVC Security Antivirus Clean | MediaCenterSocial Antivirus |
| AVG Antivirus PRO | Melodiu Ideas LuLa Antivirus Malware Protect |
| AVIRA Antivirus Security | NCN-NetConsulting Free Antivirus Clean&Boost |
| Baboon Antivirus | Netlink Mobile Antivirus Pro |
| Baidu DU Antivirus Mobile Security & AppLock | NguyenManh Antivirus Security |
| Bastiv Security Antivirus | NOAH Security Antivirus |
| Bitdefender Mobile Security & Antivirus | NQ Mobile Security & Antivirus |
| BitInception Antivirus | NSHC Ariasecure Bornaria security (Antivirus) |
| BKAV Security Antivirus Free | One App Super Clean Speed Security MAX |
| Bluesteeleffect Studios Antivirus Security Cleaner Pro | Panda Free Antivirus |
| Brainiacs Apps Antivirus System | Perfect Tools Antivirus |
| BuildOut Tech Antivirus | Play Studio Apps Mobile Security Antivirus |
| BullGuard Mobile Security and Antivirus | Playnos Yalp Security Antivirus |
| CA Uber Apps Security Antivirus Android | Pocao Antivirus |
| Check Point ZoneAlarm Mobile Security | Poke And Touch Security Antivirus |
| Cheetah Mobile CM Security CleanMaster | Pro Tool Apps Antivirus Security |
| CHOMAR Antivirus Security | Psafe Antivirus |
| Comodo Mobile Security | Qihoo 360 Mobile Security |
| Cora Mobile Antivirus | Quick Heal Antivirus & Mobile Security |
| CTPlate Free Antivirus | Quicken Security Studio Smart Antivirus |
| CY Security Antivirus Cleaner | REVE Antivirus Mobile Security |
| Defenx Security Suite | Security Defend Total Antivirus Defender PRO |
| DevByMe MDD Guard Antivirus & Antispyware | Smartdev Studio Security Antivirus |
| Dr.Web Antivirus Light | Sophos Free Antivirus and Security |
| Duc Nguyen FJC Antivirus Spy Mobile Security Pro | SPAMfighter VIRUSfighter Antivirus |
| Emsisoft Mobile Security | Stock VIP Antivirus |
| EnjoyPlus Security Antivirus | Super Security Tech Ace Security Plus Antivirus |
| eScan Mobile Security | SuperSoftDev Antivirus |
| ESET Mobile Security & Antivirus | Symantec Norton Antivirus & Security |
| EveryZone Turbo Vaccine Mobile | Taolee Antivirus |
| Farga Security Antivirus | Tencent WeSecure Antivirus |
| Fast Track Super Security Free AntiVirus | TG Soft VirIT Mobile Security |
| Fotoable Photo Editor Creative Cleaner&Security&Applock | TiTanTech CleaningVirus 360 |
| F-secure Mobile Security | Total Defense Mobile Security |
| G DATA Internet Security | Trend Micro Mobile Security & Antivirus |
| GO Security Antivirus Applock | TrustGo Antivirus & Mobile Security |
| Gpaddy Antivirus Pro | Trustlook Premium Mobile Antivirus |
| Green Booster Antivirus | Vasa Virus Seeker Mobile Security |
| Guaraw Yadaw Antvirus Security Shield | Viettel Antivirus Free Mobile Security |
| H2 Free Antivirus | VSAR Total Virus Scanner & Remover |
| Hi Dev Team Security Antivirus & Privacy | Webroot Security Premier |
| Hornet Antivirus PRO | WeMakeItAppen Antivirus Fast |
| Ikarus mobile.security | WhiteArmor Security Pro |
| IncodeSolutions Anti-Malware | Z Security Apps Studio Virus Cleaner Antivirus |
| Iobit AMC Security | Zemana Mobile Antivirus |
| Itus Antivirus | Zillya! Internet Security & Antivirus |
| K7 Mobile Security | ZONER Mobile Security |
Мобильные антивирусы от следующих 9 вендоров были настолько проблемные и неисправные, что не могли быть установлены или протестированы: CY Security, DevByMe, Gauraw Yadaw, Live multi Player Game, MediaCenterSocial, NguyenManh, REVE, SPAMfighter и SuperSoftDev.
Следующие 5 мобильных антивирусов представляют серьезные риски безопасности, потому что содержат опасные функции, собирают конфиденциальные данные и обманывают пользователей, обещая эффективную антивирусную защиту, хотя это не соответствует действительности: Cora, Hi Dev Team, Melodiu Ideast, Netlink и Z Security Apps Studio.
Приложения от следующих 10 вендоров уже были удалены из магазина приложений Google Play: BuildOut Tech, Duc Nguyen, EveryZone, Perfect Tools, Playnos Yalp, Poke And Touch, Quicken, Stock, Taolee и TiTanTech.
Большинство приложений, которые были удалены Google, являлись продуктами любительских разработчиков или компаний, которые не специализируются на продуктах безопасности (например, разработки приложений всех видов для рекламы и монетизации). Программы любительских программистов можно выявить на странице приложений по контактным данным. Они обычно указывают адрес электронной почты вместо адреса сайта.
Кроме того, большинство таких приложений не имеют никакой политики конфиденциальности. Google намерена удалить из магазина Google Play все приложения, которые не предоставляют политику конфиденциальности, что позволит избавить площадку от низкокачественных приложений. Конечно, следует иметь в виду, что не все приложения, созданные любительскими разработчиками, являются неэффективными.
Процедура тестирования
Описание тестовой системы
Мобильные антивирусы для Android были проверены на эффективность защиты против более 1000 Android-угроз 2016 года. Ручное тестирование более 100 приложений против 1000 вредоносных объектов является нецелесообразным. Поэтому для проведения теста использовалась автоматизированная тестовая среда Android.
Несмотря на то, что тестовый процесс был автоматизирован, используемый фреймворк реалистично имитировал реальные условия. В испытании корректно моделировались реальные сценарии использования устройств Android, а для тестирования использовались физический устройства, а не эмуляторы.
Тестовый фреймворк состоял из двух компонентов: клиентского приложения, которое работало на тестовом устройстве и серверного приложения. Клиентское приложение выполняло мониторинг состояния устройства и отправляло эту информацию на сервер для контроля процесса тестирования. Клиент следил за файловыми операциями, активными процессами, устанавливаемыми приложениями и их разрешениями, а также за реакцией тестируемого антивируса на вредоносные активности на устройстве. Сервер удаленно контролировал тестовое устройство по беспроводной сети Wi-Fi и обрабатывал результаты, получаемые от клиентского приложения.
Во время теста каждый антивирус был установлен на отдельном устройстве. Система хорошо масштабировалась при увеличении количества подключенных клиентов. Эта особенность позволяла тестировать большое количество мобильных антивирусов параллельно. Чтобы уровнять шансы для всех тестируемых продуктов, поддерживалась синхронизация клиентских приложений для запуска тестового сценария в один и тот же момент. Это важно для тестирования реакции на новейшие вредоносные программы, с которыми разработчики еще не столкнулись.
Методика тестирования
Тестирование проходило 12 января 2017 года на устройствах Nexus 5 под управлением Android 6.0.1 (“Marshmallow”). Каждый мобильный антивирус был установлен на отдельное физическое устройство. Перед запуском тестирования, все установленные на устройствах приложения - системные приложения Android, предустановленные приложения и сторонние приложения для тестирования - были обновлены. После этого, автоматические обновления были отключены для того, чтобы заморозить состояние тестовой системы. Затем были установлены и запущены тестируемые приложения, было выполнено обновление версии и сигнатурных определений.
Если антивирус запрашивал от пользователя определенные действия для защиты устройства, например, первоначальную проверку, то эти действия производились. Если приложение предлагало расширенные опции, например, сканирование при установке, облачная защита или обнаружение ПНП, то они включались. Чтобы обеспечить полную работоспособность облачных компонентов защиты, тестовые устройства были подключены к Интернету посредством беспроводного подключения Wi-Fi. После выполнения всех перечисленных действий, создавался снимок тестового устройства, и тест запускался. Каждый отдельный тестовый случай проходит по одному и тому же алгоритму:
- Запуск веб-браузера Google Chrome и загрузка вредоносного объекта
- Запуск скачанного файла .apk с помощью файлового менеджера
- Установка вредоносного приложения
- Запуск установленного вредоносного приложения
После каждого шага тестируемый антивирус получал достаточно времени, чтобы провести анализ вредоносного приложения и предупредить пользователя о вредоносной активности на устройстве.
Если в какой-то момент во время выполнения тестового сценария, установленный антивирус обнаружил и заблокировал вредоносный объект, то объект считался “обнаруженным” и регистрировались условия блокировки (например, приложение обнаружено после установки, не исполнялось).
После завершения отдельного тестового случая, устройства восстанавливались к исходному состоянию. Если вредоносное приложение не запустилось на устройстве, то образец удалялся с хранилища тестового устройства. Если угроза была запущена, то восстанавливался исходный снимок системы.
При подсчете результатов каждого продукта не учитывалось время обнаружения угрозы во время тестового сценария (например, после загрузки или после установки). Учитывался лишь один самый главный аспект защиты - смог ли антивирус предотвратить заражение устройства.
Также был проведен базовый тест на проверку ложных срабатываний, чтобы убедиться, что ни один из антивирусов не считает все новые приложения вредоносными. Все протестированные антивирусы корректно обработали 50 безопасных приложений Android.
Тестовые случаи
В тесте использовалось 1000 наиболее распространенных вредоносных программ 2016 года. В этих условиях эффективный антивирус мог легко показать уровень обнаружение от 90 до 100 процентов.
- Количество протестированных приложений: 110
- Количество вредоносных файлов APK: 1000
- Количество безопасных файлов APK: 50
В общей сложности за все тестирование было проведено более 100000 тестовых случаев.
Результаты тестирования
Таблица ниже показывает уровни обнаружения различных продуктов. Приложения, которые показали уровень обнаружения ниже 30 процентов, рассматриваются как небезопасные и неприемлемые для защиты.
| Антивирус | Уровень обнаружения |
|---|
| AhnLab | 100% |
| Antiy | 100% |
| Avast | 100% |
| AVG | 100% |
| AVIRA | 100% |
| Baidu DU Apps | 100% |
| Bitdefender | 100% |
| BullGuard | 100% |
| Cheetah Mobile | 100% |
| Emsisoft | 100% |
| ESET | 100% |
| G DATA | 100% |
| Ikarus | 100% |
| Kaspersky Lab | 100% |
| McAfee | 100% |
| One App | 100% |
| Psafe | 100% |
| Quick Heal | 100% |
| Sophos | 100% |
| Symantec | 100% |
| Tencent | 100% |
| Total Defense | 100% |
| Trend Micro | 100% |
| WhiteArmor | 100% |
| BKAV | 99,9% |
| Webroot | 99,9% |
| Bastiv | 99,8% |
| Qihoo 360 | 99,8% |
| TrustGo | 99,6% |
| Dr.Web | 99,5% |
| F-Secure | 98,9% |
| ADV | 98,2% |
| Антивирус | Уровень обнаружения |
|---|
| Green Booster | 98,2% |
| Pocao | 98,2% |
| Avc Security | 97,5% |
| NOAH Security | 97,5% |
| Fast Track | 97,4% |
| Fotoable | 96,6% |
| Iobit | 96,6% |
| MalwareBytes | 96,0% |
| eScan | 95,8% |
| AiDevLab | 95,7% |
| NSHC | 95,5% |
| K7 | 95,2% |
| Panda | 95,1% |
| ZoneAlarm | 94,6% |
| Lookout | 92,2% |
| AegisLab | 90,2% |
| Zemana | 88,8% |
| TG Soft | 88,6% |
| ZONER | 83,9% |
| Comodo | 70,6% |
| Gpaddy | 63,0% |
| GO Security | 61,4% |
| Trustlook | 61,4% |
| Viettel | 52,9% |
| Super Security Tech | 48,6% |
| NQ | 48,1% |
| LionMobi | 46,6% |
| LINE | 39,9% |
| Zillya! | 34,4% |
| CA Uber Apps | 33,9% |
| WeMakeItAppen | 33,9% |
От 0 до 30 процентов вредоносных образцов тестовой коллекции обнаружили: AndroHelm, Ascal, Baboon, BitInception, Bluesteeleffect Studios, Brainiacs Apps, CHOMAR, CTPlate, Defenx, EnjoyPlus, Farga, H2, Hornet, IncodeSolutions, Itus, Max Security, NCN-NetConsulting, Play Studio Apps, Pro Tool Apps, Security Defend, SmartDev Studio, Vasa и VSAR. Эти приложения не представлены в списке из-за низкой эффективности.
Заключение
Среди всех доступных в Google Play антивирусов есть немало приложений, которые имеют такое количество серьезных ошибок, что они не могут быть установлены или использованы из-за частых сбоев.
Некоторые протестированные приложения обнаружили слишком мало угроз для Android и не могут быть рекомендованы для защиты устройства. В некоторых отдельных случаях не было обнаружено ни одной угрозы. Иногда это может быть связано с тем, что разработчик забросил приложение, и оно длительное время не обновляется в магазине приложений. Данные случаи не стоит рассматривать как мошенничество. Безответственные разработчики просто не удаляют приложение с площадки.
Несколько антивирусов известных вендоров отработали довольно слабо. Вполне вероятно, что данные приложения могли быть созданы по маркетинговым причинам. Рынок антивирусов для Android не является самым прибыльным, но наличие приложения в Google Play повышает доверие к вендору и помогает продвигать антивирусные продукты для Windows.
25 протестированных мобильных антивируса обнаружили 100 процентов вредоносных приложений. Учитывая, что все угрозы появились в 2016 году, то эти продукты справились со своей прямой задачей. Среди этих антивирусов - продукты известных вендоров, которые часто принимают участие в тестах независимых лабораторий и постоянно улучшаются для поддержания высокой эффективности.
При выборе мобильного антивируса для Android рекомендуется учитывать совокупность нескольких факторов. Полагаться только лишь на рейтинг пользователей не стоит, потому что он может не учитывать реальную эффективность продукта, а лишь отражает удобство использования. Некоторые отзывы могут быть оставлены самими разработчиками. Практически все протестированные приложения имели рейтинг от 4 баллов и выше. Аналогичным образом, количество загрузок тоже не может быть основным ориентиром, потому что некоторые приложения могут быть загружены тысячи раз, прежде чем будет раскрыто, что они являются пустышкой. Рекомендуется использовать решения от известных вендоров с хорошей репутацией. Наличие качественного сайта с контактной информацией и политикой конфиденциальности, а также регулярное участие в тестах независимых лабораторий также являются признаками хорошего продукта. Также перед покупкой должна быть доступна ознакомительная версия для тестирования. В этом случае пользователи смогут проверить удобство использования и функционал приложения. Многие вендоры делают эффективные бесплатные мобильные антивирусы, которые в большинстве случаев просто показывают рекламные блоки, в отличие от платной версии.
