-------------------------------------------------- Окончательное Резюме: VTC Университет Гамбурга Тесты Антивирусов для PC 1997-07: -------------------------------------------------- Центр Тестирования Вирусов (VTC) при Университете Гамбурга (факультет информатики) недавно провел очередные тесты сканеры на предмет их способности идентифицировать вирусы PC. Тесты выполнялись на VTCs базах данных вирусов, которые были замороженны с 30 апреля 1997 года ,чтобы дать производителям AV возможность внести модификации в свои программы в течении 7 недель. Цель теста состoяла в том, чтобы определить проценты обнаружений, надежность (=consistency) идентификации вируса и надежности обнаружения предоставленными сканерами. Информация относительно вирусных баз данных: **************************************************** 12,826 файловых вируса в 83,910 инфицированных файлах, 938 бут вирусов в 3,387 инфицированных объектах, и 617 Макровирусов в 2,036 инфицированных документах. **************************************************** Также было включено несколько дропперов, генераторов вирусов,троянских коней. Проверка конструкторов макровирусов включена в отдельный тест. При тестировании использовались следующие сканеры: Alert (Look), AVAST! (Alwil), AVG (Grisoft), AVP (KAMI Ltd), AVScan (H+B EDV), DSAV (Dr. Solomon), DrWeb (Dialogue Science), F-Prot, F-MacroW (Frisk Software), F/Win (Kurtzhals), IBM AV (IBM), Integrity Master (Stiller Research), InVircible (NetZ), Norman Virus Control (Norman Data), Norton AV (Symantec), Scan (McAfee), Sweep (Sophos), Power Antivirus (Gdata), Pccillin ( TBAV (ThunderByte), VDS (Advanced Research Group), Virus Buster (Leprechaun), and VET (CYBEC). Один из антивирусов ( Power Antivirus, PAV ) GDATA/GERMANY оказался почти идентичной версией другого антивируса (AVP). Все другие программы отличаются, хотя некоторые из них очевидно используют некоторый общий механизм обнаружения. Еще один сканер (PCVP) был проверен,но настолько неправильно работал при любом тесте, так что был исключен из теста. Другой сканер (TNT) был прислан для проверки производителем (Carmel),но при условии,что результаты его тестирования опубликованы не будут; это не соответствует правилам VTCs, и сканер исключен из теста. Кроме того, все попытки войти в контакт с несколькими известными производителями AV оказались неудачными. Краткий обзор результатов дается в "6a-sumov.txt", и более подробные соответственно тесты под DOS, Windows 95 и Windows NT могут быть найдены остальных файлах архива ( см. 1content.txt ). Eval 0: Оценка усовершенствования сканера между последними тестами: ----------------------------------------------------------------------- Проверка эффективности сканеров DOS, сравнение результатов при обнаружении вируса теста "1997-02" с новым "1997-07" показывает как сканеры ведут себя и как изготовители работают для адаптации своих программ к возрастастающему числу новых вирусов. Следующая таблица перечисляет процент обнаружения вирусов программами ( самые последние версии в каждом тесте ), и это показывает изменение ( + индикация усовершенствования ) процента обнаружения. Следует отметить, что усовершенствование тех программ которые достигли сверхвысокого уровня обнаружения и качества ( обнаруживаютт: больше чем 90 или 95 % ) представляется более трудным, чем тех программ которые имеют более низкий процент обнаружения. ===================================================================== SCANNER Boot-V.Detection File-V.Detection Macro-V.Detection 97/2 97/7 CHANGE 97/2 97/7 CHANGE 97/2 97/7 CHANGE ===================================================================== ALERT 93.6% 95.4% + 1.8% 98.8% 94.1% - 4.8% 96.5% 66.0% -30.5% AVAST 94.1% 98.5% + 4.4% 98.9% 97.4% - 1.5% 99.3% 98.2% - 1.1% AVG 70.9% 70.4% - 0.5% 79.2% 85.3% + 6.1% 25.2% 71.0% +45.8% AVP 64.8% 99.3% +34.5% 98.5% 98.4% - 0.1% 99.3% 99.0% - 0.3% AVScan 60.9% 71.0% +10.1% 73.4% 80.6% + 7.2% 58.0% 68.6% +10.6% DRWEB 44.3% 74.0% +29.7% 93.2% 93.8% + 0.6% 90.2% 98.1% + 7.9% DSAV 99.8% 99.5% - 0.3% 99.7% 99.6% - 0.1% 97.9% 98.9% + 1.0% FMACRO n/a n/a n/a n/a n/a n/a 98.6% 98.2% - 0.4% FPROT 85.0% 82.5% - 2.5% 90.7% 89.0% - 1.7% 43.4% 36.1% - 7.3% FWIN n/a n/a n/a n/a n/a n/a 97.2% 96.4% - 0.8% IBM n/a 94.5% n/a 93.6% 95.2% + 1.6% 65.0% 88.8% +13.8% ITM 12.9% 38.0% +25.1% n/a 81.0% n/a 81.8% 58.2% -23.6% NAV 66.9% 67.1% + 0.2% 80.7% 86.4% + 5.7% 84.6% 95.6% +11.0% NVC 86.0% 91.4% + 5.4% 87.4% 89.7% + 2.3% 13.3% 96.6% +83.3% SCN 82.5% 95.3% +12.8% 83.9% 93.5% + 9.6% 95.1% 97.6% + 2.5% SWP 94.8% 92.6% - 2.2% 95.9% 94.5% - 1.4% 87.4% 89.1% + 1.7% TBAV 78.6% 77.4% - 1.2% 95.5% 93.7% - 1.8% 72.0% 96.1% +24.1% VBS n/a 8.0% n/a 43.1% 56.6% +13.5% n/a n/a n/a VDS n/a 45.5% n/a n/a 44.0% n/a 16.1% 9.9% - 6.2% ===================================================================== Eval 1: Оценка за проценты обнаружения вирусов в DOS: ---------------------------------------------------------------- - Процент обнаружения более чем 95 %: сканер "превосходен" - Процент обнаружения более чем 90 %: сканер " очень хороший " - Процент обнаружения 80-90 %: сканер - " достаточно хороший " - Процент обнаружения 70-80 %: сканер - " недостаточно хороший" - Процент обнаружения 60-70 %: сканер - " скорее плохой " - Процент обнаружения 50-60 %: сканер - " очень плохой " - Процент обнаружения ниже 50 %: сканер "бесполезен" Следующий список содержит сканеры попавшие в одну из трех высших категорий: "Excellent" DOS scanners: DSAV 772 (99,5% 99,6% 98.9%) AVPD 113 (99,3% 98,4% 99,0%) AVAST770051 (98.5% 97.4% 98.2%) "Very Good" DOS scanners: PAV 30 (99.0% 96.6% 93.7%) Scan 3.02 (95.3% 93.5% 97.6%) "Good Enough" DOS scanners:Sweep 2.99 (92.6% 94.5% 89.1%) IBMAV 252J (94.5% 95.2% 88.8%) Norman VC (91.4% 89.7% 96.6%) F-PROT2.27 (82.5% 89.0% 98,2%=F-MacroW 104X) Замечание: следующие сканеры потерпели неудачу,получив хорошую классификацию только в одной категории: Alert AVG, DrWeb, Norton AV and TBAV. Относительно вирусов "In-The-Wild", должна применяться еще более жесткая сетка для классификации сканеров, поскольку очень велика вероятность того, что пользователь может обнаружить такой вирус своей машине. Применяется следующая сетка для классификации сканеров: - Процент обнаружения - 100 %: сканер "превосходен" - Процент обнаружения - > 95 %: сканер " очень хорош " - Процент обнаружения - > 90 %: сканер "хорош" - Процент обнаружения - < 90 %: сканер "риск" "Превосходные" сканеры DOS ( одинаковая оценка, в алфавитном порядке ): AVPD 113 (100% 100% 100%) DSAV 772 (100% 100% 100%) PAV 30 (100% 100% 100%) Scan 3.02 (100% 100% 100%) Sweep 2.99 (100% 100% 100%) " Очень Хорошие " сканеры DOS: FPROT 2.27X ( 97.5% 100% 100%) AVAST 770051 (100% 100% 97.3%) TBAV 8.01 (98.9% 100% 94.6%) "Хорошие" сканеры DOS: DrWeb 322A (95.7% 100% 100%) AVAST! 77/1 (100% 94,5% 100%) IBM 252J (97.9% 100% 94.6%) AVScan 353 (92.6% 95.8% 94.6%) Eval 2: Оценка для обнаружения классами вируса под DOS: ------------------------------------------------------------- Некоторые сканеры специализируются на обнаружении некоторого класса вирусов (или преднамеренно ограничены одним классом вирусов). Следовательно стоит включит в тесты с вирусами включить и макро вирусы. Сравнивая с последним тестом видно,что число "превосходных" детекторов макро вирусов значительно выросло (также имеется класс "хороших", которые не перечислены здесь); напротив, "стандартные" файловые вирусы и boot-вирусы менее привлекательны при обновлениях программ. Программы со степенью "превосходный" перечислены ниже. 2.1 Detection of file viruses: "Excellent" DOS scanners: DSAV 2.72 (99.6%) AVPD 113 (98.4%) AVAST! 770051 (97.4%) IBM AV 252J (95.2%) 2.2 Detection of boot viruses: ------------------------------ "Excellent" DOS scanners: DSAV 7.72 (99.5%) AVPD 113 (99.3%) PAV 3.0 (99.0%) AVAST 770051 (98.5%) Alert 410061 (95.4%) Scan 3.02 (95.3%) 2.3 Detection of macro viruses: ------------------------------- "Excellent" DOS scanners: AVPD 113 (99.0%) DSAV 7.72 (98.9%) F-MacroW (98.2%) AVAST 770051 (98.2%) DrWeb 322A (98.1%) Scan 3.02 (97.6%) NVC 410 (96.6%) F/Win 4.21 (96.4%) TBAV 8.01 (96.1%) NAV 30J (95.6%) Eval 3: Оценка обнаружения конструкторов и троянцев: -------------------------------------------------------- - Процент обнаружения > 90 %: сканер "превосходен" - Процент обнаружения 80-90 %: сканер " очень хороший " - Процент обнаружения 60-80 %: сканер " достаточно хороший " - Процент обнаружения < 60 %: сканер " недостаточно хороший " Никакая программа не получила оценки "превосходный" в этой категории. Сканеры принадлежащие классу " Очень Хороший " перечислены ниже: "Превосходные" сканеры DOS: --------- - " Очень Хорошие " сканеры DOS: DSAV 7.72 (100% 86.0%) AVPD 113 (85.3% 88.0%) Eval 4: Оценка за процент обнаружения вируса под Windows95 и Windows NT: ----------------------------------------------------------------------- Число сканеров работающих в Win 95 и Win NT еще крайне мало, но постоянно возрастает. Значительно меньше программ были доступны для этих тестов, по сравнению с традиционной системой DOS. Применяется та же самая сетка что и при классификации DOS, при обнаружении файловых и макро вирусов под Win 95 и Win NT. Следующий список указывает сканеры под Win 95 попавшие в одну из верхних категорий "превосходные" и "очень хорошие": "Excellent" Windows 95 scanners: DSAV 7.72 (99.5% 95.3%) PAV 605 (98.4% 98.2%) TBAV 8.01 (95.2% 96.1%) "Very Good" Windows 95: AVP 32 (97.7% 94.8%) IBM AV 2.52J (95.2% 92.9%) Scan 3.02 (93.8% 97.6%) Следующий список указывает сканеры под Win NT попавшие в одну из верхних категорий "превосходные" и "очень хорошие": "Excellent" Windows NT scanners: DSAV 7.72 (99.6% 99.0%) "Very Good" Windows NT: Scan 3.02 (94.2% 97.6%) PAV 30 (97.7% 93.5%) IBM 2.52J (95.2% 92.9%) Вывод: Сканеры под Win 95 и Win NT нуждаются в еще некоторой доработке чтобы достигнуть того же высокого уровня обнаружения и качества, как представленные сканеры DOS. Последнее замечание: Следующий сравнительный тест запланирован в течение января 1998, с вирусными базами данных замороженными 30 ноября 1997. Любой AV производитель желающий участвовать в этом тесте приглашается для представления своей программы. Доктор Klaus Brunnstein ( 22 июля, 1997 )