Дмитрий DarkByte Москин

Есть у веб-сервера apache хороший модуль mod_info, который позволяет просматривать информацию о конфигурации веб-сервера по адресу /server-info. По-умолчанию, данная информация доступна только для локальных пользователей, но в следствии неправильной настройки кеширующего прокси (напр: nginx), apache получает запросы всех пользователей с адреса 127.0.0.1 и поэтому ограничение "только для локальных пользователей" перестаёт работать.

Для сбора статистики был выбран список из 3.497.516 доменов в зоне RU. На сбор статистики было затрачено порядка 100 часов. Из выбранного списка, живых сайтов насчиталось 2.286.085, из них только у 1.548 сайтов был доступ к информации к mod_info.

Для статистики была получена информация об используемых в apache модулях.

Modules	Count	%
mod_dir.c, mod_mime.c, mod_log_config.c, mod_so.c, core.c, http_core.c, mod_info.c, mod_setenvif.c	1548	100
mod_setenvif.c, mod_alias.c, mod_rewrite.c	1547	99.9
mod_rewrite.c, mod_negotiation.c	1543	99.7
mod_negotiation.c, mod_env.c	1533	99
mod_env.c, mod_include.c	1530	98.8
mod_include.c, mod_autoindex.c	1496	96.6
mod_autoindex.c, mod_logio.c	1472	95.1
mod_logio.c, mod_cgi.c	1452	93.8
mod_cgi.c, mod_status.c	1444	93.3
mod_status.c, mod_expires.c	1429	92.3
mod_expires.c, mod_actions.c	1386	89.5
mod_actions.c, mod_vhost_alias.c	1377	89
mod_vhost_alias.c, mod_authz_host.c	1367	88.3
mod_authz_host.c, mod_auth_basic.c	1348	87.1
mod_auth_basic.c, mod_authn_file.c	1346	87
mod_authn_file.c, mod_authz_user.c	1344	86.8
mod_authz_user.c, mod_deflate.c	1342	86.7
mod_deflate.c, mod_php5.c	1324	85.5
mod_php5.c, mod_headers.c	1320	85.3
mod_headers.c, mod_mime_magic.c	1319	85.2
mod_mime_magic.c, mod_authz_groupfile.c	1200	77.5
mod_authz_groupfile.c, mod_authz_default.c	1196	77.3
mod_authz_default.c, prefork.c	1193	77.1
prefork.c, mod_usertrack.c	1099	71
mod_usertrack.c, mod_ssl.c	1060	68.5
mod_ssl.c, mod_speling.c	1056	68.2
mod_speling.c, mod_authz_owner.c	1044	67.4
mod_authz_owner.c, mod_authn_anon.c	1029	66.5
mod_authn_anon.c, mod_authn_dbm.c	1024	66.1
mod_authn_dbm.c, mod_authn_default.c	1022	66
mod_authn_default.c, mod_suexec.c	1019	65.8
mod_suexec.c, mod_userdir.c	975	63
mod_userdir.c, mod_authn_alias.c	958	61.9
mod_authn_alias.c, mod_cache.c	942	60.9
mod_cache.c, mod_authz_dbm.c	932	60.2
mod_authz_dbm.c, mod_disk_cache.c	897	57.9
mod_disk_cache.c, mod_auth_digest.c	853	55.1
mod_auth_digest.c, mod_dav.c	828	53.5
mod_dav.c, mod_dav_fs.c	762	49.2
mod_dav_fs.c, mod_ext_filter.c	757	48.9
mod_ext_filter.c, mod_asis.c	672	43.4
mod_asis.c, mod_file_cache.c	643	41.5
mod_file_cache.c, mod_rpaf-2.0.c, mod_proxy.c	608	39.3
mod_proxy.c, mod_filter.c	597	38.6
mod_filter.c, mod_proxy_http.c	567	36.6
mod_proxy_http.c, mod_charset_lite.c	548	35.4
mod_charset_lite.c, mod_version.c	544	35.1
mod_version.c, mod_cern_meta.c	539	34.8
mod_cern_meta.c, mod_proxy_connect.c, mod_unique_id.c	536	34.6
mod_unique_id.c, mod_ispmgr.2.c	519	33.5
mod_ispmgr.2.c, mod_proxy_ftp.c	426	27.5
mod_proxy_ftp.c, mod_proxy_balancer.c, mod_imagemap.c	421	27.2
mod_imagemap.c, mod_dumpio.c	397	25.6
mod_dumpio.c, mod_authnz_ldap.c	392	25.3
mod_authnz_ldap.c, util_ldap.c, mod_proxy_ajp.c	350	22.6
mod_proxy_ajp.c, mod_mem_cache.c	313	20.2
mod_mem_cache.c, itk.c	312	20.2
itk.c, mod_python.c	294	19
mod_python.c, mod_access.c	203	13.1
mod_access.c, mod_auth.c	196	12.7
mod_auth.c, mod_rpaf.c	194	12.5
mod_rpaf.c, mod_perl.c	182	11.8
mod_perl.c, sapi_apache2.c, mod_auth_anon.c	155	10
mod_auth_anon.c, mod_auth_dbm.c	148	9.6
mod_auth_dbm.c, mod_imap.c	147	9.5
mod_imap.c, mod_fcgid.c	143	9.2
mod_fcgid.c, mod_cgid.c	136	8.8
mod_cgid.c, mod_isapi.c	110	7.1
mod_isapi.c, mod_authn_dbd.c	106	6.8
mod_authn_dbd.c, mod_dav_lock.c	93	6
mod_dav_lock.c, mod_ident.c, mod_log_forensic.c	81	5.2
mod_log_forensic.c, mod_dbd.c	79	5.1
mod_dbd.c, peruser.c	74	4.8
peruser.c, mod_reqtimeout.c	73	4.7
mod_reqtimeout.c, mod_suphp.c	68	4.4
mod_suphp.c, mod_authz_svn.c	64	4.1
mod_authz_svn.c, mod_dav_svn.c, mod_security2.c	61	3.9
mod_security2.c, mod_win32.c	58	3.7
mod_win32.c, mod_substitute.c, mpm_winnt.c, mod_case_filter_in.c	57	3.7
mod_case_filter_in.c, mod_case_filter.c, mod_echo.c	53	3.4
mod_echo.c, mod_bw.c	49	3.2
mod_bw.c, mod_proxy_scgi.c	48	3.1
mod_proxy_scgi.c, mod_fpcgid.c	45	2.9
mod_fpcgid.c, mod_bwlimited.c	42	2.7
mod_bwlimited.c, mod_auth_passthrough.c, mod_php4.c	41	2.6
mod_php4.c, mod_limitipconn.c, mod_bucketeer.c	39	2.5
mod_bucketeer.c, mod_geoip.c	38	2.5
mod_geoip.c, worker.c	30	1.9
worker.c, mod_autoindex_color.c	24	1.6
mod_autoindex_color.c, mod_auth_mysql.c, mod_fastcgi.c, mod_wsgi.c	21	1.4
mod_wsgi.c, mod_jk.c	20	1.3
mod_jk.c, mod_performance.c, mod_chroot.c, mod_dosevasive20.c, mod_xsendfile.c, mod_macro.c	15	1
mod_macro.c, mod_ntlm.c, mod_log_post.c, mod_caucho.c	12	0.8
mod_caucho.c, mod_apreq2.c, mod_auth_kerb.c	11	0.7
mod_auth_kerb.c, mod_proxy_html.c, mod_evasive20.c	9	0.6
mod_evasive20.c, mod_ruby.c, mod_depends.c	4	0.3
mod_depends.c, mod_transform.c, mod_optional_fn_export.c, mod_optional_fn_import.c, mod_optional_hook_export.c, mod_optional_hook_import.c, Apache2::UploadProgress, proxy_http.c, mod_dnssd.c	3	0.2
mod_dnssd.c, mod_aspdotnet.cpp, mod_watch.c, mod_passenger.c, mod_extract_forwarded.c, mod_neko.c, mod_embperl.c	2	0.1
mod_embperl.c, mod_auth_pgsql.c, mod_auth_sspi.c, mod_1cws.c, proxy_connect.c, mod_f4fhttp.cpp, mod_dontdothat.c, event.c, mod_WebObjects.c, proxy_ftp.c	1	0.1

И немного статистики по HTTP статусам, полученным во время сбора информации

Код	Описание ошибки	Сайтов	%
404	Not Found	1380182	39.4618
0	[Connection error]	1211431	34.6369
200	OK	268928	7.6891
403	Forbidden	225808	6.4562
301	Moved Permanently	202447	5.7883
302	Found	166280	4.7542
401	Unauthorized	16067	0.4594
500	Internal Server Error	12981	0.3711
503	Service Unavailable	7485	0.2140
400	Bad Request	1907	0.0545
502	Bad Gateway	1851	0.0529
303	See Other	1528	0.0437
410	Gone	277	0.0079
504	Gateway Timeout	118	0.0034
307	Temporary Redirect	92	0.0026
406	Not Acceptable	75	0.0021
402	Payment Required	16	0.0005
501	Not Implemented	8	0.0002
405	Method Not Allowed	7	0.0002
412	Precondition Failed	5	0.0001
300	Multiple Choices	4	0.0001
304	Not Modified	4	0.0001
456	[Invalid code]	3	0.0001
407	Proxy Authentication Required	3	0.0001
508	[Invalid code]	2	0.0001
505	HTTP Version Not Supported	2	0.0001
510	[Invalid code]	2	0.0001
204	No Content	2	0.0001
	Итого	3497516	100.0

Собственно всё :)