Руководство по osint

Поиск по открытым источникам — это методология сбора и анализа данных, находящихся в открытом доступе, для получения дополнительной информации о цели.

В данной статье расскажем о том, какими методами и средствами можно собирать информацию из открытых источников об организации, покажем примеры такой информации и расскажем о максимально большом количестве утилит и методов, которые могуть помочь увеличить покрытие.

Надеемся, что статья будет полезна как пентестерам и охотникам за ошибками для увеличения области аудита, так и стороне защиты (blue team, application security и т.д.) для защиты инфраструктуры своей организации.

Дисклеймер

В рамках статьи, понятия OSINT, open-source intelligence, recon, reconnaissance, рекогносцировка и поиск по открытым источникам будут синонимами.

В статье приведены только бесплатные программы, с открытым исходным кодом и программы с пробным периодом.

С чего все начинается

Самым первым этапом проведения пентеста (после заключения договора) является выделение области тестирования и сбор информации о цели. В зависимости от специфики конкретного пентеста количество изначальных сведений может отличаться, однако, предполагается, что на данном этапе мы знаем:

• Название организации.

• Род деятельности организации.

• Доменное имя организации.

Что можно получить благодаря поиску в интернете?

• Из одного домена сделать множество доменов и поддоменов.

• Найти новые точки входа.

• Найти интересные пути в веб-приложениях и API.

• Получить информацию об используемом ПО, аппаратных компонентах и используемых языках программирования.

• Найти учетные записи, которые могут быть активными в целевых веб-приложениях.

• Найти уязвимости.

OSINT workflowmindmap

Казалось бы, что пользоваться поисковыми системами умеет каждый, но при этом множество исследователей пишут огромные статьи и майндмапы как они эффективно ищут в интернете. Например, по ссылке доступна подборка таких майндмапов. Подборке уже несколько лет, но она все еще остается актуальной.

Стоит заметить, что осинт это циклический процесс: если мы находим какую-либо информацию, например, новый IP адрес или доменное имя, то для них надо проделать все те же шаги, которые мы прошли, чтоб их найти.

OSINT Framework

Самый популярный майндмап для поиска по открытым источникам это OSINT Framework.

Его прелесть в том, что он вобрал в себя всевозможные сайты, утилиты и базы данных, которые могут быть полезны при реконе. На любой ваш вопрос по осинту, скорее всего, в нем будет ответ.

Единственный минус в том, что он сделан для стран наподобие США, и он не учитывает, что в России своя специфика.

Активная и пассивная разведка

Рекон подразделяется на 2 этапа: пассивная и активная разведка.

Пассивная разведка

Во время пассивной разведки вы никак не взаимодействуете с вашей целью. Вы не отправляете ей пакеты со своего компьютера, вы не резолвите доменные имена на серверах цели, вы не пингуете ее айпишники, вы не заходите на ее веб-приложения, и даже двери офиса не трогаете.

Примеры данного этапа разведки:

Поиск в поисковых системах типа Google и «хакерских» поисковых системах, просмотр баз данных с утечками, анализ вакансий на HH и linkedin, извлечение метаданных из публично доступных файлов и т.д.

Активная разведка

Взаимодействие с инфраструктурой организации: скан портов, перебор директорий, запуск «шумных» сканеров (Acunetix, Burp Pro Active Scanner и т.д.), фаззинг параметров, резолвинг большого количества доменных имен на серверах цели и т.д.

Такие действия создают много логов в SIEM-системах, триггеров в SOC и могут даже положить несколько серверов.

В данной статье будет затронута только тема пассивной разведки.

Начинаем разведывать

Давайте для начала вспомним про самые популярные записи DNS, которые могут быть нам полезны:

• А запись — соответствие домена IPv4-адресу.

• AAAA запись — соответствие домена IPv6-адресу.

• CNAME — Canonical name — используется для того, чтобы один домен мог указывать на другое имя домена.

• MX — Mail Exchange — адрес почтового сервера.

• TXT — большая текстовая строка длиной 65535 байт. Используется для публичных ключей, SPF, и другой информации.

• NS — Name Server — указание на сервер резолвинга доменных имен.

• SOA — Start of Authority — информация об администраторе домена. Используется при делегировании домена. В записи содержится Name Server, ответственное лицо и таймстемпы, относящиеся к срокам делегирования.

• PTR — Pointer — содержит IP-адрес, который указывает на домен при reverse DNS lookup (обратном резолвинге).

Доменные имена

Самое первое и простое что мы можем сделать — это порезолвить доменные имена. Для этого есть десятки утилит, как терминальных так и доступных онлайн.

Неполный список утилит и сервисов, которые могут разрезовлить доменное имя:

Selfhosted:

• Nslookup (linuxwindows nslookup yandex.ru).

• Ping (linuxwindows ping yandex.ru).

• Traceroute (linux traceroute ya.ru windows tracert ya.ru).

• Dig (linux dig @8.8.8.8 yandex.ru ANY).

• Host (linux host yandex.ru).

• getent (linux getent hosts yandex.ru).

• resolveip (linux resolveip -s yandex.ru).

• Resolve-DnsName (windows Resolve-DnsName -Name yandex.ru).

Online:

• https://dns.google.com

  Пример результата работы веб-приложения

  

• https://www.dnsqueries.com/en/dns_lookup.php

  Пример результата работы веб-приложения

  

• https://whatismyipaddress.com/hostname-ip

  Пример результата работы веб-приложения

  

• https://dnschecker.org/all-dns-records-of-domain.php

  Пример результата работы веб-приложения

  

• https://check-host.net/check-dns

  Пример результата работы веб-приложения

  

• https://bgp.he.net/

  Пример результата работы веб-приложения

  

Что это нам дает?

Помимо соответствия IP-адрес—домен мы можем узнать, например, DNS-серверы, с помощью утилиты nslookup, а также можем получить все DNS-записи, например, командой dig.

Имея IP-адреса веб-приложений мы можем начать смотреть соседние IP-адреса в подсетях, перебирать виртуальные хосты и изучать владельцев этих IP-адресов.

DNS-серверы нам могут в дальнейшем помочь при активной разведке для перебора поддоменов и проведения различных атак.

Whois

Whois — протокол, основная цель которого заключается в получении регистрационных данных о владельцах доменных имён, IP-адресах и автономных систем (ASN).

Изначально целью появления системы Whois было дать возможность системным администраторам искать контактную информацию других администраторов серверов по IP-адресам и доменным именам.

Неполный список утилит и сервисов, которые могут показать содержимое Whois:

• Whois (windowslinux whois yandex.ru и whois 77.88.55.77)

• https://whois.ru/

  Пример результата работы веб-приложения

  

• https://dnschecker.org/ip-whois-lookup.php

  Пример результата работы веб-приложения

  

• https://bgp.he.net/

  Пример результата работы веб-приложения

  

Что это нам дает?

Из вывода Whois можно получить email-адреса владельцев и администраторов, адреса DNS-серевров, подсети и ASN.

Whois history

Существуют сервисы периодически собирающие и агрегирующие записи Whois. Благодаря таким сервисам можно поностальгировать и получить использующиеся ранее почты, хостинги, DNS-серверы и целые подсети:

• http://whoishistory.ru/

  Сервис заброшен, расширенный поиск не работает, но все еще можно получить историю по имени домена в зонах .ru и .рф (пока не вылезет капча)

  Пример результата работы веб-приложения

  

• https://tools.whoisxmlapi.com/whois-history-search

  Пример результата работы веб-приложения

  

Reverse Whois

Тогда как Whois выдает сведения по доменым именам или IP-адресам, обратный Whois позволяет искать по всей информации, которая есть в выводе обычных Whois, например, по email-адресам, по именам владельцев, по организациям и т.д.

Таким образом можно расширить скоуп найдя новые email-адреса, хостинги, DNS-серверы, подсети, доменные имена и поддомены.

Неполный список сервисов, которые могут искать по содержимому Whois:

• https://www.reversewhois.io/

  Пример результата работы веб-приложения

  

• https://viewdns.info/reversewhois

  Пример результата работы веб-приложения

  

Что это нам дает?

Поиск по содержиму Whois позволяет находить забытые администраторами веб-приложения и сервисы, особенно, если использовать его вместе в поиском по истории Whois.

Также можно обнаружить:

• Email-адреса.

• Хостинг-провайдеров.

• DNS-серверы.

• Подсети.

• Домены и поддомены.

SPF и DMARC

SPF и DMARC нужны для отправки и приема почты, а в частности для того чтобы злоумышленники от вашего имени не отправляли письма.

SPF — это подпись, содержащая информацию о серверах, которые могут отправлять письма. В SPF используются свои правила и синтаксис. В том числе, в ней содержатся IP-адреса и доменные имена.

DMARC — это политика, которая показывает как обращаться с письмами, которые пришли не с доменов указанных в SPF.

Неполный список утилит для поиска и анализа SPF и DMARC:

SPF:

• https://mxtoolbox.com/spf.aspx

  Пример результата работы веб-приложения

  

• https://www.dmarcanalyzer.com/spf/checker/

  Пример результата работы веб-приложения

  

• SPF Surveyor

  Пример результата работы веб-приложения

  

DMARC:

• https://mxtoolbox.com/DMARC.aspx

  Пример результата работы веб-приложения

  

• DMARC Inspector

  Пример результата работы веб-приложения

  

Для анализа SPF также есть selfhosted утилита, которая извлекает поддомены из SPF записей https://github.com/0xbharath/assets-from-spf.

Пример запуска и результат работы утилиты

IP и подсети

Reverse DNS lookup

Обратный резолв DNS-адресов — поиск по PTR записям DNS. Если администратор добавил такую запись, то по IP-адресу можно будет узнать, какие доменные адреса на него указывают.

Неполный список сервисов, которые могут провести Reverse DNS lookup:

• https://check-host.net/check-dns

  Пример результата работы веб-приложения

  

• https://dnschecker.org/ip-to-hostname.php

  Пример результата работы веб-приложения

  

• https://mxtoolbox.com/ReverseLookup.aspx

  Пример результата работы веб-приложения

  

• https://dnschecker.org/reverse-dns.php

  Пример результата работы веб-приложения

  

Что это нам дает?

В приложениях часто используется роутинг на основании имени хоста (vhosts), поэтому зная только IP-адрес, мы попадем на страницу ошибки веб-сервера, а с помощью Reverse DNS lookup можно получить имя хоста и добраться к самому веб-приложению.

DNS history

История DNS записей домена. Существуют сервисы, которые запоминают записи DNS, и показывают их историю.

Сервис https://viewdns.info/iphistory, запоминает только A записи доменов и дату привязки.

Пример результата работы веб-приложения

А сервис https://securitytrails.com/, помимо А записи, позволяет искать также по АААА, MX, NS, SOA и TXT записям.

Пример результата работы веб-приложения

Что это нам дает?

Это позволяет расширить область аудита, узнав новые IP-адреса, а также получить:

• DNS-серверы.

• Доменные имена.

• Почтовые серверы.

Если узнать IP-адреса, которые использовались ранее, тогда можно даже обойти Web Application Firewall. Поиск старых IP-адресов, например, один из методов обхода защиты Cloudflare.

Помимо приведенных выше веб-сервисов можно также воспользоваться selfhosted решениями:

• https://github.com/MrH0wl/Cloudmare

  Пример запуска и результат выполнения утилиты

  Перед первым запуском изменить ключи от API сервисов в файле data/apis/api.conf.

  python3 сloudmare.py -u yandex.ru

  

• https://github.com/m0rtem/CloudFail (проект сейчас мертв, но, надеемся, что скоро его оживят)

ASN lookup

ASN (autonomous system number) — номер автономной системы.

Интернет состоит из локальных сетей, каждая из которых имеет подсети и свои политики маршрутизации, и которые соединяются с другими локальными сетями. Одна такая локальная сеть, это одна автономная система и у нее есть уникальный номер — ASN. Эти номера используются в BGP-маршрутизации.

По номеру AS можно посмотреть IP-адреса и подсети, которые в ней содержатся. Если это большая компания, типа Яндекса, или университетов, то можно предположить что вся AS принадлежит этой компании, и большая ее часть, может войти в область аудита. Также в выводе можно обнаружить почтовые адреса и другую информацию о компании.

Неполный список сервисов, которые имеют возможность поиска по ASN:

• https://bgp.he.net/

  Пример результата работы веб-приложения

  

• https://ipinfo.io/

  Пример результата работы веб-приложения

  

• https://viewdns.info/asnlookup/

  Пример результата работы веб-приложения

  

Поисковые системы

Как гуглить?

Вы каждый день пользуетесь поисковиками типа Google или Яндекс, но, наверное, не все подозревают, что умеет этот самый Google.

Используя немного магии поиска можно получить множество полезной информации.

Что можно получить из поисковой системы?

• Поддомены.

• Диапазоны IP-адресов.

• Информацию об утечках учетных данных.

• Комментарии в исходном коде.

• Веб-страницы для разработчиков (например dev.*).

• Файлы и страницы, содержащие секреты и пароли.

• Карты веб-сайтов.

• Закэшированные страницы.

• Потенциально опасные файлы.

• URL-адреса и пути, которые могут являться точками входа.

• Другие ресурсы, связанные с организацией.

Как искать?

Для поиска нужно использовать специальные операторы. Например, список операторов для Google:

• “” – точное совпадение.

• – исключить из поиска.

• Логические операторы: &, ||.

• Site:itmo.ru – поиск в пределах сайта.

• cache:itmo.ru – возвращает кэш сайта.

• filetype:txt – только txt файлы.

• related:itmo.ru – сайты связанные с искомым.

• inurl:test – в URL встречается слово test.

• intitle:test – в Title встречается слово test.

• intext:test – в тексте встречается слово test.

В других поисковых системах список операторов может отличаться.

По продвинутому использованию поисковиков существует множество статей, поэтому не будем углубляться в эту тему:

• https://www.exploit-db.com/google-hacking-database — подборка готовых полезных нагрузок для поиска Google.

• https://habr.com/ru/post/437618/ — полный список операторов поиска Google.

• https://yandex.ru/support/search/query-language/search-operators.html — документация по поиску в Яндекс.

• https://www.tutorialspoint.com/google_hacking_tests.htm — однокнопочное решение для поиска: вводите домен, нажимаете на нужную кнопку и получаете вывод Google.

  Пример результата работы веб-приложения

  

• http://www.googleguide.com/advanced_operators_reference.html.

Поисковые системы для хакеров

Помимо поиска в обычных поисковых системах типа Google можно искать в специальных «хакерских» поисковых системах. Примеры таких поисковиков:

• https://www.shodan.io/

• https://censys.io/

• https://www.binaryedge.io/

Эти сервисы постоянно сканируют весь интернет, и заполняют свои базы ответами серверов.

Все приведенные выше сервисы имеют платные функции, но без покупки подписки можно получить ограниченный вывод, ограниченную функциональность или ограниченное количество запросов в месяц.

Shodan

Сервис позволяет искать по IP-адресам, портам и содержимому ответов сервера. Это может позволить найти новые поддомены, а также то, что не смог найти Nmap.

Для поиска используется свой синтаксис, с которым можно ознакомиться по ссылке https://help.shodan.io/the-basics/search-query-fundamentals.

Censys

Censys этот тот же самый Shodan, но более новый и с приятным интерфейсом.

Опять же используется свой синтаксис, с которым можно ознакомиться по ссылке: https://search.censys.io/search/language.

Binaryedge

Еще более новая разработка это сервис BinaryEdge.

Помимо тех же функций, которые имеются и в Shodan и в Censys, данный сервис еще умеет искать поддомены, email-адреса в утечках данных, умеет искать изображения, связанные с доменом, и в этих картинках умеет искать по тексту.

В сервисе есть еще несколько различных функций, но они уже недоступны в бесплатных и пробных версиях.

Документация с примерами доступна по ссылке: https://docs.binaryedge.io/search/.

Метаданные

Каждый раз, когда вы создаете или редактируете файл, в нем остается множество метаданных. Когда вы загружаете этот файл в интернет, зачастую метаданные сохраняются. Так как поисковые системы индексируют файлы, вы можете найти их, например, в google используя оператор поиска file.

Существуют уже готовые решения, которые позволяют ввести домен, выбрать интересующие расширения файлов и ожидать результатов:

• https://github.com/laramies/metagoofil

  Пример запуска и результат выполнения утилиты

  python metagoofil.py -d yandex.ru -t doc,pdf -o yandex -f output -n 100 -l 100

  

• https://github.com/ElevenPaths/FOCA

  Пример запуска и результат выполнения утилиты

Что нам это дает?

• Email-адреса

• ФИО сотрудников

• Используемое ПО

• Используемые операционные системы

• IP-адреса

• Поддомены

Системы контроля версий

Системы контроля версий (github, gitlab и т.д.) также обладают возможностями расширенного поиска. У них свой синтаксис и свои «дорки».

Что нам это дает?

• Пароли и секреты.

• Части кода приложений.

Несколько полезных ссылок для поиска по коду:

• https://publicwww.com/ — ищет по фронтенд-коду веб-сайтов. Документация по синтаксису https://publicwww.com/syntax.html.

  Пример результата работы веб-приложения

  

• https://searchcode.com/ — ищет по опубликованному исходному коду в публичных системах контроля версий.

  Пример результата работы веб-приложения

  

• https://github.com/techgaun/github-dorks — полезная информация по операторам поиска на github.

Также есть несколько selfhosted сервисов для поиска секретов на github:

• https://github.com/eth0izzle/shhgit

  Пример запуска и результат выполнения утилиты

  Основная прелесть утилиты в том, что она постоянно производит сканирование репозиториев, и как только появляются секреты в коммитах, оперативно вам об этом сообщает.

  Со стандартными настройками утилита будет сканировать все системы контроля версий в поисках заданных сигнатур в файле config.yaml. Для эффективного поиска данных по заданной цели рекомендуется писать свои сигнатуры.

  shhgit --config-path path_to_config

  

  Для демонстрации можно попробовать указать в параметре search-query интересующую строку, например:

  shhgit --config-path path_to_config --search-query yandex

  

  Также можно указать локальные репозитории для поиска секретов.

  shhgit --config-path path_to_config --local path_to_repository

  

• https://github.com/michenriksen/gitrob

  Сведения об установке, пример запуска и результат выполнения утилиты

  При установке могут возникнуть проблемы.

  Рекомендуется воспользоваться таким способом установки:

  1. git clone https://github.com/michenriksen/gitrob.git

  2. cd gitrob

  3. go mod init github.com/michenriksen/gitrob

  4. go mod download github.com/elazarl/go-bindata-assetfs

  5. go get github.com/michenriksen/gitrob/core

  6. rm Gopkg*

  7. go build .

  Для работы нужно экспортировать токен доступа в переменную среды:

  export GITROB_ACCESS_TOKEN=deadbeefdeadbeefdeadbeefdeadbeefdeadbeef

  Запуск:

  ./gitrob организация_или_имя_пользователя

  

  Результаты доступны как в терминале, так и в веб-версии.

  

• https://github.com/zricethezav/gitleaks

  Утилита ищет секреты в репозиториях на файловой системе.

  Пример запуска и результат выполнения утилиты

  Запуск производится в директории целевого реозитория:

  gitleaks detect -v

  

Также, если мы нашли никнеймы и email-адреса сотрудников, мы можем поискать их аккаунты в различных системах контроля версий, и посмотреть, что они коммитят. Потенциально возможно найти в личных репозиториях сотрудников части кода приложений компании-цели.

Также, стоит заметить, что нужно анализировать не только последнюю версию исходного кода в ветке master, но и предыдущие коммиты. Сотрудник может закоммитить критичные данные в систему контроля версий, понять, что он «накосячил» и удалить их следующим коммитом. Не удалив сам коммит из истории.

Что еще можно получить из систем контроля версий?

Gitlab имеет возможность перечисления пользователей по URL-адресам вида: https://gitlab.com/api/v4/users/1, где 1 это порядковый номер пользователя. В selfhosted версиях gitlab такая уязвимость тоже присутствует.

Помимо ссылок на социальные сети, из вывода API Gitlab можно получить захэшированное значение почты пользователя в параметре avatar_url. Если мы знаем, например, имя домена и ФИО пользователя, то восстановить исходное значение не составит труда, ведь для хэширования используется md5.

Также в системах контроля версий существуеют возможность получения публичных ssh и gpg ключей. Получить их можно по URL-адресам следующего вида:

• https://github.com/<username>.keys

• https://github.com/<username>.gpg

• https://bitbucket.org/api/1.0/users/<username>/ssh-keys

• https://gitlab.com/<username>.keys

Subdomain enumeration

Subdomain enumeration — в дословном переводе означает перечисление поддоменов, а смысл у словосочетания примерно следующий: «использовать все известные методы для получения как можно большего числа поддоменов».

Для получения списка поддоменов существуют онлайн базы, а также утилиты, которые требуется запускать локально, после чего они будут делать запросы в различные онлайн сервисы и поисковые системы.

Неполный список сервисов и утилит, которые могут показать список поддоменов для домена:

Online сервисы:

• https://hackertarget.com/find-dns-host-records/

  Пример результата работы веб-приложения

  

• https://securitytrails.com/

  Пример результата работы веб-приложения

  

• https://cloudflare.com

  Как получить поддомены с помощью Cloudflare

  У сервиса есть довольно интересная функциональность, учитывая то, что Cloudflare создан для защиты от атак.

  Если зарегистрироваться с бесплатным аккаунтом в Cloudflare, то можно будет начать добавлять свой сайт в сервис, причем неважно, привязан он к какому-нибудь аккаунту или нет.

  На первом шаге вводим доменное имя цели, а на следующем шаге, Cloudflare нам предоставляет известные ему поддомены с их A записями. Вероятно, это создано для того, чтобы вы привязали как можно больше поддоменов к сервису для защиты от атак, но для разведчика, эта функциональность позволяет получить несколько новых поддоменов и IP-адресов.

  

• https://dnsdumpster.com/

  По имени домена утилита выводит поддомены, IP-адреса, MX и TXT записи, открытые порты и версии программного обеспечения, DNS-серверы. Также утилита строит красивый граф.

  Пример результата работы веб-приложения

• https://www.threatminer.org/

  Пример результата работы веб-приложения

  

• https://spyse.com/tools/subdomain-finder

  Пример результата работы веб-приложения

  

Selfhosted:

• https://github.com/aboul3la/Sublist3r

  Утилита для поиска поддоменов в открытых источниках. Также может перебирать поддомены по словарю, с помощью утилиты subbrute.

  Пример запуска и результат выполнения утилиты

  Пример запуска:

  python3 sublist3r.py -d yandex.ru

  

• https://github.com/projectdiscovery/subfinder

  Очередная утилита для пассивного поиска поддоменов.

  Пример запуска и результат выполнения утилиты

  Для лучшего вывода рекомендуется в конфигурационном файле добавить API ключи сервисов (рекомендуется использовать как минимум SecurityTrails, GitHub, Shodan и VirusTotal).

  Пример запуска:

  subfinder -d yandex.ru

  

  

• https://github.com/OWASP/Amass

  Утилита, как и Sublist3r, ищет информацию о доменах в открытых источниках. Однако, использует гораздо большее число источников, в том числе требующие API-ключи.

  Пример запуска и результат выполнения утилиты

  Предварительно рекомендуется создать конфигурационный файл с API-ключами сервисов (рекомендуется использовать как минимум SecurityTrails, GitHub, Shodan и VirusTotal).

  Пример запуска:

  ./amass enum --config amass_config.ini -d yandex.ru

  

• https://github.com/blechschmidt/massdns

  Очень быстрая утилита для резола доменов с достаточно большим количеством ошибок. Позволяет разрезолвить миллион доменных имен за минуту.

  Пример запуска и результат выполнения утилиты

  Рекомендуется запускать на серверах с широким каналом, а не на домашних ПК.

  Пример запуска:

  sed 's/$/.domain.com/g' /dicts/dns/subdomains.txt | ./bin/massdns -r lists/resolvers.txt -s 20000 -o S -t A -w subdomains_domain.com

  

  

  Словари можно найти, например, в репозитории https://github.com/danielmiessler/SecLists/tree/master/Discovery/DNS или на сайте https://wordlists.assetnote.io/.

  Список резолверов можно найти в репозитории https://raw.githubusercontent.com/janmasarik/resolvers/master/resolvers.txt.

• https://github.com/projectdiscovery/shuffledns

  Обертка для massdns. Его преимущество заключается в том, что данная утилита удаляет из вывода поддомены, если слишком большое количество доменов указывает на один IP-адрес, тем самым повышая качество вывода.

  Пример запуска и результат выполнения утилиты

  Запускается похожим образом: sed 's/$/.yandex.ru/g' /dicts/dns/subdomains.txt | /root/go/bin/shuffledns -t 10000 -d yandex.ru -massdns massdns/bin/massdns -r list/resolvers.txt -o output.txt

  

Подробнее, об указанных выше утилитах, а также десятках других утилит, можно прочитать в статье: https://pentester.land/cheatsheets/2018/11/14/subdomains-enumeration-cheatsheet.html.

SSLTLS сертификаты

Получение новых поддоменов из сертификатов

Для шифрования трафика у веб-приложения должен быть сертификат, по которому браузер пользователя сможет определить, что этот сайт надежен.

Google решил, что протокол https недостаточно надежный, и создал свой проект по мониторингу и проверке сертификатов https://transparencyreport.google.com/https/certificates

Этот сервис предназначен не для тестирования на проникновение или разведки, но так как сертификаты выпускаются как для доменов, так и для поддоменов, а иногда один сертификат даже включает в себя множество доменов и поддоменов, сервис Google может дать нам довольно много информации.

Также есть еще как минимум два онлайн сервиса с подобной функциональностью:

• https://spyse.com/tools/ssl-lookup

  Пример результата работы веб-приложения

  

• https://crt.sh/

  Пример результата работы веб-приложения

  

Cуществует один self-hosted сервис https://github.com/lanrat/certgraph.

Пример запуска и результат выполнения утилиты

SSLTLS scan

Сертификаты также можно провалидировать. Для этого есть онлайн сервисы, которые за нас отправляют запросы на серверы нашей цели.

Из вывода этих сервисов мы можем опять же получить поддомены, которые есть в сертификате, а также эти сервисы могут найти уязвимости в используемой криптографии или протоколах.

Еще эти сервисы выводят http-ответы серверов, в которых может находиться версия сервера или используемого ПО.

Неполный список сервисов, которые могут просканировать сертификаты.

• https://www.cyphercraft.io/tls

  Пример результата работы веб-приложения

  

• https://ssltools.digicert.com/checker/views/checkInstallation.jsp

  Пример результата работы веб-приложения

  

• https://decoder.link/sslchecker

  Пример результата работы веб-приложения

  

• https://www.immuniweb.com/ssl/

  Пример результата работы веб-приложения

  

• https://www.ssllabs.com/ssltest

  Пример результата работы веб-приложения

  

Что это нам дает?

• Новые поддомены

• Уязвимости криптографии

• Версия используемого ПО на сервере

Credentials stuffing

Credentials stuffing — это атака, при которой атакующий находит почты пользователей и ищет пароли от них в базах утечек, а затем пытается вставить их во все возможные формы входа целевой системы.

Сама атака уже не относится к пассивной разведке, но сбор паролей и email-адресов — это тема данной статьи.

Пароли можно поискать в следующих сервисах:

• https://haveibeenpwned.com/ — самый популярный сервис поиска утечек email-адресов.

  Пример результата работы веб-приложения

  

• https://krevetk0.medium.com/credential-stuffing-in-bug-bounty-hunting-7168dc1d3153 — статья исследователя, в которой он рассказывает, как он неоднократно эксплуатировал данную уязвимость в bugbounty.

• https://psbdmp.cc/ — сервис, который автоматически находит строки, похожие на пароли в файлах, размещенных на веб-сайте pastebin.com

  Пример результата работы веб-приложения

  

• Collection #1 — сборник практически всех утечек, которые попадали в интернет.

• Глазбога.рф.

Поиск email-адресов

Для проведения атак credential stuffing для социальной инженерии и других атак, необходимо иметь список email-адресов и/или юзернеймов пользователей. Также по email-адресам можно делать поиск reverse Whois.

Нам известно два сервиса, которые собирают email-адреса:

• https://hunter.io/search — помимо адресов, показывает еще и страницы, где он их нашел.

  Пример результата работы веб-приложения

  

• https://snov.io/

  Пример результата работы веб-приложения

  

Также, существует утилита, позволяющая провалидировать почтовые адреса https://github.com/reacherhq/check-if-email-exists. Причем она работает без отправки писем на адреса цели. Можно не хостить ее у себя, а воспользоваться веб-версией от разработчиков, с ограничением на количество запросов https://reacher.email/.

Пример общения с веб-версией

Email-адреса также можно получать из метаданных файлов и парсить из социальных сетей.

Linkedinhh.ru\career

На сайтах типа linkedin и hh, а также на сайтах компаний, на эндпоинтах career или job, можно найти вакансии, в которых зачастую присутствует полезная информация.

В своих резюме и на Linkedin, пользователи часто указывают кем и где они работают, и часто в описаниях своей работы пишут, чем они конкретно занимаются, например, «поднимал почтовый сервер под названием таким-то», или пишут, что они «переписывали легаси-код с такой-то платформы, но не упели за время своей работы».

Существуют специализированные парсеры соцсетей, например для Linkedin есть минимум 2 парсера:

• https://github.com/vysecurity/LinkedInt

  Пример запуска и результат выполнения утилиты

  

• https://github.com/joeyism/linkedin_scraper — библиотека на python для продвинутых пользователей, для упрощения парсинга linkedin.

Используя эти сервисы, можно получить фамилии и имена сотрудников с их аватарами. По аватарам можно найти другие соцсети сотрудников и попробовать найти что-то полезное, но поиск людей, это тематика для другой статьи.

Если мы знаем формат почты (например имя.фамилия@домен или первая_буква_имени.фамилия@домен), то мы можем из полученных ранее данных составить список почт сотрудников.

Что нам это дает?

• Email-адреса

• Стеки технологий и используемое ПО

• Никнеймы сотрудников

• Информация о сотрудниках для соц. инжнерении

• Личные соцсети сотрудников

Misc

В данном разделе собраны подходы, которые не удалось объединить более общими тематиками.

Co-hosting

Анализ co-hosting-а позволяет смотреть кто хостится у этих же провайдеров. Это не принесет полезной информации, если хостинг является, например, hostinger или digital ocean, однако, если компания достаточно большая, у которой есть свои подсети и AS, то мы можем найти доменные имена, расположенные в этих подсетях, которые с большой вероятностью относятся к нашей цели.

Для этого можно воспользоваться сервисом https://securitytrails.com/.

Пример результата работы веб-приложения

Из этой информации мы можем получить новые поддомены и домены.

Threat Hunting

Вы наверняка знаете что есть сервис VirusTotal, в который можно загрузить подозрительный сэмпл файл и он проверит его на наличие в базах антивирусного ПО, а также можно ему передать ссылку и он также проверит ее на вредоносность. Нам для разведки интересно то, что он еще умеет проверять доменные имена по базам.

На примере домена raidforums.com, VirusTotal показал множество файлов, которые кто-то загружал для проверки, несколько поддоменов, вывел содержимое Whois, показал IP-адреса и сертификаты. И еще построил граф.

К сожалению, в бесплатной версии мы не можем скачать файлы, которые были загружены в сервис, но это может дать нам подсказку, что можно искать в Google.

Существует несколько сервисов с аналогичной функциональностью, например https://www.threatcrowd.org/. Он может все тоже самое, что и VirusTotal, но у них могут быть разные сведения о доменах.

У этих сервисов также есть платные функции, возможно с их помощью можно получить еще больше информации.

Wayback machine

Wayback machine — проект по сохранению всего интернета, который периодически делает снапшоты популярных сайтов.

Помимо того что можно посмотреть как выглядели сайты в прошлом, и поискать флаги в CTF соревнованиях , также можно найти, например, снапшот критичных файлов, которые администраторы уже удалили, либо снапшот веб-приложения, в коде страницы которого была оставлена какая-нибудь полезная информация для атакующего. Также в снапшотах можно увидеть ошибки и стектрейсы приложений, которые могут помочь развить атаку.

Существует утилита, которая извлекает URL-адреса, сохраненные в Wayback Machine: https://github.com/tomnomnom/waybackurls.

Тендеры и закупки

При публикации тендеров, заказчики прикладывают к заявке технические задания с описанием требований к исполнителям. Из технического задания можно получить дополнительную информацию о используемом в компании ПО и оборудовании.

Также можно извлечь метаданные из приложенных файлов и получить ФИО сотрудников и версию ПО для обработки документов.

Website fingerprinting

Используя специальные сервисы, не заходя на целевой веб-сайт, мы можем посмотреть версии ПО которые там используются, а также CMS системы, на которых работает веб-сайт, если они есть.

Для этого можно воспользоваться следующими сервисами:

• https://www.wappalyzer.com/

  Пример результата работы веб-приложения

  

• https://whatcms.org/

  Пример результата работы веб-приложения

  

Такие сервисы парсят заголовки HTTP-ответов, чтобы получать версии ПО, а также смотрят на содержимое страниц для профилирования.

BugBounty

Далеко не все компании имеют публичную платформу вознаграждений за поиск ошибок, но для больших и крупных это становится одной из лучших практик ИБ.

Что мы оттуда можем достать?

Расширить область аудита доменами и поддоменами из раздела Scope.

Изучить сданные отчеты и узнать используемое в компании ПО и примеры уязвимостей, которые уже сдавали в программу.

Где искать информацию?

Платформы BugBounty:

• https://hackerone.com/

  Пример результата работы веб-приложения

  

• https://www.openbugbounty.org/

  Пример результата работы веб-приложения

  

Информацию о BugBounty конкретной организации также можно найти по в файле /.well-known/security.txt, в котором обычно публикуется информация о программе и том куда можно писать о найденных уязвимостях. Подробнее о проекте можно прочитать по ссылке https://securitytxt.org/.

Также существует веб-приложение, которое агрегирует уязвимости с HackerOne, с удобным поиском и фильтрами: http://h1.nobbd.de/.

Wi-Fi анализ

https://wigle.net/ — сервис, который собирает Wi-Fi точки доступа по всему миру.

Сервис не позволяет просто на карте кликать на точки доступа, однако он позволяет искать по, например, SSID (имя точки доступа). А также он поддерживает регулярные выражения: «%» — ноль или более любых символов и «_» — один любой символ.

Эту информацию можно использовать для атак типа Rogue access point и атак социальной инженерии.

MAC address lookup

В рамках пассивной разведки, маловероятно, что вы получите MAC-адреса устройств вашей цели. Однако, если вам как-то удалось их заполучить, то имея только MAС-адрес можно идентифицировать сетевое устройство.

MAC-адрес можно разделить на 6 октетов, где первые 3 принадлежат компании-производителю сетевого устройства, а вторые 3 октета являются идентификатором самого устройства.

Используя специальные сервисы и читщиты производителей, можно попробовать узнать не только производителя, но и название самого устройства:

• https://dnschecker.org/mac-lookup.php

Пример результата работы веб-приложения

• https://www.macvendorlookup.com

Script Kiddy way

Искать информацию руками долго и утомительно, зато надежно. Однако хакеры придумали комбайны, которые все сделают за вас. Этих комбайнов десятки, если не сотни, вот несколько примеров:

• https://github.com/s0md3v/ReconDog

• https://github.com/eldraco/domain_analyzer

• https://github.com/smicallef/spiderfoot

• https://github.com/laramies/theHarvester

• https://github.com/j3ssie/Osmedeus

• https://www.maltego.com/downloads/

• https://github.com/lanmaster53/recon-ng

В чем отличие от ручного поиска?

Их преимущество в том, что освобождают человека от рутинных задач.

А недостатки заключаются в следующем:

• Длительная первоначальная конфигурация.

• Длительное время работы.

• Необходимость (желательность) предоставления API-ключей от различных сервисов (балансы которых они быстро опустошат).

• Большое количество ошибок как первого так и второго рода (множество лишней информации и отвергнутая нужная информация)

Если вы знаете еще интересные способы поиска информации в интернете, то пишите об этом в комментариях!

Это вводная статья к большому количеству материалов. Наверное один из самых важных навыков в 21 веке — умение искать нужную информацию. Именно об этом я хочу рассказать тебе на реальных примерах. Ведь иногда необходимо найти данные о конкретном человеке или получить информацию о компании. Это очень полезный скилл, который существенно расширяет кругозор и позволяет увидеть новые возможности.

Что такое OSINT?

OSINT (Open source intelligence) — это сбор информации из открытых источников с последующим анализом. Последний занимает очень важную роль в получении результата. Ведь очень важно не только получить информацию, но и правильно ее обработать, проанализировать и сделать выводы. ​

Именно в этой статье я хотел бы сделать акцент, на последовательном процессе. Это очень важно, так как полный сбор данных должен включать как минимум несколько этапов, иметь конкретные задачи, а также пути достижения. Поэтому сегодня мы рассмотрим, один из возможных вариантов, как лучше подходить к OSINTy, а также что нужно использовать на начальных этапах, чтобы максимально эффективно проводить поиск по открытым источникам и анализе полученной информации.

Как структурировано подходить к поиску по открытым данным?
Это далеко не исчерпывающий список, но я вижу процесс примерно в такой последовательности. Если для конкретной задачи вам не нужно выполнять все пункты, то можно пропустить некоторые моменты.

Этап 1. Формирование задач
На этом этапе нужно четко понимать что нужно получить в конечном итоге. Это могут быть, например, ники, которые использует цель. Или нужно пробить абсолютно всю информацию о человеке в интернете.

Этап 2. Планирование
Это очень важный этап. На нем нужно определить все возможные направления и источники, которые будем использоваться для поиска. Как правило, есть 3 основных:

• Личные (социальные сети, блоги, сайты, никнеймы и т.д.).
• Государственные (реестры, базы, суды, налоги, пограничные базы, базы дипломов, база недействительных паспортов и т.д.).
• Внешние источники (друзья, знакомые, СМИ, работодатели, рекомендации).

Очень важно визуализировать. Для этого лучше всего использовать XMind, MindMap или другие подобные приложения. Для каждой цели нужно делать свою дорожную карту, но примерно она может выглядеть вот так.

Этап 3. Сбор информации
Этот этап наверное самый трудоёмкий, но в основном он реализуется с помощью набора софта и онлайн-сервисов. Очень круто, когда подходя к этому этапу у вас есть какая-то предварительная информация. Например, вы знаете, что человек использует в качестве пароля фамилию своей первой учительницы. И, допустим, она есть у нашей жертвы в друзьях во ВКонтакте. Это существенно сужает круг и становится ясно куда нужно смотреть в первую очередь.

Но иногда такой информации нет и нужно искать абсолютно всё. Сначала лучше начать с имени, фамилии и никнейма. Дальше можно раскручивать и искать телефон, список друзей, строить связи в социальных сетях и форумах. Но как показывает практика, почти все результаты поиска базируются на трех вещах: номер телефона, почта и никнейм.

Основные направления для поиска информации:

• Социальные сети (VKontakte, Facebook, Twitter, Instagram). Судя из профилей среднестатистических пользователей, можно вытянуть фото, никнеймы, гео, друзей, контакты, город, связи с другими участниками, интересы, группы и т.д.
• Поисковые системы. С помощью разных операторов можно вытянуть достаточно много информации. Но для этого нужно использовать операторы продвинутого пользователя. Об этом мы детально поговорим в практических кейсах.
• Форумы. Можно понять интересные темы для общения, круг интересов, связи с другими пользователями, какие-то политические увлечения.
• Судебные сайты. Можно посмотреть, не судился ли человек, имея на руках фамилию и место регистрации.
• Специальные сайты. Например, поисковики Shodan и Censys. Это будет актуально, если у вас есть IP адрес цели.
• База дипломов.
• База судебных приставов.
• База недействительных паспортов.

Это далеко не весь список и нужно смотреть в зависимости от конкретной цели. Ведь иногда так бывает, что человека нет в социальных сетях и всё общение происходит исключительно на форумах, а бывает с точностью наоборот.

Этап 4. Анализ результатов
Вся найденная информация должна быть хорошо продокументирована. Лучше добавлять пометки на нашей дорожной карте. Например, если ты на этапе сбора информации нашел что-то интересное, то нужно обязательно отметить это визуально. Чтобы на этапе анализа это можно было детально проанализировать и сделать выводы.

Если в процессе сбора инфы удалось найти файлы, то нужно вытащить мета-данные. Для этого можно использовать программы, такие как FOCA, например. Также можно выгружать данные с социальных сетей и дальше работать с ними. На практических кейсах мы также поговорим о том, как с помощью графов и визуальных инструментов можно получать важные и интересные данные.

Обязательно нужно сохранять переписки, публичные сообщения или записи, чтобы потом их проанализировать. Это очень важно, так как прочитав сообщения можно примерно понять психологический портрет нашей цели, а дальше уже работать и использовать для применения атаки.

По окончанию этого этапа у нас должно быть четкое понимание всего, с кем цель взаимодействует, что делает, кого лайкает в социальных сетях, с кем общается, а также где отдыхает, какие у неё геопозиции в социальных сетях. Абсолютно все и до самых мелких деталей.

Этап 5. Формирование выводов и подготовка результатов
На этом этапе у нас есть так называемая карта человека. Мы знаем основную информацию, знаем предпочтения и интересы, круг общения, сферу влияния, активность в социальных сетях, а также на других ресурсах. В результаты такой работы можно понять, что в целом человек представляет, сколько он зарабатывает, какие у него есть активы. И в зависимости от этого можем отталкиваться.

Например, если человек занимается рыбалкой, то можно придумать интересную историю и предложить бесплатный выездной тур, какую-то супер крутую книгу или членство в клубе. Хорошо подготовить фейковый сайт, создать качественное письмо и отправить на мыло цели. Можно, например, попросить, что для получения бесплатной поездки, необходимо пройти регистрацию на сайте. Так, например, мы сможем получить представление о том, какие пароли используется наша цель. Можно сразу проверить, не используется ли такая одинаковая политика на всех сайтах.

Также очень важно пересматривать дорожную карту, она позволит понять, что в целом у нас есть и где человек проводит больше всего времени. Если он общается в социальных сетях, и активно выкладывает фотографии в инстаграм с фотовыставок или из одного и того же бара, то значит его там можно очень часто встретить. А если еще предложить от имени заведения какое-то супер предложение через почту, то можно встретить человека в конкретном месте и в конкретном времени. Это уже все зависит от твоей фантазии.

Визуализация
При потоке с большими данными очень важно работать с визуализацией. Таким образом, можно не запутаться и получить больше информации. Именно поэтому я покажу тебе несколько сервисов, которые позволяют реализовать эту функцию.

Wisemapping

Удобный набор пиктограмм, есть возможность составления заметок, оформления, можно делить на уровни и подуровни. Готовые карты можно сбрасывать для совместной работы. Есть конечно минус, можно подобрать числа в ссылку и найти другие карты.

Mindmeister

Бесплатный функционал с платными функциями. Есть стандартный набор функций: пиктограммы, картинки, заметки и ссылки. Можно работать совместно. Неплохой сервис с средним функционалом.

Mindomo

Есть платные функции внутри, но можно использовать бесплатную версию. Имеет больший функционал для оформления и размещения элементов. Можно использовать готовые шаблоны для построения карт. Можно посмотреть пример уже готовых карт по ссылке.

Maltego

Ты наверное слышал, что это крутой инструмент OSINT для автоматизации поиска. Он установлен в Kali и для использования достаточно бесплатной версии. Но его также можно использовать для построения связей и визуального отображения информации в ручном режиме. С помощью узлов Entities можно добавлять людей, никнеймы, сервера, порты, изображения и т.д. Но это тема скорее для отдельной статьи, чем для абзаца.

Заключение
Основная мысль этой статьи — подходить к OSINTy, как четко спланированному процессу. Тогда есть возможность планировать, собирать и анализировать необходимую информацию и не распыляться на ненужные вещи. В следующих статьях мы возьмем несколько конкретных задач и более детально разберем по каждом этапе, что можно сделать и как использовать инструменты для более четкого и понятного анализа.

Поэтому набирайся терпения, планируй и ставь свои задачи, а дальше мы будем поэтапно разбираться с ними. Всего хорошего и до новых статей.

Источник

В этой статье мы проводим время, беседуя с экспертами OSINT и частными детективами, чтобы выяснить это. Здесь мы рассмотрим их хорошие и плохие стороны (не так много плохих сторон!), Предоставляя наш обзор, ссылку и советы на 2022 год.

Что это даст вам?

Этот документ расширит ваши знания и добавит 16 удивительных инструментов для расследования, которые приведут вас глубже в темную и довольно часто секретную пещеру онлайн-расследований. Как я уверен, вы знаете, Open Source Intelligence (OSINT) — это приложение, использующее общедоступные данные для достижения вашей цели. Открытый исходный код может создавать впечатление только общедоступной информации. OSINT также может использовать человеческий интеллект (например, социальную инженерию). Но существует множество методов сбора и анализа этой информации, не все, но большинство, в том числе с использованием компьютерных систем.

Почему OSINT так важен?

OSINT разбирается в хаосе, который представляет собой данные в режиме онлайн (а иногда и в автономном режиме). Любой может собирать информацию с помощью правильных инструментов. Настоящий OSINT устанавливает связи между информацией для достижения цели. Инструменты OSINT предоставляют простые решения. Решения, которые сделают вашу жизнь лучше.

Использование инструментов OSINT для поиска общедоступных ресурсов

Одним из наиболее распространенных аспектов запуска сбора данных OSINT является попытка точно определить общедоступные ресурсы, такие как веб-сайты, адреса компаний и личные адреса. На самом деле нас не интересуют уязвимости систем или компьютерных программ, это больше для мира тестирования на проникновение.

Тем не менее, немного знаний о тестировании на проникновение может дать некоторую информацию. Например, путем удаленного подключения к серверной системе, принадлежащей вашей цели, вы можете получить некоторую информацию. Перед вводом имени пользователя или пароля вам будет представлена операционная система и контактные данные администратора. Иногда это может быть полезно в ситуациях социальной инженерии.

Использование OSINT для поиска нужной информации за пределами организации

В наши дни вторичной функцией инструментов OSINT является поиск «дополнительной» релевантной информации за пределами прямого запроса, который вы искали. Такой информацией может быть приобретенная компания, вторичная компания или близкие отношения или контакты с рассматриваемой целью. Это может определить дополнительные потенциальные физические адреса цели. Другие интересы, такие как учетные записи в социальных сетях и фотографии из социальной жизни, могут предоставить представление. На этой картинке может быть показана местная социальная среда обитания и цель. Теперь вы можете быть в курсе их местных сайтов в Интернете.

Приведите обнаруженную информацию в форму, пригодную для применения

Наконец, после того, как информация была найдена и собрана, включая связанную соответствующую информацию, кто-то должен сгруппировать все это вместе. Они должны связывать все моменты воедино и применять некоторый логический анализ (требуется исследовательский склад ума!).

Запуск сканирования OSINT может возвращать большие объемы информации, поэтому вам нужно хорошо разбираться в том, как уделять внимание важной информации, уделяя пристальное внимание деталям. Объединение всей этой информации воедино, чтобы сосредоточиться на наиболее полезных аспектах, может быть очень эффективным для создания общей картины. Инструменты пытаются это сделать, но на самом деле для этой части нужен хороший человеческий мозг и немного кофе.

Лучшие инструменты OSINT, используемые экспертами

Что нужно сделать в первую очередь? выберите правильный инструмент (ы!). Вам не нужно использовать какие-либо инструменты, но, учитывая огромное количество мест, где может находиться информация, наличие инструмента помогает. Инструмент, который проверяет тысячи местоположений в течение нескольких секунд, может быть очень экономичным по времени.

Если вы пытаетесь найти информацию о своей личности или бизнесе, предотвращая будущих онлайн-злоумышленников, вам нужно что-то быстрое и повторяемое. Быстрое выполнение этого может означать, что ваши сотрудники или члены семьи не будут подвергаться фишинговым атакам.

Итак, вот оно. Мы считаем, что лучшие инструменты помогут вам провести тщательный и эффективный анализ OSINT как вашей цели, так и ваших собственных активов. Мы перечислим их здесь, а затем подробно расскажем о том, как каждый из них может сделать вашу карьеру следователя более эффективной (в произвольном порядке):

• Maltego
• UserSearch.org
• Поиск в DorkSearch
• Поиск мошенничества
• Митака
• SpiderFoot
• Spyse
• Встроенный
• Интеллект X
• DarkSearch.io
• Grep.app
• Разведка
• THE Harvester
• Shodan
• Metagoofil
• Поисковый код
• SpiderFoot
• Babel X
• ChatGPT

Инструмент OSINT: Maltego – упрощение использования сложного OSINT с отличными картами и преобразованиями

Maltego фокусируется на поиске конкретных взаимосвязей между активами, людьми, компаниями и доменами веб-сайтов (и делает это очень хорошо). В наши дни большинство основных платформ OSINT предоставляют Maltego API. Они позволяют инструменту подключаться и представлять данные в Maltego. Тем не менее, может быть известно, что для составления всей необработанной информации требуется много времени. Графики в инструменте отлично справляются с представлением информации в виде удобочитаемых диаграмм. Последнее, что мы слышали, может отображать до 10 000 точек данных.

Инструмент работает путем автоматизации поиска ваших данных по различным общедоступным источникам информации. Он пытается предоставить решение с исходным кодом в 1 клик, и мы считаем, что оно делает это очень хорошо. Он управляет этими источниками данных с помощью так называемого «преобразования» и имеет довольно много встроенных функций. Некоторые из них — записи DNS, поиск в социальных сетях, проверки WHOIS и некоторые другие. Вы также можете добавлять пользовательские преобразования, если найдете совместимый API для подключения.

Существует бесплатная версия с ограниченными возможностями и платным экземпляром в размере 1 999 долларов США. Они также предоставляют решения для установки серверов для крупномасштабных решений, стоимость которых начинается от 40 000 долларов и включает интенсивное обучение.

Инструмент OSINT: поиск пользователей – поиск людей по именам пользователей и электронной почте

Поиск пользователей — это обширная сеть поисковых систем, которые сканируют Интернет, чтобы найти точное совпадение по имени пользователя или адресу электронной почты. Он сканирует сотни и сотни веб-сайтов. Он может найти конкретный профиль пользователя на форумах, в социальных сетях, на сайтах знакомств, досках объявлений, крипто-сайтах и сайтах азартных игр. На сегодняшний день это одна из самых полных и точных поисковых систем в Интернете по именам пользователей и адресам электронной почты. Популярной особенностью этого сайта является его способность сканировать все популярные сайты знакомств на предмет имен пользователей. Придирчивый инструмент для частных детективов!

Он работает уже более 15 лет, поэтому разработчики занимают довольно сильную позицию в отношении OSINT имен пользователей или адресов электронной почты. Разработчики — это команда экспертов по открытым исходным кодам и разработчиков программного обеспечения.

Сайт абсолютно бесплатный в использовании и может проверять до 800 сайтов примерно за 30 секунд, что довольно удивительно. Это буквально Google для имен пользователей и адресов электронной почты. Они также недавно выпустили премиум-сервис, который находится в альфа-версии. В премиум-версии сообщается о поиске еще большего количества информации и охватывает больше веб-сайтов, таких как сайты знакомств. Они предлагают услугу за $ 6,99 в месяц, которую вы можете отменить в любое время.

Инструмент OSINT: DorkSearch — Google Доркинг до крайности

Здесь у нас есть DorkSearch.com , бесплатный сервис, созданный и выпущенный для сообщества в начале 2022 года. Этот инструмент, похоже, является разновидностью сервиса, предлагаемого exploit-DB, но с гораздо более полезными и широкими возможностями. Новичок в OSINT? Dorking — это, по сути, набор полусекретных поисковых запросов, которые можно использовать в Google. Их использование может показать результаты, которые на самом деле не предназначены для Google! Также известен как «Глубокая сеть» (не путать с Dark Net / TOR).

Разработчики, по сути, создали Google для придурков. Здесь, на картинке ниже, вы можете видеть, что у них простой интерфейс. Впоследствии он позволяет вам просматривать, какой придурок вас интересует, а затем вам просто нужно щелкнуть то, что вы хотите. Больше не нужно вводить поисковые запросы и пытаться определить, какой тире или восклицательный знак вы пропустили!

Они также создали то, что они называют ‘Builder’. Это огромная коллекция терминов для придурков, но они включают в себя такую информацию, как цель, советы и то, работают ли они в Интернете / изображениях / группах или группах новостей. Что вы можете сделать, так это нажать на придурка, и этот термин автоматически заполняется в строке поиска. Затем вы можете щелкнуть другой Dork, и он будет добавлен в панель поиска. Это побуждает пользователей открывать совершенно новые поисковые запросы с помощью простых кликов. Отличная идея!

Инструмент OSINT: ScamSearch.io – Глобальная база данных отдельных мошенников и мошеннических сайтов

Еще один бесплатный сервис, который появится в Сети в течение 2022 года, это ScamSearch.io . Мы считаем, что это один из самых больших для сообщества OSINT на сегодняшний день. ScamSearch — это огромный (огромный!) база данных отчетов из краудсорсинга, мошенников.Крипто-мошенничество, электронная почта, социальные сети, офлайн-мошенничество, телефонное мошенничество, буквально каждая мошенническая ситуация, о которой вы можете подумать; этот сайт записывает ее и делает доступной бесплатно. В настоящее время у них зарегистрировано около 10 миллионов мошенников, и еженедельно их число увеличивается на несколько тысяч.

У них есть простая панель поиска, которая позволяет вам искать имя пользователя, адрес электронной почты, крипто-адрес, псевдоним, настоящее имя или веб-сайт в их базе данных. Учитывая размер базы данных, можно подумать, что поиск будет медленным … но это происходит мгновенно. Их панель поиска также раскрывается и предлагает предложения, похожие на ваш поисковый запрос, если у них есть что-то близкое.

ScamSearch, благодаря своему краудсорсинговому характеру, также поощряет пользователей использовать свой сервис для сообщения о мошенниках. Многие исследователи OSINT и сообщества по борьбе с мошенничеством используют эти данные для выявления мошенников и препятствования их работе, поэтому вы делаете добро, сообщая о них здесь!

Инструмент OSINT: Mitaka — поиск IP-адресов, MD5, ASN и биткойн-адресов

Это доступно как расширение для Chrome, а также для Firefox. Это позволяет вам искать в более чем дюжине основных поисковых систем домены, URL-адреса, IP-адреса, хэши MD5, ASN и биткойн-адреса. Это очень удобный набор инструментов в вашем браузере и для тех, кто может предпочесть более целенаправленный, ограниченный набор инструментов.

Инструмент OSINT: Spiderfoot — обширный набор интеллектуальных ресурсов с открытым исходным кодом

Это бесплатный инструмент поиска, который может извлекать данные из нескольких разных источников для сбора информации о различных онлайн-ресурсах. Он ищет IP-адреса, диапазоны CIDR, домены, поддомены, ASN, адреса электронной почты и номера телефонов. Он находится на GitHub и поставляется как в версии командной строки, так и в версии встроенного веб-сервера. Он содержит более 200 модулей, что делает его идеальным для красных и синих команд в рамках вашего начального процесса.

Инструмент OSINT: Spyse — инструмент OSINT goto для доменов

Этот инструмент описывается в Интернете как «самый полный реестр интернет-активов» в Интернете. Похоже, что основное внимание уделяется работе в области кибербезопасности. Этот инструмент используется многими основными инструментами OSINT, предоставляя исходные данные. Он собирает общедоступные данные о веб-сайтах и их информацию WHOIS (например, владельцев, связанные серверы и устройства, подключенные к Интернету Вещей).

Затем данные могут быть проверены их собственным движком для выявления потенциальных рисков безопасности и связей между различными объектами. У него есть бесплатный тарифный план, хотя разработчикам, которые надеются создавать приложения на основе данных, предоставляемых Spyse API, потребуется оплатить подписку.

Инструмент OSINT: встроенный — OSINT, чтобы найти, с помощью каких сайтов созданы!

Можете ли вы догадаться, что делает этот инструмент? Используя Builtiwth, вы можете определить, какие технологические стеки используются на различных веб-сайтах и платформах. Например, он может определить, создан ли веб-сайт с использованием WordPress, Joomla или любой другой платформы, подобной CMS. Он также создаст отличный список подключаемых модулей, которые в настоящее время использует веб-сайт, его фреймворки и даже общедоступную информацию о сервере. Это еще один отличный инструмент для красных и синих команд при первоначальной проверке сервера в рамках аудита безопасности.

В качестве дополнительного бонуса вы можете связать этот инструмент со сканером безопасности, таким как WPScan, и API базы данных уязвимостей WordPress. Затем это может быстро выявить распространенные уязвимости в используемых модулях WordPress.

Инструмент OSINT: Intelligence X — база данных буквально всего OSINT!

Intelligence x — один из лучших архивных и поисковых сервисов, к которым у нас есть доступ в Интернете. Он не только архивирует исторические версии веб-сайтов в Интернете, но также включает утечку данных, которые в наши дни обычно удаляются довольно быстро. Хотя это может показаться немного похожим на то, что предлагает сервис Internet Archive, Intelligence X предлагает несколько довольно интересных отличий. Независимо от того, насколько противоречивой является утечка данных, Intelligence X, похоже, не слишком беспокоится, предоставляя ее широкой публике навсегда.

Ранее он архивировал информацию, такую как серверы электронной почты, во время утечки ситуаций с Хиллари Клинтон и Дональдом Трампом.

Инструмент OSINT: Grep.app

Вы когда-нибудь думали, что было бы удобно, если бы вы могли выполнять поиск по полумиллиону репозиториев git парой кликов? конечно, вы, возможно, пробовали использовать панель поиска на Github. Но Grep.app выполняет эту работу намного быстрее и эффективнее.

OSINT Tool: Recon-ng – отлично подходит для разработчиков сценариев на python

Вы немного разбираетесь в программировании на Python? Если это так, у вас есть ранний рождественский подарок, когда дело доходит до разведки. Это очень мощный инструмент python, написанный на python. Это позволяет вам очень хорошо взаимодействовать с Metasploit Framework, что должно облегчить вам изучение его использования. В нем также есть справочная область, которая поможет вам наилучшим образом использовать инструмент, поэтому разработчики python должны иметь возможность интегрировать его довольно быстро.

Сам инструмент автоматизирует один из самых трудоемких аспектов действий OSINT. Это позволяет автоматизировать больше повторяющихся действий, отнимающих много времени, что позволяет сосредоточиться на фактическом расследовании OSINT.

Он разработан таким образом, что даже новейший разработчик python должен иметь возможность использовать инструмент для поиска общедоступной информации и получения достойных результатов. Он работает в модулях с множеством встроенных функций, предназначенных для удобства использования. Обычные задачи, такие как нормализация выходных данных, подключение к базам данных и создание URL-запросов к веб-сайтам, а также использование / управление ключами API для сбора данных непосредственно из интерфейсов API, быстро и легко выполняются с помощью Python. Вместо необходимости программировать разведку, это позволяет вам просто выбрать, какой модуль вы хотите использовать, и указать ему назначение. Инструмент бесплатный, с открытым исходным кодом и включает в себя огромную вики-страницу, которая содержит исчерпывающую информацию о том, как начать и использовать инструмент, используя лучшие практики для OSINT.

theHarvester – OSINT для сетей

Одним из самых простых в использовании готовых инструментов, с которыми мы столкнулись, является популярный инструмент theHarvester. Он построен снизу вверх для сбора общедоступной информации, которая существует в организации, но за пределами собственной сети организации. Он может идентифицировать интересную общедоступную информацию в компьютерной сети организации, заглядывая за ограду. Использование множества встроенных инструментов для этого делает его очень эффективным инструментом разведки перед началом теста на проникновение или аналогичной деятельности.

Инструмент собирает информацию от крупных поставщиков данных, таких как Bing и Google, но также использует менее известные области Интернета и мета-движки. Для этого он подключается к Netcraft для интеллектуального анализа данных и Alien vault threat exchange, что позволяет быстро выявлять известные уязвимости. В основном он может сканировать порты и собирать электронные письма, имена, поддомены, IP-адреса и URL-адреса организации, что идеально подходит для следующих шагов, которые вы выполняете.

Инструмент OSINT: Shodan — Google для устройств Интернета вещей

Shodan — удивительный инструмент, используемый для поиска информации на устройствах Интернета Вещей. Почему? такие данные обычно недоступны для поиска, поэтому вы будете удивлены тем, что сможете узнать. Он может обнаруживать открытые порты и уязвимости в целевых системах, а также сканировать устройства, которые обычно не поддерживаются стандартными сканерами портов.

Другие инструменты OSINT, такие как theHarvester, фактически используют Shodan в качестве источника данных для обнаружения уязвимостей на устройствах Интернета вещей. Одним из самых больших преимуществ Shodan является то, что он отслеживает сотни тысяч устройств Интернета вещей и информацию, содержащуюся на этих устройствах, делая ее общедоступной. Если вы не используете этот инструмент в начале OSINT, вы теряете огромное количество данных. Такие устройства, как камеры, датчики зданий, устройства безопасности, Xboxes, камеры видеонаблюдения и бытовые холодильники! Этот список можно продолжать бесконечно. Этот инструмент является платной услугой, но стоит того. В basic это стоит 59 долларов в месяц. Но чтобы проверить это, вы можете зарегистрировать лицензию фрилансера и бесплатно сканировать до 5120 IP-адресов в месяц.

Инструмент OSINT: Metagoofil – кто создал этот документ?

Это свободно доступный инструмент на Github. Он был разработан и оптимизирован для извлечения информации и метаданных из общедоступных документов, таких как PDF, Doc, Docx, Xls и других распространенных форматов документов. Это буквально онлайн-инструмент для изучения документов.

Информация, которую вы можете извлечь из этого инструмента, очень интересна и впечатляет. Он может возвращать артефакты, такие как имя пользователя, создавшего документ, а также его настоящее имя и иногда его адрес (если компьютер, используемый для создания документа, содержит зарегистрированные системные данные, содержащие эту информацию). Также артефакты, такие как имя сервера, ресурсы сетевого ресурса и информация о каталоге сетевых ресурсов.

Само собой разумеется, что такого рода утечка данных из организации очень полезна для всех, кто работает в области OSINT, или, возможно, нуждается в проведении некоторых мероприятий по социальной инженерии. Очень ценный и бесплатный ресурс для любого исследователя OSINT.

Инструмент OSINT: Searchcode — Google of code!

Поисковый код — это, по сути, эквивалент программного кода Google. Разработчики программного обеспечения довольно часто оставляют конфиденциальную информацию в исходном коде компьютерных программ, предполагая, что никто никогда не будет искать. Вы можете найти электронные письма, имена пользователей и даже пароли внутри исходного кода. Этот инструмент выполняет поиск в исходном коде, быстро находя полезные забытые фрагменты.

Вам не нужно быть разработчиком или программистом, чтобы понять результаты этой поисковой системы, и в большинстве случаев результаты говорят сами за себя. Еще один отличный ресурс для исследователей OSINT, где они знают, что их цели или организации, возможно, выпустили программное обеспечение.

Инструмент OSINT: Babel X — разведданные с открытым исходным кодом на китайском, русском, тамильском языках…

Вам когда-нибудь нужно было провести расследование OSINT для цели, и они могут говорить на другом языке, а вы нет? Это может быть проблемой. Согласно нашим исследованиям, около четверти интернет-пользователей во всем мире говорят на английском как на родном языке, хотя некоторые источники утверждают, что это 55%. А как насчет всей этой полезной информации, которую мы не сможем увидеть, если не владеем испанским, китайским, русским или тамильским языками?

Этот инструмент является решением этой проблемы. Он позволяет вам искать в общедоступной сети, такой как блоги, социальные сети и общие доски объявлений, а также в темной сети и глубокой сети. В настоящее время он может выполнять поиск по источникам данных более чем на 200 языках. Это чрезвычайно полезный ресурс, и исследователям OSINT обязательно стоит его попробовать.

Ресурс OSINT Framework — лучший из лучших

В целом, какой лучший онлайн-ресурс?

Ресурс OSINT Framework. Почему? Это удивительный ресурс, позволяющий увидеть гораздо больше онлайн-ресурсов для OSINT. Это очень, очень популярно. Веб-сайт OSINT Framework содержит огромное количество ресурсов OSINT для всех слоев общества.

Бонусный инструмент OSINT на 2023 год: искусственный интеллект для OSINT

Последнее дополнение к лучшим инструментам OSINT на 2023 год, которое может изначально не восприниматься как инструмент osint, является единственным…ChatGPT!

Что это может сделать для меня, мы слышим, как вы говорите? Вы можете:

• Создайте запрос Google Dork на основе описания (например, “дайте мне Google dork, чтобы найти базы данных SQL для поиска пользователей”).
• Поиск по базам данных на таких сайтах, как Match.com , чтобы выяснить, зарегистрировано ли электронное письмо на этом сайте.
• Дайте вам идеи для расследования, которые помогут вам продвинуться вперед, исходя из описания вашего расследования.
• Сведите результаты расследования к простому абзацу для ваших клиентов.
• Отлично переводите текст на другой язык.
• Приведите пример и позвольте ему выявить любые общие черты между ними.
• Список не ограничен (спросите его, как он может помочь вам в расследовании OSINT!)

Наступил новый век, и это очень интересно.

Лучшие из лучших инструментов разведки с открытым исходным кодом!

Итак, в конечном счете, мы считаем, что платформа OSINT является единственным наиболее полезным ресурсом в Интернете. Это одно из лучших мест, где можно найти то, что вы ищете. Мы предлагаем вам попробовать и изучить, что он может предложить. Мы считаем, что то, что мы перечислили, просто лучшее из лучших в Интернете. Если вы специалист по OSINT или информатике, наличие всех этих инструментов в ваших ярлыках окупится. Вам не нужно быть техническим специалистом uber, чтобы иметь возможность их использовать, и с приличной головой на плечах вы найдете то, что ищете. Не стесняйтесь обращаться к нам, если у вас есть какие-либо хорошие ресурсы, и мы будем рады рассказать о них в следующей статье.

Просмотров: 673