Сбор информации — osint

Raw Data vs. Finished Intelligence

Finished intelligence, or cooked data, is raw data that has undergone processing to gain context and become actionable. The collection, processing, and analysis of raw data are the threat intelligence lifecycle’s foundational steps.

In other words, raw data is unaltered from its original source. This could look like a network’s traffic data logs, dark web discussions, or even public social media posts. 

Specialized software can identify and separate entities within a data set (parsing), and organize and display those entities by category to glean meaning and avoid redundancies (normalizing). Data discovery software can also index raw data so that it’s quickly and easily searchable and filtered for relevancy.

On the flip side, finished intelligence would look like a report summarizing the context interpreted from relevant raw data points and a suggested security response.

Finished threat intelligence products and services allow organizations to skip the raw data collection and analysis steps, which tend to be more time-consuming. Those steps are instead supported by automation and machine learning capabilities, and/or third-party analyst teams. 

The main goal of finished intelligence products is to operationalize the process so organizations can respond faster to active threats and invest less time and resources in gathering and contextualizing large volumes of raw data. The result is a finished intelligence report that the client can immediately act on. While expensive, finished intelligence solutions can be ideal for private sector organizations seeking a “comprehensive” security solution.

DOWNLOAD: RAW DATA FOR CRISIS RESPONSE

Access to these data sources is often free, but the true value lies in what can be analyzed and extracted from the data.  Organizations using OSINT for threat intelligence require the ability to detect key information quickly and efficiently. They can do so by using a threat intelligence platform.

The vast amount of online data to sift through is overwhelming and with the complex ways today’s online threat actors are conducting themselves, the vulnerabilities to your organization continue to become more elusive. This data, when gathered and monitored effectively, can be extremely valuable for predicting, analyzing, and reviewing incidents at every stage of their occurrence. But where to begin? 

OSINT in Cyber-security

Wikipedia describes OSINT as “data collected from publicly available sources to be used in an intelligence context.”

OSINT is a practice that anyone with Internet access can do— if you are reading this, then you can also do it.

But that is the scary thing, even not-so-innocent black hat hackers, script kiddies, or hacktivists investigate and gather enough intel to perform attacks.

The amount of information that people can find available online is mind-boggling and if they know how to connect the dots, they can figure out lots of things.

A hacker usually starts an attack from a passive reconnaissance phase.

Their first step is to get to know the target systems (or users) by gathering enough information (without actively engaging with them).

They will want to see the type of public-facing assets; they’ll go to postings on social media to know about the insides of the organization, and some would even gather information from satellite and street-view images to know more about the premises.

OSINT tools can help you identify that open-source information of your organization that is publicly available on the Internet before hackers do.

Открытые источники для разведки

• СМИ — газеты, журналы, радио, телевидение.
• Интернет, в частности веб-сообщества и контент, созданный пользователями (en:user generated content) — социальные сети, видеохостинги, вики-справочники, блоги, веб-форумы.
• Публичные отчёты правительства, официальные данные о бюджетах, демографии, материалы пресс-конференций, различные публичные заявления.
• Наблюдения — радиомониторинг, использование общедоступных данных дистанционного зондирования земли и аэрофотосъемок (например, Google Earth).
• Профессиональные и академические отчёты, конференции, доклады, статьи, включая ту литературу, которая относится к «серой».

Open Source Information Transition 1455 to 2008

Elements of OSINT

The OSINT process includes four key elements:

Uncovering –Knowing who knows about the data and knowing where to look and we get the appropriate data are the key process which leverages distributed centres of expertise and archival knowledge.

Discrimination – Careful discrimination between good and bad sources, current and outdated sources and relevant and irrelevant sources is part of the unique value of the process.

Refining – The most important value added by the process is that of Refining; the final research report may be as short as a paragraph or a page.

Delivery – The best intelligence/research in the world is useless if it cannot be delivered to the client in a timely fashion and in a format that can be easily understood.

How can I use OSINT tools in cybersecurity?

OSINT, as we explained in our previous article ‘What is OSINT?’, stands for Open Source Intelligence. And in the same way that military intelligence teams play a critical role in gaining advantage over the enemy, OSINT plays a critical role in the field of cybersecurity.

Open Source Intelligence fuels cybersecurity teams, letting blue, purple and red teams access a wide range of information such as network technologies, web-hosting servers, DNS records, software technologies, cloud assets, IoT devices, apps, databases, social media accounts, and much more.

OSINT is widely used within different types of organizations, companies, public and private agencies. Even the US government, back in 2005, stated the importance of using Open Source Information effectively.

Imagine for a moment all that critical information falling into criminal hands. That could mark the beginning of an attack against your online assets.

Adopting the proper OSINT tools will help your company boost your cybersecurity defenses, or if you work on a red team, increase the amount of valuable information you’ll get.

While Open Source Intelligence tools are frequently used toward a wide range of goals, they often focus on a few specific areas:

Find unknown-public assets

Public assets are all over the place, but the most dangerous assets are the ones you don’t see, the unknown infrastructure assets. That’s why creating a full map of your entire online infrastructure, as well as the other types of services you use, is the first thing that both the good guys and the bad guys will do during an information-gathering process.

This can lead to either a good-stronger defense, or falling victim to different kinds of cyber attacks launched against your organization.

Detect outside critical company data

Sometimes the data isn’t on your company’s public surface. Sometimes it’s located elsewhere, and this often happens when you work with many 3rd- and 4th-party-related SaaS services. Among other common issues are mergers and acquisitions, that if overlooked, can invite external attack vectors into the parent company. And OSINT can prove highly useful during cybersecurity auditing against mergers and acquisitions.

Group critical data into useful plans

Once you’ve found the most useful data from all fronts by using the right OSINT tools, then it’s time to collate and group all that data and transform it into functional plans. What are we gonna do with these open ports? Who’s in charge of updating this outdated software? When are we going to remove these stale DNS records? All these questions, and more, can inform the creation of your most appropriate and actionable plans, after you’ve grouped all your sensitive data as a foundation.

Now that you know what OSINT is, and how it’s used for cybersecurity, let’s jump right into the fun part: a brief review of all the recommended OSINT tools.

OSINT без интерактива

Другой известный способ получить информацию о периметре и при этом никак с ним не взаимодействовать — изучить логи Shodan и аналогичных поисковых систем, роботы которых любезно все сделали за атакующего.

Как было видно из логов выше, в публичном доступе находятся всевозможные серверы, которые могут нести в себе специфику деятельности целевой организации и хранить ценную информацию. К примеру, если говорить о медицинских компаниях, то их периметр содержит DICOM-устройства и PACS-серверы (picture archiving and communication system). Это медицинские системы, основанные на стандарте DICOM (digital imaging and communications in medicine, отраслевой стандарт создания, хранения, передачи и визуализации медицинских изображений и документов обследованных пациентов) и состоящие из следующих компонентов:

• DICOM-клиент — медицинское устройство, обладающее возможностью передачи информации DICOM-северу;
• DICOM-сервер — программно-аппаратный комплекс, который обеспечивает получение и хранение информации от клиентов (в частности, к таким устройствам относятся PACS-серверы);
• диагностическая DICOM-станция и DICOM-принтеры — программно-аппаратный комплекс, отвечающий за обработку, визуализацию и печать медицинских изображений.

Отличительная особенность большинства данных систем — наличие веб-интерфейса для управления ими через Сеть. Здесь могут обнаружиться уязвимости, которые злоумышленник может использовать для получения доступа к ценной информации и процессам. Стоит подробнее рассмотреть эти системы и проверить, доступны ли они из интернета, то есть служат ли потенциальной точкой входа для злоумышленника.

Поиск DICOM-устройств можно начать с простейшего запроса в поисковике Shodan: DICOM port:104.

Список DICOM-серверов

Также можно попробовать найти диагностические DICOM-станции — специализированные PACS-системы, которые используются для обработки, диагностики и визуализации данных. Пример запроса для поисковой системы Censys: pacs and autonomous_system.organization: (hospital or clinic or medical or healthcare).

Логин-панели диагностических станций

Используя стандартные запросы в Shodan на получение информации о доступных ресурсах на порте 445 (SMB), атакующий иногда может узнать имена внутренних ресурсов (серверов и рабочих станций), благодаря которым определить, какие узлы в сети в дальнейшем представляют интерес, а какие — нет.

Информация о наименованиях ресурсов в локальной сети организации

Подробнее про использование поисковой системы Shodan вы можете прочитать здесь.

Поиск по метаданным

На образовательных сайтах в открытом доступе лежат тысячи документов. Их содержимое редко представляет интерес для атакующего, а вот метаданные — практически всегда. Из них можно узнать версии используемого ПО и подобрать эксплоиты, составить список потенциальных логинов, взяв их из графы «Автор», определиться с актуальными темами для фишинговой рассылки и так далее.

Поэтому мы соберем как можно больше метаданных, для чего воспользуемся FOCA — Fingerprinting Organizations with Collected Archives. В этом инструменте нас интересует только одна функция — сканирование указанного домена в поисках документов в популярных форматах с помощью трех поисковых систем (Google, Bing и DuckDuckGo) и последующим извлечением метаданных. FOCA также умеет анализировать EXIF из графических файлов, но в этих полях редко находится что-то стоящее.

Запускаем FOCA, нажимаем Project и создаем новый проект. В правом верхнем углу выбираем форматы всех видов и нажимаем Search All. Работа занимает от 5 до 10 минут.

В итоге в основном окне FOCA мы видим колоссальное количество файлов, которые программа нашла на сайте. Большую часть из них в нашем примере составили PDF.

Результат поиска файлов с сайта программой FOCA

Следующим шагом нам необходимо скачать выбранные или все файлы (контекстное меню → Download All) и затем извлечь из них метаданные.

Давай проанализируем, что нам удалось собрать.

• Вкладка Users — 113 записей. В основном это имена пользователей, которые указываются при установке офисных пакетов. Они потребуются для дальнейшей социальной инженерии и подбора пар логин-пароль к обнаруженным в домене сетевым сервисам.
• Вкладка Folders — 540 записей. Тут есть каталоги, которые указывают на использование Windows (что подтверждается в дальнейшем), и часто попадается строка вида . Предполагаю, что это сетевой диск, который подключается скриптом при входе пользователя в систему.
• Вкладка Printers — 11 записей. Теперь мы знаем модели сетевых принтеров (они начинаются с ). Остальные либо локальные, либо подключены через сервер печати.
• Вкладка Software — 91 запись. Тут мы видим программное обеспечение, установленное на компьютерах. Основная фишка заключается в том, что указаны версии этого ПО, из которых можно выбрать уязвимые и попробовать эксплуатировать их при атаке.
• Вкладка Emails. Это мы и так имеем в достатке благодаря theHarvester.
• Вкладка Operating Systems — 5 записей. Операционные системы, на которых создавались собранные нами файлы. Радует цифра 81 напротив Windows XP. Как показывает практика, такие организации подолгу не обновляют ОС. Есть высокий шанс того, что древняя винда, для которой перестали выпускать патчи безопасности, где-то стоит у них по сей день.

Метаданные, извлеченные FOCA 

Виды разведки что базируются на разведке из открытых источников

Конкурентная разведка

Competitive intelligence (конкурентная разведка) состоит в мониторинге конкурентных рисков и преимуществ компании.
На практике сотрудники конкурентной разведки (далее КР) занимаются сбором и анализом информации, необходимой для принятия компанией стратегических решений, например, выходить на рынок с новым продуктом или нет (собирают сведения о конкурентах, используя открытые источники, в том числе, неосторожность болтливых сотрудников на форумах в Интернете, халатность системных администраторов оставляющих на серверах доступ к казалось бы безобидным документам, откровенное пренебрежение корпоративной этикой в виде использования корпоративных ресурсов — электронной почты, веб-сервера для личных целей.

Кибер разведка

Cyber intelligence\security — кибер разведка\безопасность, которая занимается сбором информации об угрозах в информационных системах и информационных инфраструктурах государств.
Кибер разведкой занимается три типа структур:

1. Государственные службы — известны как CERT’ы (т.е. Cyber Emergency Response Team), например US-CERT (служба США), CERT-Polska (польская служба), AusCERT (австралийская служба). Полный список подобных служб (в силу специфики работы такие учреждения активно обмениваются информацией и быть членами ассоциации им жизненно необходимо) можно найти на сайте.
2. Корпорации пекущиеся о собственной инфраструктуре.
3. Приватные разведывательные агентства (в виде маленьких частных фирм или подразделений глобальных военных или консалтинговых корпораций), которые специализируются на выявлении террористов, наркоторговцев и кибертеррористов (например, такие как Abraxas Corporation, Boeing, Lockheed Martin, Booz Allen Hamilton и многие-многие другие), которые обеспечивают информацией как корпорации, что пекутся о своей инфраструктуре так и государственные организации.

Спутники видовой разведки

«Адмирал Кузнецов» на стапеле. Снимок американского оптико-электронного спутника KH-11. 1984 год.

Фотографические

• Россия/СССР
  • Облик
  • Кобальт
  • Енисей / Дон
• США
  • Samos  (англ.)
  • серия Corona (KH-1, KH-2, KH-3, KH-4, KH-4A, KH-4B)  (англ.)
  • KH-5 Argon  (англ.)
  • KH-6 Lanyard  (англ.)
  • KH-7 Gambit  (англ.)
  • KH-8 Gambit  (англ.)
  • KH-9 Big Bird
  • KH-10 Dorian (Manned Orbital Laboratory)  (англ.) — разработка прекращена

Оптико-электронные

• Россия/СССР
  • Неман
  • Аракс
• США
  • KH-11 Crystal
  • KH-12 Improved Crystal  (англ.)
  • KH-13 (8X)  (англ.)
  • программа Misty  (англ.)
  • Future Imagery Architecture  (англ.) — разработка прекращена

Радиолокационные

• Россия/СССР
• США
  • Lacrosse  (англ.)
  • Future Imagery Architecture  (англ.) 
• ФРГ

The utility of tools within the organization

Using the information that is freely available is an important task for the organization (maybe not for all but mostly). Let’s take a few examples where these tools and manual means come to our rescue and generate something that makes sense to the organization.

You may also like:  Penetration Testing: Step-by-Step Guide, Stages, Methods and Application

CASE 1: Hiring an employee

Company X wants to hire some employees for a team that is handling the data which is sensitive to the organization. Usually, organizations do a background check for the employees before hiring them. A background check will include referring to various kinds of information to check the integrity of the information. An employee might say that he has passed from B University presenting the certificates as well. How do we ensure that the university is there or not? Various universities offer search systems online that can be checked for certificate validation. Police verification for criminal records and searching various job portals to get the information is also a form of information. Organisations share candidate feedback on the job portals as well just In case they have to blacklist someone. Will you be interested in hiring a candidate that is being blacklisted? Maybe yes, but this needs to be thought twice.

CASE 2: We are being attacked

Cybersecurity is booming because of increasing cyber threats. Let’s consider a scenario where an organization is getting large traffic from unexpected countries. This raises a concern that this is a DOS attack. Referring to various databases that are freely available on the internet can help you to get a clear idea of the incident. Is the IP blacklisted? Is this traffic expected? Various details about the source can be gathered from the internet using OSINT techniques. A lot of free network-based tools are available on the internet that has been connected to various databases for this kind of information.

CASE 3: We are the ORIGINALS

Organisations that deal with content can refer the Open intelligence to identify the genuineness of the content.

• Universities can check for copied submissions of assignments and projects.

• Industries can check for copied codes.

• Track usage of copyright images and content.

• Identify plagiarised articles and literature.

Explore  OWASP- Top 10 Vulnerabilities in web applications (updated for 2018)

Просканировать, отметить, повторить

Очевидно, для понимания того, что расположено на сетевом периметре, необходимо получить диапазон IP-адресов, принадлежащий целевой организации. В этом списке возможно наличие IP-адресов третьих сторон (сервис-провайдеры, подрядчики и прочие) — атакующий их точно включит в скоп, а ты, как аудитор своей сети, этого делать не можешь. Полученный диапазон IP можно занести в port-сканер. Вместо Nmap я рекомендую использовать для этой цели Masscan или ZMap — это сильно сократит время сканирования.

Так, для оценки точек входа в медицинские корпоративные сети можно выгрузить из RIPE диапазоны IP-адресов всех организаций, в названии которых присутствуют ключевые слова:

• healthcare;
• medic;
• clinic;
• surgery;
• hospit;
• dental;
• pharmacist.

После этого можно запускать порт-сканер и подождать его выдачу несколько дней.

Фрагмент отчета о сканировании Masscan

Если сканировать с помощью ZMap, то впоследствии можно воспользоваться утилитой ZTag для расстановки тегов по каждому обнаруженному сервису. Теги проставляются на основе собранной базы баннеров. В случае со сканом медучреждений полученные сервисы классифицируются следующим образом.

Топ сервисов на периметре медицинской инфраструктуры

Среди тривиальных вещей вроде веб-приложений и почтовых серверов находятся интересные приложения: системы управления зданиями (building management systems; кстати, у нас по этой теме написана целая серия статей, вот например), принтеры (зачастую без какой-либо авторизации к админ-панелям), хранилища NAS (и даже специализированные PACS-серверы), умные чайники и прочее. Используя каждый из найденных сервисов, атакующий может определять векторы атаки и оценивать сложность (читай — стоимость) их реализации.

Пример информации об устройстве, использующем протокол Niagara FoxПанель управления принтером, в которой, например, виден список соседних беспроводных сетейПример уязвимого медпортала, ведущего к медицинским данным 

Получаем данные о домене

Следующим шагом получим информацию о домене. Для начала воспользуемся программой (подробнее о ней читай в RFC 3912). Открываем терминал и вводим команду

Программа whois

Кому неинтересно смотреть в терминал (или нет под рукой «Линукса»), могут воспользоваться интернет-сервисами, которые делают то же самое. Вот несколько из них:

• 2ip.ru;
• Ripe.net;
• whois.domaintools.com;
• ping.eu;
• centralops.net;
• serversniff.net.

Последние два особенно популярны из-за расширенного набора инструментов. В CentralOps сразу есть DNS-граббер, двойной Whois и сканирование портов. Server Sniff выполняет детальное сканирование сайта, причем с поддержкой IPv6 и HTTPS. Я в основном пользуюсь robtex.com. Он представляет все в графическом виде и довольно удобен.

Сайт robtex.com

Вариант 1. Присоединись к сообществу «Xakep.ru», чтобы читать все материалы на сайте

Членство в сообществе в течение указанного срока откроет тебе доступ ко ВСЕМ материалам «Хакера», увеличит личную накопительную скидку и позволит накапливать профессиональный рейтинг Xakep Score!
Подробнее

Вариант 2. Открой один материал

Заинтересовала статья, но нет возможности стать членом клуба «Xakep.ru»? Тогда этот вариант для тебя!
Обрати внимание: этот способ подходит только для статей, опубликованных более двух месяцев назад.

Я уже участник «Xakep.ru»

Преимущества работы

Несмотря на то, что существуют сотни веб-ресурсов для поиска данных о конкретных людях или юридических фирмах, пользователи все еще не знают, как получать эксклюзив.

Так, применяя расширенные поисковые запросы в системах Googl Doks, Бинг, Яндекс и DuckDuckGo, пользователь может получить удивительные, а порою и пугающие результаты.

А еще есть специальные сайты, предназначенные для поиска людей по некоторым предоставленным данным.

Только представьте, что существуют ресурсы, осуществляющие поиск сразу по всему интернету и на базе одного критерия! Достаточно ввести адрес электронной почты или загрузить фотографию, а может указать IP – и вуаля, ваш объект найден всего за один клик. В одном месте вы получите структурированную и упорядоченную информацию из многочисленных ресурсов в сети. Проверяйте конкретную личность или целую корпорацию всего за час серфинга в интернете. Это позволит минимизировать риски недобросовестного партнерства или мошенничества в разы.

Еще одним преимуществом является уникальность самой системы OSINT. Тут нет шаблонных алгоритмов для проведения вашего расследования, так как все случаи уникальные, поэтому требуют индивидуального подхода.

OSINT представлен рядом платформ, которые позволяют проводить комплекс действий за пару кликов: поиск и сбор данных, аналитика, исследование динамики изменений, сравнение результатов за временной период и т. д.

OSINT просто необходим для крупных фирм и организаций, которые хотят работать наиболее продуктивно, прибыльно и с минимальными рисками утечки ценной коммерческой информации.