http://dr-watson.wix.com/home – программа предназначена для исследования массивов текстовой информации с целью выявления сущностей и связей между ними. Результат работы – отчет об исследуемом объекте.
http://www.fmsasg.com/- одна из лучших в мире программ по визуализации связей и отношений Sentinel Vizualizer. Компания полностью русифицировала свои продукты и подключил горячую линию на русском.
http://www.newprosoft.com/ – “Web Content Extractor” является наиболее мощным, простым в использовании ПО извлечения данных из web сайтов. Имеет также эффективный Visual Web паук.
http://neowatcher.com/ru/ – полезная и простая программа для отслеживания изменений на сайтах. Количество сайтов не ограниченно. (походу умер сайт)
WebSite-Watcher – позволяет проводить мониторинг веб-страниц, включая защищенные паролем, мониторинг форумов, RSS каналов, групп новостей, локальных файлов. Обладает мощной системой фильтров. Мониторинг ведется автоматически и поставляется в удобном для пользователя виде. Программа с расширенными функциями стоит 50 евро. Постоянно обновляется.
http://www.scribd.com/ – наиболее популярная в мире и все более широко применяемая в России платформа размещения различного рода документов, книг и т.п. для свободного доступа с очень удобным поисковиком по названиям, темам и т.п.
http://www.atlasti.com/ – представляет собой самый мощный и эффективный из доступных для индивидуальных пользователей, небольшого и даже среднего бизнеса инструмент качественного анализа информации. Программа многофункциональная и потому полезная. Совмещает в себе возможности создания единой информационной среды для работы с различными текстовыми, табличными, аудио и видеофайлами, как единым целым, а также инструменты качественного анализа и визуализации.
Ashampoo ClipFinder HD – все возрастающая доля информационного потока приходится на видео. Соответственно, конкурентным разведчикам нужны инструменты, позволяющие работать с этим форматом. Одним из таких продуктов является представляемая бесплатная утилита. Она позволяет осуществлять поиск роликов по заданным критериям на видеофайловых хранилищах типа YouTube. Программа проста в использовании, выводит на одну страницу все результаты поиска с подробными сведениями, названиями, длительностью, временем, когда видео было загружено в хранилище и т.п. Имеется русский интерфейс.
http://www.advego.ru/plagiatus/ – программа сделана seo оптимизаторами, но вполне подходит как инструмент интернет-разведки. Плагиатус показывает степень уникальности текста, источники текста, процент совпадения текста. Также программа проверяет уникальность указанного URL. Программа бесплатная.
http://neiron.ru/toolbar/ – включает надстройку для объединения поиска Google и Yandex, а также позволяет осуществлять конкурентный анализ, базирующийся на оценке эффективности сайтов и контекстной рекламы. Реализован как плагин для FF и GC.
http://web-data-extractor.net/ – универсальное решение для получения любых данных, доступных в интернете. Настройка вырезания данных с любой страницы производится в несколько кликов мыши. Вам нужно просто выбрать область данных, которую вы хотите сохранять и Datacol сам подберет формулу для вырезания этого блока.
CaptureSaver – профессиональный инструмент исследования интернета. Просто незаменимая рабочая программа, позволяющая захватывать, хранить и экспортировать любую интернет информацию, включая не только web страницы, блоги, но и RSS новости, электронную почту, изображения и многое другое. Обладает широчайшим функционалом, интуитивно понятным интерфейсом и смешной ценой.
http://www.orbiscope.net/en/software.html – система веб мониторинга по более чем доступным ценам.
http://www.kbcrawl.co.uk/ – программное обеспечение для работы, в том числе в «Невидимом интернете».
http://www.copernic.com/en/products/agent/index.html – программа позволяет вести поиск, используя более 90 поисковых систем, более чем по 10 параметрам. Позволяет объединять результаты, устранять дубликаты, блокировать нерабочие ссылки, показывать наиболее релевантные результаты. Поставляется в бесплатной, личной и профессиональной версиях. Используется больше чем 20 млн.пользователей.
Maltego – принципиально новое программное обеспечение, позволяющее устанавливать взаимосвязь субъектов, событий и объектов в реале и в интернете.
СЕРВИСЫ
new http://yewno.com/about/ – первая действующая система перевода информации в знания и визуализации неструктурированной информации. В настоящее время поддерживает английский, французский, немецкий, испанский и португальский языки.
https://start.avalancheonline.ru/landing/?next=/ – прогнозно-аналитические сервисы Андрея Масаловича.
https://www.outwit.com/products/hub/ – полный набор автономных программ для профессиональной работы в web1.
http://www.iptrackeronline.com/email-header-analysis.php - сервис анализа email.
https://github.com/search?q=user:cmlh+maltego – расширения для Maltego.
http://www.whoishostingthis.com/ - поисковик по хостингу, IP адресам и т.п.
http://appfollow.ru/ – анализ приложений на основе отзывов, ASO оптимизации, позиций в топах и поисковых выдачах для App Store, Google Play и Windows Phone Store.
http://spiraldb.com/ – сервис, реализованный как плагин к Chrom, позволяющий получить множество ценной информации о любом электронном ресурсе.
https://millie.northernlight.com/dashboard.php?id=93 - бесплатный сервис, собирающий и структурирующий ключевую информацию по отраслям и компаниям. Есть возможность использования информационных панелей основанных на текстовом анализе.
http://byratino.info/ – сбор фактографических данных из общедоступных источников в сети Интернет.
http://www.datafox.co/ – CI платформа собирающая и анализирующая информацию по интересующим клиентов компаниям. Есть демо.
https://unwiredlabs.com/home - специализированное приложение с API для поиска по геолокации любого устройства, подключенного к интернету.
http://visualping.io/ – сервис мониторинга сайтов и в первую очередь имеющихся на них фотографий и изображений. Даже если фотография появилась на секунду, она будет в электронной почте подписчика. Имеет плагин для GoogleChrome.
http://spyonweb.com/ – исследовательский инструмент, позволяющий осуществить глубокий анализ любого интернет-ресурса.
http://bigvisor.ru/ – сервис позволяет отслеживать рекламные компании по определенным сегментам товаров и услуг, либо конкретным организациям.
http://www.itsec.pro/2013/09/microsoft-word.html – инструкция Артема Агеева по использованию программ Windows для нужд конкурентной разведки.
http://granoproject.org/ – инструмент с открытым исходным кодом для исследователей, которые отслеживают сети связей между персонами и организациями в политике, экономике, криминале и т.п. Позволяет соединять, анализировать и визуализировать сведения, полученные из различных источников, а также показывать существенные связи.
http://imgops.com/ - сервис извлечения метаданных из графических файлов и работы с ними.
http://sergeybelove.ru/tools/one-button-scan/ - маленький он-лайн сканер для проверки дыр безопасности сайтов и других ресурсов.
http://isce-library.net/epi.aspx – сервис поиска первоисточников по фрагменту текста на английском языке
https://zmap.io/index.html – опенсорсный сканер по IPv4 адресам.
https://www.rivaliq.com/ – эффективный инструмент для ведения конкурентной разведки на западных, в первую очередь, европейских и американских рынках товаров и услуг.
http://watchthatpage.com/ – сервис, который позволяет автоматически собирать новую информацию с поставленных на мониторинг ресурсов в интернете. Услуги сервиса бесплатные.
http://falcon.io/ – своего рода Rapportive для Web. Он не является заменой Rapportive, а дает дополнительные инструменты. В отличие от Rapportive дает общий профиль человека, как бы склеенный из данных из социальных сетей и упоминаний в web.http://watchthatpage.com/ – сервис, который позволяет автоматически собирать новую информацию с поставленных на мониторинг ресурсов в интернете. Услуги сервиса бесплатные.
https://addons.mozilla.org/ru/firefox/addon/update-scanner/ – дополнение для Firefox. Следит за обновлениями web-страниц. Полезно для web-сайтов, которые не имеют лент новостей (Atom или RSS).
http://www.fmsasg.com/- одна из лучших в мире программ по визуализации связей и отношений Sentinel Vizualizer. Компания полностью русифицировала свои продукты и подключил горячую линию на русском.
http://www.newprosoft.com/ – “Web Content Extractor” является наиболее мощным, простым в использовании ПО извлечения данных из web сайтов. Имеет также эффективный Visual Web паук.
http://neowatcher.com/ru/ – полезная и простая программа для отслеживания изменений на сайтах. Количество сайтов не ограниченно. (походу умер сайт)
WebSite-Watcher – позволяет проводить мониторинг веб-страниц, включая защищенные паролем, мониторинг форумов, RSS каналов, групп новостей, локальных файлов. Обладает мощной системой фильтров. Мониторинг ведется автоматически и поставляется в удобном для пользователя виде. Программа с расширенными функциями стоит 50 евро. Постоянно обновляется.
http://www.scribd.com/ – наиболее популярная в мире и все более широко применяемая в России платформа размещения различного рода документов, книг и т.п. для свободного доступа с очень удобным поисковиком по названиям, темам и т.п.
http://www.atlasti.com/ – представляет собой самый мощный и эффективный из доступных для индивидуальных пользователей, небольшого и даже среднего бизнеса инструмент качественного анализа информации. Программа многофункциональная и потому полезная. Совмещает в себе возможности создания единой информационной среды для работы с различными текстовыми, табличными, аудио и видеофайлами, как единым целым, а также инструменты качественного анализа и визуализации.
Ashampoo ClipFinder HD – все возрастающая доля информационного потока приходится на видео. Соответственно, конкурентным разведчикам нужны инструменты, позволяющие работать с этим форматом. Одним из таких продуктов является представляемая бесплатная утилита. Она позволяет осуществлять поиск роликов по заданным критериям на видеофайловых хранилищах типа YouTube. Программа проста в использовании, выводит на одну страницу все результаты поиска с подробными сведениями, названиями, длительностью, временем, когда видео было загружено в хранилище и т.п. Имеется русский интерфейс.
http://www.advego.ru/plagiatus/ – программа сделана seo оптимизаторами, но вполне подходит как инструмент интернет-разведки. Плагиатус показывает степень уникальности текста, источники текста, процент совпадения текста. Также программа проверяет уникальность указанного URL. Программа бесплатная.
http://neiron.ru/toolbar/ – включает надстройку для объединения поиска Google и Yandex, а также позволяет осуществлять конкурентный анализ, базирующийся на оценке эффективности сайтов и контекстной рекламы. Реализован как плагин для FF и GC.
http://web-data-extractor.net/ – универсальное решение для получения любых данных, доступных в интернете. Настройка вырезания данных с любой страницы производится в несколько кликов мыши. Вам нужно просто выбрать область данных, которую вы хотите сохранять и Datacol сам подберет формулу для вырезания этого блока.
CaptureSaver – профессиональный инструмент исследования интернета. Просто незаменимая рабочая программа, позволяющая захватывать, хранить и экспортировать любую интернет информацию, включая не только web страницы, блоги, но и RSS новости, электронную почту, изображения и многое другое. Обладает широчайшим функционалом, интуитивно понятным интерфейсом и смешной ценой.
http://www.orbiscope.net/en/software.html – система веб мониторинга по более чем доступным ценам.
http://www.kbcrawl.co.uk/ – программное обеспечение для работы, в том числе в «Невидимом интернете».
http://www.copernic.com/en/products/agent/index.html – программа позволяет вести поиск, используя более 90 поисковых систем, более чем по 10 параметрам. Позволяет объединять результаты, устранять дубликаты, блокировать нерабочие ссылки, показывать наиболее релевантные результаты. Поставляется в бесплатной, личной и профессиональной версиях. Используется больше чем 20 млн.пользователей.
Maltego – принципиально новое программное обеспечение, позволяющее устанавливать взаимосвязь субъектов, событий и объектов в реале и в интернете.
СЕРВИСЫ
new http://yewno.com/about/ – первая действующая система перевода информации в знания и визуализации неструктурированной информации. В настоящее время поддерживает английский, французский, немецкий, испанский и португальский языки.
https://start.avalancheonline.ru/landing/?next=/ – прогнозно-аналитические сервисы Андрея Масаловича.
https://www.outwit.com/products/hub/ – полный набор автономных программ для профессиональной работы в web1.
http://www.iptrackeronline.com/email-header-analysis.php - сервис анализа email.
https://github.com/search?q=user:cmlh+maltego – расширения для Maltego.
http://www.whoishostingthis.com/ - поисковик по хостингу, IP адресам и т.п.
http://appfollow.ru/ – анализ приложений на основе отзывов, ASO оптимизации, позиций в топах и поисковых выдачах для App Store, Google Play и Windows Phone Store.
http://spiraldb.com/ – сервис, реализованный как плагин к Chrom, позволяющий получить множество ценной информации о любом электронном ресурсе.
https://millie.northernlight.com/dashboard.php?id=93 - бесплатный сервис, собирающий и структурирующий ключевую информацию по отраслям и компаниям. Есть возможность использования информационных панелей основанных на текстовом анализе.
http://byratino.info/ – сбор фактографических данных из общедоступных источников в сети Интернет.
http://www.datafox.co/ – CI платформа собирающая и анализирующая информацию по интересующим клиентов компаниям. Есть демо.
https://unwiredlabs.com/home - специализированное приложение с API для поиска по геолокации любого устройства, подключенного к интернету.
http://visualping.io/ – сервис мониторинга сайтов и в первую очередь имеющихся на них фотографий и изображений. Даже если фотография появилась на секунду, она будет в электронной почте подписчика. Имеет плагин для GoogleChrome.
http://spyonweb.com/ – исследовательский инструмент, позволяющий осуществить глубокий анализ любого интернет-ресурса.
http://bigvisor.ru/ – сервис позволяет отслеживать рекламные компании по определенным сегментам товаров и услуг, либо конкретным организациям.
http://www.itsec.pro/2013/09/microsoft-word.html – инструкция Артема Агеева по использованию программ Windows для нужд конкурентной разведки.
http://granoproject.org/ – инструмент с открытым исходным кодом для исследователей, которые отслеживают сети связей между персонами и организациями в политике, экономике, криминале и т.п. Позволяет соединять, анализировать и визуализировать сведения, полученные из различных источников, а также показывать существенные связи.
http://imgops.com/ - сервис извлечения метаданных из графических файлов и работы с ними.
http://sergeybelove.ru/tools/one-button-scan/ - маленький он-лайн сканер для проверки дыр безопасности сайтов и других ресурсов.
http://isce-library.net/epi.aspx – сервис поиска первоисточников по фрагменту текста на английском языке
https://zmap.io/index.html – опенсорсный сканер по IPv4 адресам.
https://www.rivaliq.com/ – эффективный инструмент для ведения конкурентной разведки на западных, в первую очередь, европейских и американских рынках товаров и услуг.
http://watchthatpage.com/ – сервис, который позволяет автоматически собирать новую информацию с поставленных на мониторинг ресурсов в интернете. Услуги сервиса бесплатные.
http://falcon.io/ – своего рода Rapportive для Web. Он не является заменой Rapportive, а дает дополнительные инструменты. В отличие от Rapportive дает общий профиль человека, как бы склеенный из данных из социальных сетей и упоминаний в web.http://watchthatpage.com/ – сервис, который позволяет автоматически собирать новую информацию с поставленных на мониторинг ресурсов в интернете. Услуги сервиса бесплатные.
https://addons.mozilla.org/ru/firefox/addon/update-scanner/ – дополнение для Firefox. Следит за обновлениями web-страниц. Полезно для web-сайтов, которые не имеют лент новостей (Atom или RSS).
http://www.la0.ru/ – удобный и релевантный сервис анализа ссылок и бэклинков на интернет-ресурс.
www.recordedfuture.com – мощный инструмент анализа данных и их визуализации, реализованный как он-лайн сервис, построенный на «облачных» вычислениях.
http://advse.ru/ – сервис под слоганом «Узнай все про своих конкурентов». Позволяет в соответствии с поисковыми запросами получить сайты конкурентов, анализировать рекламные компании конкурентов в Google и Yandex.
http://spyonweb.com/ – сервис позволяет определить сайты с одинаковыми характеристиками, в том числе, использующими одинаковые идентификаторы сервиса статистики Google Analytics, IP адреса и т.п.
http://www.connotate.com/solutions – линейка продуктов для конкурентной разведки, управления информационными потоками и преобразования сведений в информационные активы. Включает как сложные платформы, так и простые дешевые сервисы, позволяющие эффективно вести мониторинг вместе с компрессией информации и получением только нужных результатов.
http://www.clearci.com/ – платформа конкурентной разведки для бизнеса различных размеров от стартапов и маленьких компаний до компаний из списка Fortune 500. Решена как saas.
http://saplo.com/ – новый, но уже получивший в мире признание, шведский стартап, разработавший линейку продуктов по data text. Все продукты имеют API.
http://startingpage.com/ – надстройка на Google, позволяющая вести поиск в Google без фиксации вашего IP адреса. Полностью поддерживает все поисковые возможности Google, в том числе и а русском языке.
http://newspapermap.com/ – уникальный сервис, очень полезный для конкурентного разведчика. Соединяет геолокацию с поисковиком он-лайн медиа. Т.е. вы выбираете интересующий вас регион или даже город, или язык, на карте видите место и список он-лайн версий газет и журналов, нажимаете на соответствующую кнопку и читаете. Поддерживает русский язык, очень удобный интерфейс.
http://www.instapaper.com/ – очень простой и эффективный инструмент для сохранения необходимых веб-страниц. Может использоваться на компьютерах, айфонах, айпадах и др.
http://www.wizardrss.com/ – позволяет преобразовывать RSS в полные тексты.
http://screen-scraper.com/ – позволяет автоматически извлекать всю информацию с веб-страниц, скачивать подавляющее большинство форматов файлов, автоматически вводить данные в различные формы. Скачанные файлы и страницы сохраняет в базах данных, выполняет множество других чрезвычайно полезных функций. Работает под всеми основными платформами, имеет полнофункциональную бесплатную и очень мощные профессиональные версии.
http://www.mozenda.com/- имеющий несколько тарифных планов и доступный даже для малого бизнеса веб сервис многофункционального веб мониторинга и доставки с избранных сайтов необходимой пользователю информации.
http://www.recipdonor.com/- сервис позволяет осуществлять автоматический мониторинг всего происходящего на сайтах конкурентов.
http://www.spyfu.com/ – а это, если у вас конкуренты иностранные.
www.webground.su – созданный профессионалами Интернет-поиска сервис для мониторинга Рунета, включающий всех основных поставщиков информации, новостей и т.п., способен к индивидуальным настройкам мониторинга под нужды пользователя.
ПОИСКОВИКИ
https://www.idmarch.org/ – лучший по качеству выдачи поисковик мирового архива pdf документов. В настоящее время проиндексировано более 18 млн. pdf документов, начиная от книг, заканчивая секретными отчетами.
http://www.marketvisual.com/ – уникальный поисковик, позволяющий вести поиск собственников и топ-менеджмента по ФИО, наименованию компании, занимаемой позиции или их комбинации. В поисковой выдаче содержатся не только искомые объекты, но и их связи. Рассчитана прежде всего на англоязычные страны.
http://worldc.am/ – поисковик по фотографиям в свободном доступе с привязкой к геолокации.
https://app.echosec.net/ – общедоступный поисковик, который характеризует себя как самый продвинутый аналитический инструмент для правоохранительных органов и профессионалов безопасности и разведки. Позволяет вести поиск фотографий, размещенных на различных сайтах, социальных платформах и в социальных сетях в привязке к конкретным геолокационным координатам. В настоящее время подключено семь источников данных. До конца года их число составит более 450. За наводку спасибо Дементию.
http://www.quandl.com/ – поисковик по семи миллионам финансовых, экономических и социальных баз данных.
http://bitzakaz.ru/ – поисковик по тендерам и госзаказам с дополнительными платными функциями
Website-Finder – дает возможность найти сайты, которые плохо индексирует Google. Единственным ограничением является то, что для каждого ключевого слова он ищет только 30 веб-сайтов. Программа проста в использовании.
http://www.dtsearch.com/ – мощнейший поисковик, позволяющий обрабатывать терабайты текста. Работает на рабочем столе, в интернете и в интранете. Поддерживает как статические, так и динамические данные. Позволяет искать во всех программах MS Office. Поиск ведется по фразам, словам, тегам, индексам и многому другому. Единственная доступная система федеративного поиска. Имеет как платную, так и бесплатную версии.
http://www.strategator.com/ – осуществляет поиск, фильтрацию и агрегацию информации о компании из десятка тысяч веб-источников. Ищет по США, Великобритании, основным странам ЕЭС. Отличается высокой релевантностью, удобностью для пользователя, имеет бесплатные и платный вариант (14$ в месяц).
http://www.shodanhq.com/ – необычный поисковик. Сразу после появления получил кличку «Гугл для хакеров». Ищет не страницы, а определяет IP адреса, типы роутеров, компьютеров, серверов и рабочих станций, размещенных по тому или иному адресу, прослеживает цепочки DNS серверов и позволяет реализовать много других интересных функций для конкурентной разведки.
http://search.usa.gov/ – поисковик по сайтам и открытым базам всех государственных учреждений США. В базах находится много практической полезной информации, в том числе и для использования в нашей стране.
http://visual.ly/ – сегодня все шире для представления данных используется визуализация. Это первый поисковик инфографики в Вебе. Одновременно с поисковиком на портале есть мощные инструменты визуализации данных, не требующие навыков программирования.
http://go.mail.ru/realtime –поиск по обсуждениям тем, событий, объектов, субъектов в режиме реального, либо настраиваемого времени. Ранее крайне критикуемый поиск в Mail.ru работает очень эффективно и дает интересную релевантную выдачу.
Zanran – только что стартовавший, но уже отлично работающий первый и единственный поисковик для данных, извлекающий их из файлов PDF, таблиц EXCEL, данных на страницах HTML.
http://www.ciradar.com/Competitive-Analysis.aspx – одна из лучших в мире систем поиска информации для конкурентной разведки в «глубоком вебе». Извлекает практически все виды файлов во всех форматах по интересующей теме. Реализована как веб-сервис. Цены более чем приемлемые.
– специализированная поисковая система по госзакупкам, тендерам и аукционам. Полный охват информации, удобный интерфейс, очень щадящие кошелек потребителя цены.
http://public.ru/ – Эффективный поиск и профессиональный анализ информации, архив СМИ с 1990 года. Интернет-библиотека СМИ предлагает широкий спектр информационных услуг: от доступа к электронным архивам публикаций русскоязычных СМИ и готовых тематических обзоров прессы до индивидуального мониторинга и эксклюзивных аналитических исследований, выполненных по материалам печати.
Cluuz – молодой поисковик с широкими возможностями для конкурентной разведки, особенно, в англоязычном интернете. Позволяет не только находить, но и визуализировать, устанавливать связи между людьми, компаниями, доменами, e-mail, адресами и т.п.
www.wolframalpha.com – поисковик завтрашнего дня. На поисковый запрос выдает имеющуюся по объекту запроса статистическую и фактологическую информацию, в том числе, визуализированную.
www.ist-budget.ru – универсальный поиск по базам данных госзакупок, торгов, аукционов и т.п.
www.recordedfuture.com – мощный инструмент анализа данных и их визуализации, реализованный как он-лайн сервис, построенный на «облачных» вычислениях.
http://advse.ru/ – сервис под слоганом «Узнай все про своих конкурентов». Позволяет в соответствии с поисковыми запросами получить сайты конкурентов, анализировать рекламные компании конкурентов в Google и Yandex.
http://spyonweb.com/ – сервис позволяет определить сайты с одинаковыми характеристиками, в том числе, использующими одинаковые идентификаторы сервиса статистики Google Analytics, IP адреса и т.п.
http://www.connotate.com/solutions – линейка продуктов для конкурентной разведки, управления информационными потоками и преобразования сведений в информационные активы. Включает как сложные платформы, так и простые дешевые сервисы, позволяющие эффективно вести мониторинг вместе с компрессией информации и получением только нужных результатов.
http://www.clearci.com/ – платформа конкурентной разведки для бизнеса различных размеров от стартапов и маленьких компаний до компаний из списка Fortune 500. Решена как saas.
http://saplo.com/ – новый, но уже получивший в мире признание, шведский стартап, разработавший линейку продуктов по data text. Все продукты имеют API.
http://startingpage.com/ – надстройка на Google, позволяющая вести поиск в Google без фиксации вашего IP адреса. Полностью поддерживает все поисковые возможности Google, в том числе и а русском языке.
http://newspapermap.com/ – уникальный сервис, очень полезный для конкурентного разведчика. Соединяет геолокацию с поисковиком он-лайн медиа. Т.е. вы выбираете интересующий вас регион или даже город, или язык, на карте видите место и список он-лайн версий газет и журналов, нажимаете на соответствующую кнопку и читаете. Поддерживает русский язык, очень удобный интерфейс.
http://www.instapaper.com/ – очень простой и эффективный инструмент для сохранения необходимых веб-страниц. Может использоваться на компьютерах, айфонах, айпадах и др.
http://www.wizardrss.com/ – позволяет преобразовывать RSS в полные тексты.
http://screen-scraper.com/ – позволяет автоматически извлекать всю информацию с веб-страниц, скачивать подавляющее большинство форматов файлов, автоматически вводить данные в различные формы. Скачанные файлы и страницы сохраняет в базах данных, выполняет множество других чрезвычайно полезных функций. Работает под всеми основными платформами, имеет полнофункциональную бесплатную и очень мощные профессиональные версии.
http://www.mozenda.com/- имеющий несколько тарифных планов и доступный даже для малого бизнеса веб сервис многофункционального веб мониторинга и доставки с избранных сайтов необходимой пользователю информации.
http://www.recipdonor.com/- сервис позволяет осуществлять автоматический мониторинг всего происходящего на сайтах конкурентов.
http://www.spyfu.com/ – а это, если у вас конкуренты иностранные.
www.webground.su – созданный профессионалами Интернет-поиска сервис для мониторинга Рунета, включающий всех основных поставщиков информации, новостей и т.п., способен к индивидуальным настройкам мониторинга под нужды пользователя.
ПОИСКОВИКИ
https://www.idmarch.org/ – лучший по качеству выдачи поисковик мирового архива pdf документов. В настоящее время проиндексировано более 18 млн. pdf документов, начиная от книг, заканчивая секретными отчетами.
http://www.marketvisual.com/ – уникальный поисковик, позволяющий вести поиск собственников и топ-менеджмента по ФИО, наименованию компании, занимаемой позиции или их комбинации. В поисковой выдаче содержатся не только искомые объекты, но и их связи. Рассчитана прежде всего на англоязычные страны.
http://worldc.am/ – поисковик по фотографиям в свободном доступе с привязкой к геолокации.
https://app.echosec.net/ – общедоступный поисковик, который характеризует себя как самый продвинутый аналитический инструмент для правоохранительных органов и профессионалов безопасности и разведки. Позволяет вести поиск фотографий, размещенных на различных сайтах, социальных платформах и в социальных сетях в привязке к конкретным геолокационным координатам. В настоящее время подключено семь источников данных. До конца года их число составит более 450. За наводку спасибо Дементию.
http://www.quandl.com/ – поисковик по семи миллионам финансовых, экономических и социальных баз данных.
http://bitzakaz.ru/ – поисковик по тендерам и госзаказам с дополнительными платными функциями
Website-Finder – дает возможность найти сайты, которые плохо индексирует Google. Единственным ограничением является то, что для каждого ключевого слова он ищет только 30 веб-сайтов. Программа проста в использовании.
http://www.dtsearch.com/ – мощнейший поисковик, позволяющий обрабатывать терабайты текста. Работает на рабочем столе, в интернете и в интранете. Поддерживает как статические, так и динамические данные. Позволяет искать во всех программах MS Office. Поиск ведется по фразам, словам, тегам, индексам и многому другому. Единственная доступная система федеративного поиска. Имеет как платную, так и бесплатную версии.
http://www.strategator.com/ – осуществляет поиск, фильтрацию и агрегацию информации о компании из десятка тысяч веб-источников. Ищет по США, Великобритании, основным странам ЕЭС. Отличается высокой релевантностью, удобностью для пользователя, имеет бесплатные и платный вариант (14$ в месяц).
http://www.shodanhq.com/ – необычный поисковик. Сразу после появления получил кличку «Гугл для хакеров». Ищет не страницы, а определяет IP адреса, типы роутеров, компьютеров, серверов и рабочих станций, размещенных по тому или иному адресу, прослеживает цепочки DNS серверов и позволяет реализовать много других интересных функций для конкурентной разведки.
http://search.usa.gov/ – поисковик по сайтам и открытым базам всех государственных учреждений США. В базах находится много практической полезной информации, в том числе и для использования в нашей стране.
http://visual.ly/ – сегодня все шире для представления данных используется визуализация. Это первый поисковик инфографики в Вебе. Одновременно с поисковиком на портале есть мощные инструменты визуализации данных, не требующие навыков программирования.
http://go.mail.ru/realtime –поиск по обсуждениям тем, событий, объектов, субъектов в режиме реального, либо настраиваемого времени. Ранее крайне критикуемый поиск в Mail.ru работает очень эффективно и дает интересную релевантную выдачу.
Zanran – только что стартовавший, но уже отлично работающий первый и единственный поисковик для данных, извлекающий их из файлов PDF, таблиц EXCEL, данных на страницах HTML.
http://www.ciradar.com/Competitive-Analysis.aspx – одна из лучших в мире систем поиска информации для конкурентной разведки в «глубоком вебе». Извлекает практически все виды файлов во всех форматах по интересующей теме. Реализована как веб-сервис. Цены более чем приемлемые.
– специализированная поисковая система по госзакупкам, тендерам и аукционам. Полный охват информации, удобный интерфейс, очень щадящие кошелек потребителя цены.
http://public.ru/ – Эффективный поиск и профессиональный анализ информации, архив СМИ с 1990 года. Интернет-библиотека СМИ предлагает широкий спектр информационных услуг: от доступа к электронным архивам публикаций русскоязычных СМИ и готовых тематических обзоров прессы до индивидуального мониторинга и эксклюзивных аналитических исследований, выполненных по материалам печати.
Cluuz – молодой поисковик с широкими возможностями для конкурентной разведки, особенно, в англоязычном интернете. Позволяет не только находить, но и визуализировать, устанавливать связи между людьми, компаниями, доменами, e-mail, адресами и т.п.
www.wolframalpha.com – поисковик завтрашнего дня. На поисковый запрос выдает имеющуюся по объекту запроса статистическую и фактологическую информацию, в том числе, визуализированную.
www.ist-budget.ru – универсальный поиск по базам данных госзакупок, торгов, аукционов и т.п.
От души бро
Схоронил
Еще бы Kali Linux не помешал, там много различной годноты идёт в комплекте. А Maltego XL годнота, но стоит 1900 евро на год.
http://www.list-org.com/
Поиск по ИНН
Поиск по ОГРН
Поиск по ОКПО
Поиск по телефону
Поиск по наименованию
Поиск по руководителю
Поиск по адресу
Список по регионам (ОКАТО)
Список по отраслям (ОКВЭД)
http://www.compromat.ru – старейший и до сих пор наиболее адекватный источник компрометирующей информации.
https://www.rospres.org/ – модерируемый ресурс компромата. Содержит достаточно качественные материалы, однако, грешит политической ангажированностью.
https://rucompromat.com/ – действует как новостная лента-агрегатор компрометирующей информации.
https://www.novayagazeta.ru/inquiries – отдел расследований “Новой газеты”.
http://stringer-news.com/ – одby из старейших ресурсов компромата с руководителем-женщиной.
http://scandaly.ru/- независимый ресурс экономических и политических событий и историй.
https://fbk.info/ – куда же без него.
https://linkurio.us/ - французская софтверная компания, которая предоставляет анализ социальных сетей, прежде всего, посредством визуализации графиков .
https://dnsdumpster.com/ - DNS Dumpster — это инструмент для поиска информации о домене и хосте.
https://pentest-tools.com/ - поиск поддоменов (и еще всякая хрень за прайс)
https://seezislab.com/ru/ - анализ ютуб-канала.
https://vidiq.com/ - подобный аналог (потому что на ингрише)
https://text.ru/antiplagiat - удобный антиплагиат с поиском текста на сайтах.
http://www.babkee.ru - поиск упоминаний фраз
https://gpg4usb.org/ - программа для безопасного общения посредством шифра.
http://www.оквэд-2.рф/ - коды ОКВЭД 2019 с расшифровкой (ОКВЭД 2)
http://zakupki.gov.ru - гос.закупки.
Поиск по ИНН
Поиск по ОГРН
Поиск по ОКПО
Поиск по телефону
Поиск по наименованию
Поиск по руководителю
Поиск по адресу
Список по регионам (ОКАТО)
Список по отраслям (ОКВЭД)
http://www.compromat.ru – старейший и до сих пор наиболее адекватный источник компрометирующей информации.
https://www.rospres.org/ – модерируемый ресурс компромата. Содержит достаточно качественные материалы, однако, грешит политической ангажированностью.
https://rucompromat.com/ – действует как новостная лента-агрегатор компрометирующей информации.
https://www.novayagazeta.ru/inquiries – отдел расследований “Новой газеты”.
http://stringer-news.com/ – одby из старейших ресурсов компромата с руководителем-женщиной.
http://scandaly.ru/- независимый ресурс экономических и политических событий и историй.
https://fbk.info/ – куда же без него.
https://linkurio.us/ - французская софтверная компания, которая предоставляет анализ социальных сетей, прежде всего, посредством визуализации графиков .
https://dnsdumpster.com/ - DNS Dumpster — это инструмент для поиска информации о домене и хосте.
https://pentest-tools.com/ - поиск поддоменов (и еще всякая хрень за прайс)
https://seezislab.com/ru/ - анализ ютуб-канала.
https://vidiq.com/ - подобный аналог (потому что на ингрише)
https://text.ru/antiplagiat - удобный антиплагиат с поиском текста на сайтах.
http://www.babkee.ru - поиск упоминаний фраз
https://gpg4usb.org/ - программа для безопасного общения посредством шифра.
http://www.оквэд-2.рф/ - коды ОКВЭД 2019 с расшифровкой (ОКВЭД 2)
http://zakupki.gov.ru - гос.закупки.
https://www.soroptimistinternational.org/
Один психиатр президент этой корпорации в России
Один психиатр президент этой корпорации в России
можете чё-нибудь нарыть по этой организации?
А что надо?
В России эта корпорация находится рядом с дуркой прям, лол. Я говорю, это всё рептилоиды ебаные
Она, кстати, в Великобритании часто бывает.
https://www.gismeteo.ru/ - погода в России.
https://mirror.bullshit.agency/ - можно пробивать объявы на авито по номеру телефона.
https://declarator.org/ - декларации чиновников.
https://zniis.ru/bdpn/check - Узнать оператора подвижной связи по номеру телефона
https://www.spiderfoot.net/ - сервис (приложение) для автоматизации OSINT по многим направлениям: IP, DNS, почтовые ящики, базы ИБ. Поддерживается получение данных из более чем 50 источников. Доступна функциональность визуализации результатов.
https://ivre.rocks/ - фреймворк для разведки сетей, включает два модуля: один для пассивной (основанной на p0f или основанной на Bro) и второй для активной разведки (основывается на Nmap/ZMap). Возможен как запуск сканирования с клиентских/серверных машин, там и импорт готовых данных. (только для линукс)
https://osintframework.com/ - целый пак годноты по OSINT.
https://start(точка)me/p/wMdQMQ/tools - еще один.
https://docs.google.com/spreadsheets/d/18U1qcaPaqIF8ERVLI-g5Or3gUbv0qP_-JUtc0pbEs0E/htmlview# - еще.
https://webrecorder.io/ - создание веб-архивов страниц.
https://mirror.bullshit.agency/ - можно пробивать объявы на авито по номеру телефона.
https://declarator.org/ - декларации чиновников.
https://zniis.ru/bdpn/check - Узнать оператора подвижной связи по номеру телефона
https://www.spiderfoot.net/ - сервис (приложение) для автоматизации OSINT по многим направлениям: IP, DNS, почтовые ящики, базы ИБ. Поддерживается получение данных из более чем 50 источников. Доступна функциональность визуализации результатов.
https://ivre.rocks/ - фреймворк для разведки сетей, включает два модуля: один для пассивной (основанной на p0f или основанной на Bro) и второй для активной разведки (основывается на Nmap/ZMap). Возможен как запуск сканирования с клиентских/серверных машин, там и импорт готовых данных. (только для линукс)
https://osintframework.com/ - целый пак годноты по OSINT.
https://start(точка)me/p/wMdQMQ/tools - еще один.
https://docs.google.com/spreadsheets/d/18U1qcaPaqIF8ERVLI-g5Or3gUbv0qP_-JUtc0pbEs0E/htmlview# - еще.
https://webrecorder.io/ - создание веб-архивов страниц.
Bump
Литература:
Плэтт В., "Информационная работа стратегической разведки. Основные принципы".
Шерман Кент "Стратегическая Разведка для Американской Внешней Политики".
Хилсмэн Р. "Стратегическая разведка и политические решения".
...знаю всяких русских бурьяков-дорониных, но доверия не вызывают.
По сетевому анализу данных:
yEd Graph Editor - инструмент для визуализации графов.
Ну и конечно, ватман, кнопки, нитки, карандаш.
...
"о программах и сервисах, которые он использует для OSINT (Open-source intelligence, анализ данных из открытых источников). Может быть, после публикации такой статьи Джестер надеется, что у него появятся последователи.
Maltego. Инструментарий используется для анализа связей между людьми в социальных сетях Twitter и Facebook, группами, веб-сайтами, доменами, сетями, частями интернет-инфраструктуры и т.д.
Программа Creepy работает под Windows и Linux и предназначена для анализа геолокационных данных о пользователи на основе информации из социальных сетей, в том числе Twitter и Flickr. Составленные кластеры дают возможность предположить координаты места жительства и места работы пользователя.
Spokeo — агрегатор, который анализирует информацию из множества источников, в том числе телефонных справочников, социальных сетей, фотоальбомов, маркетинговых опросов, данных государственной переписи населения и т.д. Собираются демографические данные, социальные профили, проводится оценка финансового состояния и владения недвижимостью.
CaseFile — младший брат Maltego. Программа предназначена для анализа данных, которые собираются в офлайне, а не из открытых источников. Такими инструментами пользуются следователи и частные детективы.
Аналитические инструменты Recorded Future помогают выявить тенденции в больших массивах неструктурированной информации, извлекая необходимые факты из интернета. С помощью проприетарных алгоритмов этот сервис составляет графики с визуализацией трендов в прошлом, настоящем и экстраполяцией на будущее."
Прога для метапоиска в Интернете: SiteSputnik. Нормально работает бесплатная версия, покупать незачем.