что такое расширенный поиск яндекса
Как правильно организовать поиск в Интернете
Проблема поиска во Всемирной паутине не в том, что информации мало, а в том, что ее много. Поиск информации в Интернете — краеугольный камень эффективной работы в Сети. Владение навыками поиска делает Интернет для пользователя полезным как во время работы, так и во время отдыха.
Для организации поиска в Интернете существуют специализированные службы, называемые поисковыми системами.
Поисковые системы.
Принципы работы поисковых систем
Правила построения поисковых запросов
Cлова для запроса поисковому серверу
Есть выражение «Машина должна работать, человек — думать», и сказано оно как раз о такой ситуации. Задача пользователя при составлении поискового запроса — выделить ключевые слова, задача поискового сервера — наилучшим образом обработать введенный запрос. Рассмотрим пример, иллюстрирующий типичные ошибки начинающих пользователей при поиске в Интернете. На запрос «Загадки о музыкальных инструментах» поисковик не выдал полезных результатов. Тогда пользователь решает исправить запрос, дополнив его и написав: «Загадки для детей о музыкальных инструментах» — результаты поиска оказались еще хуже предыдущего. Для данного примера неплохим решением явился поиск по ключевому слову «загадки». В Интернете много таких сайтов, а зайдя на сам сайт и немного поискав по его разделам, вполне можно найти интересующую информацию. Сформулируем несколько правил составления запросов:
Расширенный поиск
Страница расширенного поиска «Яндекса»
Язык запросов
Язык запросов — система команд, позволяющая изменять параметры запроса из основной строки поиска с помощью специальных команд. Ориентирован на опытных пользователей.
Поскольку язык запросов достаточно сложен и объемен, приведем лишь основные его конструкции, которые могут быть наиболее востребованы пользователями. Некоторые команды языка запросов «Яндекса» представлены в таблице.
Поиск документов, в которых обязательно присутствует выделенное слово.
Допустимо использовать несколько операторов + в одном запросе.
Будут найдены документы, в которых обязательно содержатся слова «бульвар» и «Москва» и может присутствовать слово «шолохов».
Поиск документов, содержащих слова запроса в заданной последовательности и форме.
Будут найдены документы, содержащие данную цитату.
Поиск по цитате с пропущенным словом (словами).
Один оператор * соответствует одному пропущенному слову.
Внимание! Используется только в составе оператора «.
Оператор отделяется пробелами.
Будут найдены документы, содержащие данную цитату, включая пропущенное слово.
Будут найдены документы, содержащие данную цитату, включая пропущенные слова.
Расширенный поиск Яндекса (и Гугла) с помощью установленного скрипта или в интерфейсе
Такой скрипт, когда-то бывший без спадающих списков, давно работал на страницах Гугла, и, судя по количеству скачиваний, приобрёл популярность среди англоязычных пользователей (есть выбор 5 языков интерфейса). Однажды подумалось, что его несложно будет перенести на Яндекс, и на выходных за пару дней адаптация и перекраска под цвета Яндекса была сделана, и теперь он представляется «целевой аудитории» — людям из IT, которым иногда приходится много искать и которым привычно устанавливать дополнительные скрипты и ходить по гитхабам.
Кроме утилитарной пользы, скрипт может быть интересен как полигон для отработки интерфейсных решений. Связка 2-3 скриптов в перспективе может начать работать как мета-поисковик, всё для этого уже есть, кроме последних штрихов — поставить связующие кнопки, портировать на mаilru и другие поисковики.
Сейчас же — рассмотрим, какие особенности Яндекса добавились в ранее существовавшее решение для Гугл.
Первое и единственное ограничение у Яндекса, которое бросается в глаза — это отсутствие поиска за последние часы. Скорее всего, у Яндекса ещё нет такой функциональности, вопрос на toster.ru ответа не принёс, но сейчас, может быть, что-то напишут разработчики из Яндекса в комментариях.
В остальном — режим специальных настроек настолько хорошо пересекается, что позволил сделать похожим не только интерфейс, но и хранение параметров настроек. Это — поиск по сайту (домену) и поиск за последний интервал времени (более дня).
Подробности хранения настроек — решение с внешним localStorage
Ранее для Гугла аналогичное расширение приобрело сохранение настроек поиска. Просто потому что список своих доменов или язык интерфейса иногда желательно менять, а изменения прямо в скрипте — мало, что привычно лишь программистам-фронтендщикам, ещё и при довольно частых обновлениях нет возможности сохранить код части исправленного пользователем скрипта от общего обновления. Если появляются хранимые (в localStorage) настройки, то вопрос снимается.
Но тут у Гугла обнаружилась привычка стирать локальную память! С этим сталкивались ранее и пользователи Фейсбука, и для решения этой проблемы была статья на Хабре и скрипт по другому поводу (букмарклет закладок с прокруткой скролла окна). Здесь — аналогично, требовалось бежать с домена Гугла куда-нибудь на другой домен, куда скрипты-чистильщики не дотянутся. Организовано общение с тихой скромной страницей на github.io, где всё надёжно хранилось, почти как в банке. (Ссылка эта пригодится после установки скрипта, чтобы увидеть, куда настройки сохранились.)
Для Яндекса это вылилось в то, что хранение его настроек тоже было сделано на том же домене (github.io). Это немедленно привело к тому, что 2 разных скрипта, разных домена и разные поисковики приобрели общие настройки. Нет, их крайне несложно разделить, но зачем? Список любимых сайтов для поиска, язык интерфейса, и впоследствии — хранение последних интервалов дат — всё это стало появляться одинаково как в Гугле, так и в Яндексе, при условии пользования одним и тем же браузером.
Именно этот механизм сейчас даёт возможность очень просто сделать метапоиск — добавить в сохраняемые настройки поле для команд — просто команду «искать» или «искать с настройками», или «искать в выбранных поисковиках»). В дальнейшем, можно пофантазировать, что появится и синхронное управление картами, и просмотр в разделах, например, новостей, картинок. Согласитесь, удобно ведь ходить по карте в одном окне, а в соседнем — иметь синхронную копию в картах Гугл, чтобы переключаться на то окно, где более полная информация. И выдача картинок будет заметно разная и дополняющая.
Справочник вариантов расширенного поиска в Яндексе и Гугле
Этот список, возможно, дополнят специалисты-пользователи и разработчики компаний (дополню по комментариям или ЛС).
Все способы и виды сведены в список в целях организации небольшого справочника.
Многое в интерфейсе юзерскрипта не реализовано. Что реализовано — указано.
В Яндексе:
Есть ряд других более специфических параметров, язык запросов (например, минус-слова и упомянутые кавычки), которые не будем рассматривать, но часть их могут оказаться в интерфейсе юзерскрипта расширенного поиска. Кроме того, у Яндекса есть ряд типов страниц (картинки, видео, новости, Маркет, и т.д.), где запросы могут иметь особенности (например, есть поиск по изображениям, поиск географического места на карте). Скрипт же сейчас покрывает основное поле — текстовый поиск.
В разделе Яндекс-новостей расширенный поиск идёт по другим именам параметров, и скрипт на данном этапе в этом разделе не выполняется. У Гугла же в разделе новостей действуют те же правила построения запросов, скрипт для Гугла работает во всех его основных разделах.
В Гугле:
Другие параметры — у Гугла есть ряд других параметров для текстового поиска и язык запросов, подробное рассмотрение которых выходит за рамки цели статьи, но они могут оказаться в будущем в интерфейсе юзерскрипта.
По теме организации метапоиска по обычным запросам
(Дальше пойдут планы и фантазии, интересные разработчикам интерфейсов.)
В самом простом виде метапоиск — это просмотр результатов в 2 соседних окнах одного браузера. Дополнительно можно поисключать одинаковые ответы из второго окна. Если задаться целью получить выдачу в одно окно, нужно решать, в каком месте списка внедрять элементы списка из второго окна. Скорее всего, удобно внедрять на примерно ту же позицию, которую занимал элемент во 2-м окне. И, конечно, указывать, от какого поисковика пришли ответы, чтобы у пользователя накапливалась в памяти статистика, по каким запросам от какого поисковика он получил себе полезный ответ.
Замечание по политике поисковиков. Делать метапоиск в одном окне технически невозможно, потому что современные крупные поисковики строго следят, чтобы запрос выполнялся не в фрейме, чтобы ответ приходил в настоящую страницу, а не в XMLHTTP-объект. Это связано с доходами от сопутствующей рекламы, составляющих ныне основной хлеб любого поисковика. Для пользователя, наоборот, важен результат и максимум — тот движок, который его даёт.
Метапоиск на скриптах — это вероятность близкого будущего. Для реализации — коды скриптов имеются на Гитхабе (Yandex, Google), приветствуются новые решения.
UPD: Кто поможет сделать белорусскую, казахскую и турецкую локализации?
HackWare.ru
Этичный хакинг и тестирование на проникновение, информационная безопасность
Продвинутый поиск в Яндекс
Оглавление
Особенности поиска в Яндекс
Предыдущая статья была посвящена тонкостям поиска в Google. Поисковая система Яндекс тоже имеет расширенные возможности поиска и продвинутые операторы. У Яндекс очень хороший охват русскоязычных сайтов, поэтому если целевой сайт на русском языке, то на этапе сбора информации имеет смысл воспользоваться также и Яндексом.
Синтаксис запросов в Яндекс отличается от Google: операторы называются по-другому и логика их работы отличается, аналоги каких-то гугловских операторов отсутствуют вовсе, а какие-то, напротив, являются уникальными только для Яндекса.
Пожалуй, главным отличием поиска Яндекса является свой собственный индекс, с огромным охватом сайтов на русском языке. А также свои собственные алгоритмы определения релевантности (насколько страница соответствует поисковому запросу) и ранжирования (как высоко в результатах поисковой выдачи должна находиться страница).
И хотя операторы поиска в Яндекс работают иначе чем в Google, они довольно гибкие для составления в том числе и сложных запросов по нескольким критериям. Я покажу несколько примеров Яндекс-дорков, с помощью которых можно найти пароли и другую очень интересную для пентестера информацию.
Итак, давайте познакомимся с продвинутыми приёмами поиска Яндекс, которые в любом случае пригодятся всем, кто что-то ищет в Интернете (то есть всем) – даже если вы не занимаетесь расследованиями на основе открытых источников.
Язык запросов Яндекс для расширенного поиска
Поиск по одному слову
Яндекс ищет не только по точной форме слова, но и по различным его формам (единственное-множественное число, различные падежи, различные глагольные формы и другое). В справке это не указано, но очевидно, что поиск производится также по синонимам слова
Поиск по фразе
Ищутся страницы, содержащие все слова из фразы. Как и для отдельных слов, поиск выполняется по различным словоформам, синонимам
Найдёт страницы, содержащие фразы «недорогие авиабилеты», «дешёвые авиабилеты», «поиск дешёвых авиабилетов» и другие.
Поиск слова в заданной форме
Если вы не хотите, чтобы при поиске использовались различные формы слова либо его синонимы, то перед этим словом поставьте восклицательный знак (!):
Допустимо использовать несколько операторов ! в рамках одного запроса.
На самом деле, результаты поиска по-прежнему содержат документы с синонимами – возможно, этот оператор работает не всегда или влияют другие факторы.
Важные слова в поисковом запросе
Необычная концепция – будет выполнен поиск документов, в которых обязательно присутствует выделенное знаком плюс (+) слово. Допустимо использовать несколько операторов + в одном запросе.
Т.е. по приведённому поисковому запросу обязательно будут найдены страницы, содержащие слова «доехать» «суварнабхуми» «сукумвит» и, возможно, слово «дёшево».
Поиск по точной цитате
Точно также как в Гугл, вы можете искать страницы, содержащие точную цитату. Для этого поместите её в кавычки.
Будут найдены страницы (документы) которые содержат все слова поискового запроса, именно в той последовательности и в точной форме, как они идут в самом запросе.
Поиск по цитате с пропущенным словом (словами)
Один оператор * соответствует одному пропущенному слову.
Вы можете использовать это только при поиске по точной цитате – т.е. внутри двойных кавычек.
Правда иногда Яндекс издевается:
В общем, я так и не вспомнил, какое там именно слово…
Поисковый запрос с альтернативами
Вы можете выполнить поиск страниц, в которых присутствует любое слово из запроса – это ещё называют логическим ИЛИ. Для этого используется оператор, обозначенный символом труба (|). Операторы отделяется от слов пробелами.
Допустимо использовать несколько операторов | в одном запросе.
Напомню, что в Google можно использовать оператор OR либо также использовать трубу.
Поиск любой из фраз
Вы можете использовать ИЛИ (|) вместе с поиском по точно совпадающим фразам.
В результате будут найдены страницы, содержащие фразу «большой адронный коллайдер», а также страницы с фразой «смешные кошки».
Использование скобок для группировки
По умолчанию, логическое ИЛИ разбивает поисковый запрос на две части – то, что стоит до этого оператора и то, что стоит после него.
привёл бы к тому, что поисковая система стала бы искать страницы с фразой «обучение java» и страницы с фразой «PHP». Но если нам нужно, чтобы были найдены страницы с фразой «обучение java» и страницы с фразой «обучение PHP», то нам нужно использовать скобки для отделения обязательной части от альтернативной.
Поиск документов, в которых отсутствует заданное слово
При поиске по фразе из нескольких слов, вы можете указать те слова, которые не должны встречаться на найденных страницах. Т.е. в результатах поиска будут те документы, на которых есть искомая раза, но без нежелательного слова.
В качестве оператора отрицания используется знак минус (—). Исключается только слово, перед которым стоит оператор. При этом исключаемое слово должно размещаться в конце поискового запроса.
Допустимо использовать несколько операторов минус (—) в одном запросе.
Видимо, минус работает только со словами для поиска, но не работает с операторами, которые будут рассмотрены далее.
Продвинутые операторы
Уточнить поисковый запрос можно с помощью данных, относящихся к служебной информации о страницах. Например, можно ограничить поиск по:
Синтаксис для уточнения поиска по данным параметрам называется «документные операторы».
Документный оператор рекомендуется указывать после текста поискового запроса и отделять от него пробелом. В одном запросе одновременно можно использовать несколько операторов, так же разделяя их пробелом. Например,
При использовании операторов, где в качестве параметра задается имя хоста (url, host и rhost), следует указывать главное зеркало сайта. Например,
Поиск по страницам, размещенным по заданному адресу (URL)
Для поиска по определённому адресу страницы используется оператор url: со следующим синтаксисом:
Регистр букв в адресе не учитывается.
Чтобы найти все документы, адреса которых начинаются с заданного значения, поставьте в конце URL символ *.
URL в запросе следует заключить в кавычки, если он содержит один из следующих символов:
Обратите внимание, что запрос:
Ничего не найдёт! Поскольку поиск будет проводиться именно по домашней странице hackware.ru (а не по всему сайту). Чтобы выполнялся поиск по всему сайту используйте звёздочку:
Параметр url: предназначен в первую очередь для поиска по определённым разделам сайта, например:
Будет выполнен поиск фразы «уязвимость sql инъекция» только по страницам вида hackware.ru/?cat= (категории).
Для поиска по всему целевому хосту используйте один из следующих параметров.
Поиск по всем поддоменам и страницам указанного сайта
Будут найдены документы, содержащие фразу «уязвимость sql инъекция» и размещенные на поддоменах и страницах сайта hackware.ru.
Поиск по страницам, размещенным на данном хосте
Идентичен оператору url: с заданным именем хоста.
Будут найдены документы, содержащие слово «sqli» и размещенные на хосте tools.kali.org (один из поддоменов сайта kali.org).
Другой вариант поиска страниц на определённому субдомене – это использование оператоора rhost:
Идентичен оператору host:, но имя хоста записывается в обратном порядке: сначала домен верхнего уровня, затем домен второго уровня и т. д.
Для поиска по всем поддоменам заданного домена в конце URL поставьте символ *.
Вариант с подстановочным символом:
Пример, вывод всех страниц поддомена tools.kali.org:
Показать все страницы любых субдоменов kali.org, начинающихся на букву a:
Поиск по доменам
Обратите внимание, что домен может быть любого уровня. То есть можно указать домен верхнего уровня, такой как ru, net, org, name, com и т. д. Можно указать домен второго уровня, например, hackware, zalinux, yandex, google и т. д. Также можно указать домен любого другого уровня.
Пример поиска по домену верхнего уровня:
Будет найдена фраза «information security labs» только на сайтах доменной зоны edu.
Поиск по домену других уровней. Этот вариант будет искать любые домены второго и другого уровней с именем hackware на которых встречается слово «уязвимости»:
Будет выполнен поиск по доменом верхнего уровня tools и других уровней с этим же названием:
Поиск по типу файлов
Поиск по документам в заданном типе файла. Поддерживаются следующие типы файлов:
Будут найдены документы в формате doc, содержащие слова «анкета» и «загранпаспорт».
Можно указать сразу несколько расширений для поиска, но обязательно объедините их логическим ИЛИ (|):
Поиск по страницам на заданном языке
Будут найдены документы на английском языке, содержащие слово «passport».
Поиск по дате и диапазону дат
А вот в этом поиск Яндекса точно обогнал Google – у Гугла очень невнятный поиск по датам изменения документа, практически, можно сказать что его нет, т.к. результаты странные.
Вы можете выполнять поиск по страницам с ограничением по дате их последнего изменения.
Варианты поиска по дате
Изменение страницы соответствует указанной дате:
Изменение страницы находится в интервале:
Дата изменения страницы указана частично:
Примечание. Год изменения указывается обязательно. Месяц и день можно заменить символом *.
Примеры, в которых ищется слово «фестиваль» в документах, для которых дата изменения соответствует 10.10.2014:
Дата изменения находится в интервале между 10.10.2014 и 10.11.2014 включительно:
Дата изменения позднее 10.11.2014:
Дата изменения соответствует 2014 году:
Допустим, я хочу узнать, какие страницы сайта hackware.ru изменились в период с 10 июня 2018 года по 10 июля 2018 года:
Я хочу найти любые документы на любом сайте, в которых присутствует точная фраза «алексей милосердов» и которые изменены в период с 5 июля 2018 года по 10 июля 2018 года:
Всего один документ с адресом https://student.knastu.ru/upload/works/__5dDvrTYvFwt9Z5YrqV5PRc0jiZYTcKgZzK.pdf
Кстати, можно посмотреть, какие ещё студенческие работы там есть:
Поиск по заголовку
Вы можете искать по заголовку веб-страниц. Но в Яндекс это реализовано немного необычно – вы можете искать ИЛИ по заголовку ИЛИ по документу, но не одновременно и там и там.
Чтобы выполнить поиск по названию страницы, вы можете воспользоваться формой расширенного поиска: https://yandex.ru/search/advanced. Этот интерфейс расширенного поиска больше не работает, попробуйте альтернативный вариант: https://suip.biz/ru/?act=yandex-search
Либо к адресу страницы с результатами поиска добавьте &zone=title
Возможно имеется специальный оператор, чтобы не нужно было менять URI, но я не нашёл информации об этом. Напрашивается аналогия zone:title, но, на мой взгляд, это не работает.
Если вы об этом что-то знаете – то пишите в комментариях.
Поиск по точной форме слова
Мы уже рассмотрели этот вопрос – если фраза для поиска помещена в кавычки, то на страницах ищется точное соответствие. В противном случае ищутся все формы и синонимы слов.
Если вы хотите искать по точным формам слов, но вам не важен их порядок и слова не обязательно должны составлять одну фразу, то, по идее, каждое слово можно поместить в кавычки. Ещё один вариант – это отредактировать URI. Если там wordforms=all, то выполняется поиск по всем формам, а если wordforms=exact – то ищутся точные совпадения.
Яндекс дорки?
Поиск в Яндекс, безусловно, может оказаться полезным для исследователей на основе открытых источников. В том числе, при поиске утечек.
А как насчёт поиска в Яндекс для хакеров и пентестеров? Хотя язык запросов Яндекса менее гибок, всё равно и через Яндекс можно найти разнообразную чувствительную информацию и файлы, не предназначенные для всеобщего доступа.
Брутфорс поддоменов по одной букве
Мы уже рассматривали как с помощью Гугл перечислеть поддомены. Там же я говорил про плюсы и минусы этого способа. В Яндекс тоже есть такая возможность. Причём, для тех сайтов, которые я попробовал, Яндекс знает больше субдоменов чем Google!
Для этого можно использовать оператор rhost: Напомню, при нём домен/поддомен пишется в обратном порядке, т.е. начиная с домена верхнего уровня, затем домен второго уровня, затем поддомен третьего уровня и так далее.
Самое интересное – используя подстановочный символ * мы можем искать по части поддомена – к слову, Google не воспринимает частично написанные домены вообще.
Допустим, меня интересуют поддомены сайта kali.org. Я делаю запросы вида:
В результате я нашёл несколько новых субдоменов, которые не смог найти с помощью Гугл:
Можно создать скрипт и при правильно написанном алгоритме можно получить весь список субдоменов за несколько десятков запросов либо сотен запросов (в зависимости от выбранного алгоритма) – это может конкурировать с брут-форсом субдоменов по словарю. Самое важное – кроме Яндекса запросы никуда больше не делаются.
Аналогично для offensive-security.com с помощью Яндекса я нашёл субдомены, о которых не знал Гугл:
Поиск папок с открытым листингом
В таких папках может быть что угодно – от публичных файлообменников до личных фото архивов.
Иногда там можно найти файлы со списком паролей:
Причём разных пользователей:
Пробуйте разные названия папок. Например, поиск папки admin листингом файлов:
Поиск папки mail (иногда в них лежат электронные письма):
Вариантов много, посмотрите также примеры для Google.
Поиск админок и страниц аутентификации
Пробуйте свои варианты!
Поиск ключей для подключения по SSH
Заключение
У поисковой системы Яндекс большой охват сайтов на русском, а теперь ещё и на некоторых иностранных языках, особенно на английском.
Зная язык запросов Яндекса можно делать очень точные поисковые запросы, чтобы найти именно то, что вам нужно.
Что касается применения поиска Яндекс при пентестинге, то он хорошо подходит для поиска информации и документов на целевом сайте. Но возможности поиска дорков у Яндекса намного беднее.