Koddo
начать бесплатно
проект · Python

Поисковый движок «Искра»

  • Python
  • Средний
  • 5 модулей
  • 25 задач
  • 5 задач бесплатно

Соберёшь поиск по текстам: от обработки слов до сортировки результатов по релевантности. Добавишь поиск фраз и подсветку совпадений.

Для старта: Знаешь функции, списки и словари Python; алгоритмы поиска разберёшь по ходу

начать бесплатно посмотреть программу

После регистрации откроется программа этого пути.

результаты практики

что освоишь на практике

Автор программы:
  • Токенизация, нормализация и стемминг текста
  • Инвертированный индекс: булевы, частотные и позиционные постинги
  • Фразовый поиск и булева семантика must / should / must_not
подробнее о пути и навыках

что получится

Полноценный поисковый движок «Искра» на чистом Python — без сторонних библиотек. Ты пройдёшь путь от сырого текста до работающего search(): напишешь конвейер обработки текста, построишь инвертированный индекс, реализуешь парсер запросов с фразовым поиском и исключениями, добавишь TF-IDF-ранжирование и сниппеты с подсветкой совпадений. В финале — готовый движок, который умеет принимать живую строку запроса и возвращать отранжированные результаты с пагинацией.

Для кого

Ты знаешь базовый Python — функции, словари, списки — и хочешь собрать настоящую систему, а не решать оторванные задачи. Опыт с поиском или алгоритмами не нужен: всё разбираем с нуля, шаг за шагом.

что ещё отработаешь

  • TF-IDF и пофилдовое ранжирование с бустами
  • Пагинация и сниппеты с подсветкой совпадений
  • Подсказки при опечатках на основе расстояния Левенштейна
  • Декомпозиция большой системы на маленькие, изолированно тестируемые функции
программа

программа пути — 5 модулей, 25 задач

Каждый модуль добавляет часть проекта. В финале ты объединишь их в рабочее решение.

1.1
Токенизатор текста
Разбейте сырой текст статьи на нормализованные токены — первый модуль поискового движка «Искра»
1.2
Фильтр стоп-слов
Очистите поток токенов от стоп-слов и односимвольного шума, сохранив порядок и дубликаты
1.3
Лёгкий стеммер
Срежьте с терма самое длинное подходящее окончание, не разрушив основу слова
1.4
Конвейер обработки текста
Соберите токенизатор, фильтр и стеммер в единый конвейер — общий контракт для индексации и запросов
1.5
Очистка корпуса документов
Отделите валидные статьи от мусора в грязном экспорте вики и составьте отчёт об отбраковке
2.1
Булевы постинги
Постройте первый настоящий индекс «Искры»: терм → отсортированный список документов, в которых он встречается
2.2
Частотные постинги
Подсчитайте, сколько раз каждый терм встречается в каждом документе, — сырьё для TF-IDF-ранжирования «Искры»
2.3
Позиционный индекс
Сохраните позиции каждого вхождения терма в документах — без них фразовый поиск «Искры» невозможен
2.4
Слияние шардов индекса
Склейте частотные постинги от параллельных индексаторов в единый индекс, отдавая приоритет более свежим данным
2.5
Статистика индекса
Снимите сводку с готового индекса: число документов, размер словаря, средняя длина документа и документная частота термов
3.1
Пересечение постингов
Найдите документы, содержащие все термы запроса сразу, — операция AND поверх инвертированного индекса «Искры»
3.2
Булев запрос
Реализуйте семантику must / should / must_not поверх булевых постингов — ядро булева поиска «Искры»
3.3
Фразовый поиск
Найдите документы, где термы запроса стоят на подряд идущих позициях, — позиционный индекс превращается в поиск точных фраз
3.4
Парсер поискового запроса
Разберите живую строку запроса на термы, фразы в кавычках и исключения с минусом — тем же конвейером, что обрабатывал документы
3.5
Исполнение запроса
Соедините термы, фразы и исключения разобранного запроса в готовую выдачу — финальный модуль движка запросов «Искры»
4.1
Вес редкости терма (IDF)
Превратите частоту документов в вес редкости терма: сглаженный IDF — первый кирпич ранжирования «Искры»
4.2
TF-IDF скор документа
Оцените релевантность документа запросу: частота терма, помноженная на вес редкости, — сердце ранжирования «Искры»
4.3
Ранжирование выдачи
Превратите скоры в порядок: детерминированная сортировка кандидатов с tie-break по doc_id — финальная выдача «Искры»
4.4
Поля с разным весом
Совпадение в заголовке дороже совпадения в тексте: пофилдовый TF-IDF с бустами и общим df — продовый скорер «Искры»
4.5
Пагинация выдачи
Нарежьте отранжированную выдачу на страницы с метаданными навигации и строгой валидацией page и per_page
5.1
Сниппет результата
Выберите окно документа, где слова запроса стоят плотнее всего, — фрагмент, который пользователь увидит в выдаче «Искры»
5.2
Подсветка совпадений
Оберните совпавшие слова сниппета в маркеры [[...]] — фронтенд «Искры» превратит их в подсветку
5.3
Похожие термы
Определите, отличаются ли два терма не больше чем на одну правку, — фундамент подсказок при опечатках
5.4
Подсказка «возможно, вы имели в виду»
Подберите до трёх исправлений опечатки по словарю движка: сначала самые частые в корпусе, при равенстве — по алфавиту
5.5
Сборка движка: search() сборка проекта
Капстоун пути: соберите конвейер, индекс, AND-отбор, TF-IDF, сортировку и пагинацию в одну функцию search() — публичную точку входа «Искры»
доступ к полной программе Платные модули этого пути входят в Premium. Условия подписки можно посмотреть на странице тарифов. от 490 ₽ / мес
первый шаг в этом пути

начни с задачи «Токенизатор текста»

После регистрации откроется путь «Поисковый движок «Искра»». Выбери модуль «Текстовый пайплайн»: редактор и проверка доступны на странице задачи.

5 задач бесплатно

начать бесплатно

После регистрации откроется программа этого пути.

другие пути на этом языке
куда дальше

Другие пути

Все пути