- Home
- Plugins
- Tools & Capabilities
- ru-corpus (dsh-ru-corpus)
ru-corpus (dsh-ru-corpus)
ru-data-analysis/ru-corpus/packages/dsh-ru-corpus
Search and number checking over a local Russian-language document corpus (PDF, scans via OCR, Excel, Word, wide landscape PDF tables): seven corpus_* tools for search, page text, table cells, document card, number check, column totals and exact calculation; needs the ru-corpus-kit Python package.
Install
dsh plugin --profile web add github:ru-data-analysis/ru-corpusThis plugin lives in the packages/dsh-ru-corpus subdirectory of the repository.
README
ru-corpus
Что это
Русский поиск и проверяемая аналитика по корпусу документов — массиву данных и информации (PDF, сканы, таблицы, архивы), по которому работает ИИ-агент. Каждая цифра приходит с документом и страницей, а там, где ответа нет, агент честно говорит «в корпусе нет». Всё работает локально: индекс лежит рядом с документами.
Состав
packages/ru-corpus-kit— ядро на Python: индексация и командаru-corpus(init, index, status, search, page, table, doc, number, aggregate, calc); поиск BM25 по леммам, OCR сканов, таблицы с графами и годами;packages/dsh-ru-corpus— плагин DeepSeek Harness (DSH): методика в системном промте и семь инструментовcorpus_*поверхru-corpus;skills/russian-corpus-searchиskills/corpus-analytics-ru— навыкиSKILL.md: русский поиск и методика проверяемой аналитики; отраслевой справочник по раскрытию информации сетевых организаций —skills/corpus-analytics-ru/references/tso-disclosure.md;plugins/claude-ru-corpus— плагин Claude Code с копиями навыков (обновляются скриптомscripts/sync_claude_plugin.py);.claude-plugin/marketplace.json— маркетплейс;demo— демо-корпус из 15 официальных актов и 6 контрольных вопросов.
Быстрый старт
Нужен Python 3.10+. Для сканов — tesseract с языком rus, для текста PDF — pdftotext из poppler
(brew install poppler tesseract tesseract-lang или apt install poppler-utils tesseract-ocr tesseract-ocr-rus).
pip install "ru-corpus-kit[tables,ocr]"
ru-corpus init --root ./документы --prefix "корпус/" # создаёт corpus.toml
ru-corpus index # индекс: текст, OCR, леммы, таблицы
ru-corpus search "выручка за 2024 год" # доказательства: файл, страница, фрагмент
ru-corpus number d0001 1 "1 234 567,89" # стоит ли число дословно на странице
Пакеты опубликованы: ru-corpus-kit на PyPI, dsh-ru-corpus на npm. Без extras
ставится только ядро. Об [tables] и [ocr]: это pdfplumber, pypdfium2 и Pillow, все под пермиссивными лицензиями.
Подключение к агенту
DeepSeek Harness:
dsh plugin --profile web add dsh-ru-corpus
Claude Code:
/plugin marketplace add ru-data-analysis/ru-corpus
/plugin install ru-corpus@ru-corpus
Навыки SKILL.md для любого агента (skills.sh):
npx skills add ru-data-analysis/ru-corpus
Инструменты и навыки вызывают команду ru-corpus, поэтому ядро нужно установить в любом случае. Они работают
в папке сессии, в которой или выше которой лежит corpus.toml. Настройки плагина DSH и проверка без DSH —
в packages/dsh-ru-corpus/README.md.
Демо-корпус и проверка
demo/ — 15 официальных актов органов власти по электроэнергетике и тарифам (не объекты авторского права,
п. 6 ст. 1259 ГК РФ; источники и SHA-256 — в demo/corpus/MANIFEST.csv) плюс вымышленный синтетический набор,
который создаёт генератор. К корпусу приложены 5 вопросов с проверенными ответами и одна ловушка («в корпусе нет»).
pip install -e "packages/ru-corpus-kit[tables,ocr,test]"
python3 demo/make_synthetic.py # синтетика
cd demo && ru-corpus index && python3 check_questions.py # ожидается: 6/6 вопросов прошли
Прочие проверки: python3 scripts/scrub_check.py (вычистка), python3 scripts/sync_claude_plugin.py --check
(копии навыков), pytest packages/ru-corpus-kit/tests, node packages/dsh-ru-corpus/test/mock-host.mjs.
Ограничения
- Лицензии зависимостей. Все Python-зависимости (включая extras) — под пермиссивными лицензиями (MIT, BSD, Apache-2.0); AGPL-компонентов нет. Копилефт (GPL) только у внешней программы poppler, которая вызывается как отдельный процесс и не входит в дистрибутив. Подробности — в THIRD_PARTY_LICENSES.md.
- OCR — tesseract: на плохих сканах и рукописных вставках числа искажаются, поэтому каждое число проверяется
командой
ru-corpus number. - Отказ «в корпусе нет» зависит от лексического пересечения вопроса с корпусом: широкая формулировка с общими
словами может получить ложное «есть доказательства» (зафиксировано в
demo/README.md). - В комплекте один отраслевой профиль —
tso_disclosure(раскрытие информации сетевых организаций); для другой отрасли нужен свой профиль ([profile]вcorpus.toml). - Плагин DSH рассчитан на
@deepseek-ai/dsh-tools >=0.2.0-rc.2 <0.3.0; публикации в npm и PyPI пока нет.
Лицензия
Apache-2.0 (см. LICENSE, NOTICE); лицензии зависимостей — в THIRD_PARTY_LICENSES.md.
Сделано с помощью Claude (Anthropic).
Внедрение и поддержка
Помощь с внедрением, настройкой профилей под вашу отрасль и поддержкой — через issues репозитория.
Related plugins
archify (deepseek-harness)
tt-a1i/archify
WeKnora (dsh-weknora)
tencent/weknora
next-ai-draw-io (dsh-plugin)
dayuanjiang/next-ai-draw-io
weknora
tencent/weknora