Пайплайн

Весь путь данных: отзывы → извлечение сигналов (LLM) → векторы → классификация по потребностям (LLM). Обслуживание каталога — объединение дублей и выделение новых тем из «Прочего».

Воронка

Токены LLM по стадиям

Учёт расходов и лимиты — на стороне OpenRouter.

Журнал каталога

Сбор отзывов

Лог: еженедельный запуск weekly_202608.log

[ru.ozon.fintech.finance] page 1: +100 (5 new), total fetched 100, oldest 2026-07-17
[ru.ozon.fintech.finance] page 2: +100 (0 new), total fetched 200, oldest 2026-06-26
[ru.ozon.fintech.finance] done: caught_up, 6606 reviews in db
  retry 1/2 in 1s: HTTP Error 400: Bad Request
  retry 2/2 in 2s: HTTP Error 400: Bad Request
[logo.com.mbanking] app: ПСБ
[logo.com.mbanking] page 1: +100 (23 new), total fetched 100, oldest 2026-08-05
[logo.com.mbanking] page 2: +100 (1 new), total fetched 200, oldest 2026-07-30
[logo.com.mbanking] page 3: +100 (0 new), total fetched 300, oldest 2026-07-24
[logo.com.mbanking] done: caught_up, 14627 reviews in db
extract v1 (deepseek/deepseek-v4-flash-0731): 167 reviews to do, 17 batches of 10, 12 workers
[17/17] signals=143 empty=52 failed=0 cost=$0.01 eta=0m
done: 17 ok, 0 failed batches; 143 signals, 52 empty; in=22366 out=23631 cost=$0.01
embed Qwen/Qwen3-Embedding-4B field=jtbd: 143 signals to do
Traceback (most recent call last):
  File "<frozen runpy>", line 203, in _run_module_as_main
  File "<frozen runpy>", line 88, in _run_code
  File "/app/pipeline/embed.py", line 77, in <module>
    main()
    ~~~~^^
  File "/app/pipeline/embed.py", line 58, in main
    vecs = embed_texts([r["text"] for r in chunk])
  File "/app/pipeline/embed_client.py", line 51, in embed_texts
    raise EmbedError(f"{url}: {last_err}")
pipeline.embed_client.EmbedError: http://127.0.0.1:8378: transport: URLError(ConnectionRefusedError(111, 'Connection refused'))

Лог: ручные запуски manual_202608.log

[75/332] hit=36 pool=567 failed=0 eta=1m
[100/332] hit=43 pool=760 failed=0 eta=1m
[125/332] hit=57 pool=946 failed=0 eta=1m
[150/332] hit=66 pool=1137 failed=0 eta=1m
[175/332] hit=78 pool=1325 failed=0 eta=1m
[200/332] hit=88 pool=1515 failed=0 eta=1m
[225/332] hit=111 pool=1692 failed=0 eta=1m
[250/332] hit=118 pool=1885 failed=0 eta=0m
[275/332] hit=138 pool=2065 failed=0 eta=0m
  ! id 77067: need 35 вне кандидатов, в пул
[300/332] hit=167 pool=2236 failed=0 eta=0m
[325/332] hit=216 pool=2381 failed=0 eta=0m
[332/332] hit=232 pool=2421 failed=0 eta=0m
done: 232 назначено, 2421 в пул, 0 батчей упало; in=1986264 out=46107
birth: пул 2901, комков >= 15: 1
  ~ комок 877 > cap 150: расщепление без суда (cos>=0.80, под-комков 2)
  ~ комок 354 > cap 150: расщепление без суда (cos>=0.85, под-комков 1)
  ~ комок 247 > cap 150: расщепление без суда (cos>=0.85, под-комков 1)
  ~ комок 286 > cap 150: расщепление без суда (cos>=0.90, под-комков 1)
  ~ комок 208 > cap 150: расщепление без суда (cos>=0.90, под-комков 1)
  ~ комок 220 > cap 150 на потолке cos>=0.90: не судится, остаётся в пуле
  ~ комок 173 > cap 150 на потолке cos>=0.90: не судится, остаётся в пуле
rescue: 2421/2901 строк пула вернутся в classify (cos>=0.6)
done: групп склеено 0, нужд рождено 0, спасено из пула 2421
=== process done 2026-08-08T17:17:05.493224