Chirak

Store review triage (BG) v2 + own tickets

completed GPU worker offline

Sort customer reviews of a Bulgarian online store by what the shop should do with them: thank the customer, fix a problem, look at both, or consider an idea.

Pipeline

  1. ✓ Eval set generated and frozen
  2. ✓ Baseline evaluation (base model)
  3. ✓ Training data, iteration 1
  4. ✓ Human review of samples
  5. ✓ LoRA training, iteration 1
  6. ✓ Evaluation, iteration 1
  7. ✓ Failure analysis and stop rules, iteration 1
  8. ✓ Serve best adapter

Baseline vs iterations

ModelAccuracyMacro-F1 JSON validityExact match
Baseline (base model) 90.2% 90.3% 100.0% 90.2%
Iteration 1 served 97.7% 97.7% 100.0% 97.7%

Target: macro-f1 at least 95%. Stopped: target met (0.977 >= 0.950).

Own tickets

533 of the shop's own tickets, masked and frozen as a separate slice. They came with labels made by people: the dataset authors Georgieva-Trifonova, Stefanova and Kalchev (Harvard Dataverse, doi:10.7910/DVN/TXIK9P, CC BY 4.0): the 182 test reviews of the MTEB release plus the 351 reviews of the check half of its train split. Neither the judge nor Chirak changed them. The tickets themselves are private to the run owner.

Training included 348 own tickets of run Store review triage (BG) v2.

ModelAccuracyMacro-F1 category
Base model 73.7% 61.4% 73.7%
Served adapter (iteration 1) 82.6% 69.9% 82.6%

Accuracy is on the primary field; the field columns are the accuracy of each field on its own.

Training loss

Leakage guard and frozen eval set

Eval items
215 (200 synthetic + 15 seed)
Frozen at
2026-10-15 10:34:04 UTC
Blind label check
15 of 276 eval candidates dropped because the generator, labelling the text blind with the student's prompt, disagreed with the target label. The kept items are the unambiguous ones, so this eval is cleaner and easier than an unfiltered one.
Eval SHA-256
77abc3cabb1c3ec342873a92cff95bbcd83b05371cccc58ee4f11e531913372d
Train setCandidatesDropped as near-copies of evalDrop rateDropped by label check
Iteration 1 1367 19 1.4% 73

Per-class results, baseline vs iteration 1

ClassSupport Base PBase RBase F1 PRF1F1 vs base
compliment 54 100% 91% 95% 100% 100% 100% +4.8 pts
complaint 54 88% 93% 90% 96% 98% 97% +7.2 pts
mixed 54 98% 80% 88% 98% 94% 96% +8.5 pts
suggestion 53 80% 98% 88% 96% 98% 97% +9.1 pts

Confusion matrix (Iteration 1, rows = expected, columns = predicted)

compliment complaint mixed suggestion __invalid_...
compliment 54 0 0 0 0
complaint 0 53 1 0 0
mixed 0 1 51 2 0
suggestion 0 1 0 52 0
__invalid__ 0 0 0 0 0

Decisions log

After iteration 1 Stop rules: stop, target met (0.977 >= 0.950)

The model was not consulted: the stop rules ended the loop.

Dataset preview, 10 eval items and 10 training items (iteration 1)

Eval (frozen, used for all numbers above)

  • Втора поръчка от този магазин. Винаги са коректни. Този път имаше малка задръжка в доставката, но ме информираха навреме. Батерията на телефона е издръжлива. Благодаря за бързия отговор на имейла.

    {"category":"compliment"} synthetic

  • Хубав избор от книги. Платих онлайн и пристигнаха на следващия ден. Цените са адекватни. Единственият минус е че няма опция за плащане с касов апарат в офисите им, но за интернет магазин е отлично. Ще се възползвам пак.

    {"category":"compliment"} synthetic

  • Всичко супер. Поръчах слушалки вчера и днес вече ги имах. Опаковката е здрава и няма никакви повреди. Бързи сте, така че ще поръчвам пак.

    {"category":"compliment"} synthetic

  • Продуктите са качествени и пакетирането е много добро, нищо не се е счупило по пътя. За съжаление, фактурата дойде с 3 дни закъснение и беше с грешен ЕИК на фирмата ми, което ми създаде главоболие за счетоводството. Дано да не се повтори.

    {"category":"mixed"} synthetic

  • Доволен съм от качеството на стоките. Бих предпочел да имате и опция за доставка до офис на Еконт до 19:00, а не само до 17:00, за да е по-удобно за работащи хора.

    {"category":"suggestion"} synthetic

  • Доставката беше бърза, но ми трябва повече информация за гаранцията на сайта. Ако пишете изрично колко трае и как се осъществява, ще е по-ясно.

    {"category":"suggestion"} synthetic

  • Доставката беше бърза, дойде на следващия ден. Но ми се обадиха за по-късна дата без да ме уведомят предварително. Обслужването беше коректно, но липсата на комуникация е проблем.

    {"category":"mixed"} synthetic

  • Магазина е ок, поръчката дойде бързо. Но би било супер да имате по-детайлни описания на размерите, защото винаги се сбърквам с дрехите. Останалото е наред.

    {"category":"suggestion"} synthetic

  • Обслужването беше коректно, но ми се струва че складът не се обновява в реално време. Поръчах стока, която изглеждаше налична, а после ми казаха че я нямат. Моля, актуализирайте наличностите по-често.

    {"category":"suggestion"} synthetic

  • На сайта пише, че има наличност на този модел монитор, но когато стигна до касата, се оказва че цената е с 200 лева по-висока от тази на страницата. Какво е това? Скрита такса? Не поръчах нищо, но това е измама. Ще пазарувам от другаде.

    {"category":"complaint"} synthetic

Training (synthetic)

  • Асортиментът от книги е богат, а цените са честни. Единственото, което ми пречи, липсата на възможност за четене на откъси преди покупка. Ако добавите PDF превю или поне по-задължителни рецензии от други потребители, бих закупил повече заглавия. В момента е трудно да се ориентираш без да разбереш дали книгата ще ти подхожда.

    {"category":"suggestion"} synthetic

  • За пръв път поръчах от тук и останах приятно изненадан. Исках да благодаря на екипа за бързата реакция. Поръчката ми с безжичните слушалки Xiaomi Redmi AirDots 2 стигна за два дни, пакетирана много грижливо, нито една кутия не е деформирана. Единственият малък минус е, че цената за доставка е малко по-висока от други конкуренти, но за качеството на обслужването и скоростта е напълно разбираемо и справедливо. Ще се обръщам отново с удоволствие.

    {"category":"compliment"} synthetic

  • Забързана поръчка за подарък – кожен тиксо от марка Gucci. Защо ли? Защото го получи на следващия ден! Опаковката беше луксозна и много подходяща за подарък. Целта е постигната и съм много доволна от процеса. Нямам забележки.

    {"category":"compliment"} synthetic

  • Никога повече няма да поръчвам от тук. Поръчах си телефон, но дойде напълно различен модел. Обадих се в службата им, а операторката ми каза, че е грешка на склада и да чакам размената. След 5 дни нищо не е станало. Толкова безотговорност!

    {"category":"complaint"} synthetic

  • Най-сетне намерих мястото, където продават оригинални части за старите ми колхи. Поръчах си заден бреч за 1985-а година. Цената беше честна, а доставката до Варна отне само два работни дни. Пакетът беше тегък, но здрава. Частта съвпадна перфектно с описанието. Няма как да се оплакаш от качеството. Бих искал само да имаха повече информация за съвместимостта, но екипът ми помогна по чата. Благодаря за услугата!

    {"category":"compliment"} synthetic

  • Купих си телефон от сайта. Когато го отворих, екранът беше пукнат. Оказа се, че ми са изпратили повреден стока. Обадих се за връщане, но оттам ми отговарят с думички и не ми дават връзка за куриер. Толкова ми е гадно от тяхното обслужване, че нямам търпение да оставя негативен коментар навсякъде. Струва ми се, че не заслужават доверието на клиентите.

    {"category":"complaint"} synthetic

  • Моят опит с този онлайн магазин е изцяло позитивен. Поръчах професионална видео камера за събитията, които снимам. Качеството на изображението е супер, а самото устройство е леко и удобно. Поръчката беше обработена същия ден. Екипът за поддръжка отговори бързо на моя въпрос за гарантията. Цените са честни и няма скрити такси. Сигурен съм, че ще поръчвам от тук и в бъдеще.

    {"category":"compliment"} synthetic

  • Поръчах нова чифт зимни ботуши за момичето ми. Бяха точно като на снимките и доставката до София отне само два дни. Единственият минус е, че опаковката беше малко разбита, но вътре продуктите бяха перфектни. Препоръчвам ги за всеки, който търси бързи доставки.

    {"category":"compliment"} synthetic

  • За поръчка от 80 лв. добавиха си 9.90 за доставка, което не беше явизирвано в кошницата до последния стъп. Когато оплаках това, подкрепата ми отговори с готов текст, че „цените включват данък и логистика“. Това е скрит такса. Не се възползвам от промокода, който пишеше за безплатна доставка над 50 лв. Смятам това за измама с дребни суми.

    {"category":"complaint"} synthetic

  • За пореден път бях доволен от асортимента на електроника. Цените са конкурентни, а поддръжката е мила. Моето предложение е да разглеждате въведението на по-различни начини за плащане, като например директно в браншови магазини на части, за да улесните клиентите, които предпочитат такъв вид сума.

    {"category":"suggestion"} synthetic

Adapters

Iteration 1 served Download adapter.tar.gz