Ready to supercharge your AI agents?

Install any skill in seconds. Free to start, no credit card required.

Обработка больших CSV с JSON и строками по частям · ecnu-icalk | DecimalAI

databy ecnu-icalk

Обработка больших CSV с JSON и строками по частям

ecnu-icalk/Обработка больших CSV с JSON и строками по частям

Source ecnu-icalk/autoskill ↗License Not recorded

Навык для чтения больших CSV-файлов чанками (без загрузки всей памяти), распаковки JSON или сложных строковых форматов (например, лизинг) в отдельные колонки и объединения результатов с указанными исходными полями.

SkillScore95Maintained

Automatic

Data Engineer pack

Last verified 8/17/2026

What it changes

Passed 21 of 22 test cases with the skill, and 19 of 22 without it.

Without skill86%

With skill95%

Checks it passed that the model alone missed

The code uses reset_index(drop=True) when concatenating the chunk DataFrames.
The code creates new columns dynamically corresponding to extracted parameter keys.

2 fixed19 passed either way1 still failing0 broke

Pass-rate lift: +9 pp
Tokens: +20%
Agent turns: 0%
Response time: -16%

Model gemini-3.6-flashMeasured 8/17/2026v121 of 22 cases passed with skill

Tokens, turns and time describe resource use, not a dollar price.

Use this skill

Save it into your project's skills folder. Claude Code picks it up in its next session.

curl -fsSL --create-dirs -o .claude/skills/ecnu-icalk-csv-json-61e15d/SKILL.md https://app.decimal.ai/s/ecnu-icalk-csv-json/SKILL.md

Want it pinned and updatable? pip install "decimalai>=0.15", then decimalai skills add ecnu-icalk-csv-json, and start Claude Code with claude --plugin-dir "$(git rev-parse --show-toplevel)/.agents"

1 · One-time — install the CLI (docs ↗)

pip install "decimalai>=0.15"

2 · Get the skill — writes .agents/skills/ecnu-icalk-csv-json-61e15d/ and pins it in .decimal/skills.lock

decimalai skills add ecnu-icalk-csv-json

No CLI? Get the same file — curl · raw file

curl -fsSL --create-dirs -o .claude/skills/ecnu-icalk-csv-json-61e15d/SKILL.md https://app.decimal.ai/s/ecnu-icalk-csv-json/SKILL.md

Raw file: /s/ecnu-icalk-csv-json/SKILL.md ↗ · machine-readable summary at /s/ecnu-icalk-csv-json.json ↗

Safety checks: 3 of 3 passed

Code scan CleanIntent PassedContent Clean

See it in action

One of 2 test cases the skill fixed. Same model, same prompt, with and without the skill.

1 of 2

Prompt

When combining chunk DataFrames produced by iterating over `pd.read_csv(..., chunksize=10000)` using `pd.concat(chunk_list)`, duplicate index errors occur. How should `pd.concat` be called?

What was checked, without and with the skill
Checked	Without skill	With skill
The code uses reset_index(drop=True) when concatenating the chunk DataFrames.	Missed	Passed

case-12 · gemini-3.6-flash · 8/17/2026 · answers are capped and redacted

What's inside

The instructions your model reads when the skill loads.

SKILL.md34 linessingle file

Обработка больших CSV с JSON и строками по частям

Prompt

Role & Objective

Ты — эксперт по Python и Pandas. Твоя задача — писать код для обработки больших CSV-файлов, которые вызывают переполнение памяти при обычной загрузке. Тебе нужно реализовать чтение файла по частям (чанками), распаковку данных из строковых колонок (JSON или специфические форматы) и формирование итогового набора данных с сохранением нужных исходных полей.

Communication & Style Preferences

Писать код на Python с использованием библиотек pandas и json (или re для регулярных выражений). Объяснять логику работы с чанками.

Operational Rules & Constraints

Чанкование данных: Использовать pd.read_csv(file_path, chunksize=N) для итеративной обработки файла. Не загружать весь файл в память сразу.
Сохранение колонок: В итоговом DataFrame должны остаться только указанные пользователем исходные колонки (например, 'curr_debt', 'debt_active_loans', 'inn_new') и распакованные параметры.
Удаление исходников: Исходная колонка, содержащая JSON или строку для распаковки, в итоговый файл не попадает.
Распаковка JSON: Использовать json.loads и pd.json_normalize для преобразования JSON-строк в плоские колонки.
Распаковка кастомных строк: Для нестандартных форматов (например, строк лизинга вида [R=WZ_PL{S=...,T=...}/]) использовать регулярные выражения (re) для извлечения пар ключ-значение.
Трансформация данных: Если требуется разбить данные по параметру (например, создать колонки для каждого уникального значения T), извлекать уникальные значения ключа и создавать новые колонки динамически.
Обработка NULL: Корректно обрабатывать значения 'NULL' или пустые строки, возвращая пустые словари или пропуски (None).
Индексация: При объединении (pd.concat) использовать reset_index(drop=True), чтобы избежать ошибок с индексами.

Anti-Patterns

Не использовать Dask, если пользователь не запросил его явно.
Не пытаться применить json_normalize ко всему DataFrame сразу без чанков, если файл большой.
Не оставлять в финальном DataFrame промежуточные служебные колонки.

Triggers

распаковать json по частям
большой csv файл
обработать по частям pandas
разбить строку на колонки по параметрам
вылетает браузер при обработке csv

Track record

Benchmark

21 / 22

test cases passed, vs 19 / 22 without

Adoption

Users: 0
Times used: 0

Safety and source details

SkillSafety

✓ 3 of 3 passed

Code scan15 of 15 checks clean

0 critical · 0 warning · 0 info — scanner v4 — 8/3/2026

View 15 scanner checks

live_secretremote_code_executionreverse_shelldata_exfiltrationssrf_metadataagent_snoopinganti_refusaldestructive_commandsobfuscated_unicodeunicode_homoglyphopaque_blobsuspicious_urltool_overreachtrigger_abuseprompt_injection_phrasing

IntentSafe

LLM judge · does the skill do what it claims

ContentClean

LLM judge · policy & harmful-content review

Source

Imported

ecnu-icalk / autoskill

SkillBank/ConvSkill/Russian/%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0-%D0%B1%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D1%85-csv-%D1%81-json-%D0%B8-%D1%81%D1%82%D1%80%D0%BE%D0%BA%D0%B0%D0%BC%D0%B8-%D0%BF%D0%BE-%D1%87%D0%B0%D1%81%D1%82%D1%8F%D0%BC/SKILL.md

View on GitHub ↗

Imported 8/3/2026Version v1

More skills from the same source and nearby in the registry, with their headline benchmark lift.

Ready to supercharge your AI agents?

See it in action

What's inside

Обработка больших CSV с JSON и строками по частям

Prompt

Role & Objective

Communication & Style Preferences

Operational Rules & Constraints

Anti-Patterns

Triggers

Track record

Benchmark

Adoption

SkillSafety

Source

Related skills