GitHub-тағы құпия деректерді анықтау жүйесі: Дәлірек табу, қате дабылдарды азайту

Әзірлеушілер тапқан деректердің шынайылығына сенімді болған кезде ғана құпия мәліметтерді сканерлеу

Әзірлеушілер тапқан деректердің шынайылығына сенімді болған кезде ғана құпия мәліметтерді сканерлеу (secret scanning) тиімді жұмыс істейді. Егер жүйе тым аз нәрсе тапса, шынайы парольдер мен кілттер репозиторийде қалып қоюы мүмкін. Ал керісінше, қате дабылдар тым көп болса, әзірлеушілер шын мәнінде құпия емес жолдарды тексеруге уақыт жоғалтады. Әсіресе жалпыға ортақ (generic) құпия мәліметтерді анықтау осы тепе-теңдікті сақтауды қиындатады. Өйткені бірдей жол нақты пароль де, құжаттамадағы жай ғана мысал да болуы мүмкін, сондықтан оны ажырату үшін айналасындағы код пен мәтінді түсіну қажет.

Осы мәселені шешу үшін GitHub өз өнімінің қажеттіліктеріне арнайы арналған классификатор дайындады. Ол нақты кредеришалдарды (қолжетімділік кілттерін) ұқсас басқа жолдардан ажырата алады және ауқымды сканерлеудің жылдамдық пен тиімділік талаптарына сай келеді.

Ескі LLM конвейерінен несімен артық?

Бұрынғы үлкен тілдік модельдерге (LLM) негізделген тәсілмен салыстырғанда, жаңа жүйе төмендегідей көрсеткіштерге қол жеткізді:


+11.5% жоғары қабылдану көрсеткіші (репозиторий иелерінің бағалауы бойынша ескертулердің дәлдігі артты).



86% жылдам сканерлеу уақыты (пост-пуш сканерлеу кезіндегі орташа орындалу уақыты күрт қысқарды).



98% төмен жұмыс істеу құны (қашықтағы LLM сұрауларына қарағанда ықшам модельді қолдану әлдеқайда арзанға түседі).


Құпия деректерді анықтау неліктен қиын?

Құрылымдалған кілттердің өзіне тән префиксі, ұзындығы немесе бақылау сомасы (checksum) болады. Ал жалпылама құпия мәліметтердің бәрі бірдей бұл талапқа сай келе бермейді. Олардың синтаксисі жиі құрылыс идентификаторларына, хэштерге немесе мысал мәндерге ұқсап кетеді. Сондықтан басты шешуші фактор – мәнмәтін (context).

Мысалы, базаның URL мекенжайының жанында тұрған пароль нақты қауіп тудыруы мүмкін, ал сынақ файлдарындағы немесе нұсқаулықтардағы соған ұқсас мәндер қауіпсіз болып табылады. Тек ережелерге (regex) ғана сүйену бұл жағдайда шатасуға әкеледі, ал арнайы үйретілген классификатор файл жолын, айнымалы атауларын және жақын маңдағы кодты ескере отырып дұрыс шешім шығарады.

Жаңа екі кезеңді жүйе қалай жұмыс істейді?


Кандидаттарды генерациялау (Broad first): Регулярлы өрнектер (Regex) барлық файлдарды шолып, әлеуетті құпия мәліметтерге ұқсайтын барлық жолдарды жылдам теріп алады.



Мәнмәтінді ескеретін классификатор (Careful second): Арнайы бапталған ModernBERT моделі әрбір кандидатты және оның айналасындағы кодты талдайды. Ол нақты құпия сөз бен жалған нұсқаларды (мысалдарды, құжаттама үзінділерін, жасанды идентификаторларды) бір-бірінен ажыратады.


Бұл модель кішігірім әрі тиімді болғандықтан, оны инфрақұрылымда іске қосу оңай және ол үлкен тілдік модельдер сияқты көп ресурс пен уақыт талап етпейді.

Қорытынды және болашақ жоспарлар

Ең жақсы қауіпсіздік құралы – әзірлеушілер сенетін және қолданатын құрал. Дәлдіктің жоғары болуы мамандардың көзін алатын қате дабылдарды азайтады, ал жылдамдық кодты тексеруді ыңғайлы етеді. Алдағы уақытта команда өнімділікті тағы да арттыру үшін үздіксіз жетілдіру циклдерін құруды және жаңа модель архитектураларын зерттеуді жоспарлап отыр.


Дереккөз: https://github.blog/ai-and-ml/githubs-model-for-secret-detection-finding-more-secrets-with-less-noise/