Keçasi işga tuşirilgan import skripti ertalab yarim yölda töxtab qolgan, logda esa faqat bitta söz yozilgan: Killed. Yoki onlayn dökonning katta hisobot sahifasi oçilmasdan 500 xato beradi. Bu holatlarning umumiy sababi köpinça bir xil: jarayon öziga ruxsat etilgan operativ xotiradan köproq söragan va tizim uni majburan töxtatgan. Bunday holat ingliz tilida OOM, ya'ni "out of memory" deb ataladi. Uşbu maqolada OOM qanday yuzaga kelişini, uni boşqa xatolardan qanday ajratişni va kodni qanday qilib xotirani tejab işlaydigan qilişni körib çiqamiz.
Ikki xil xotira çegarasi
Hostingda xotira bilan boğliq ikkita alohida çegara bor va ularni çalkaştiriş köp vaqtni yöqotişga olib keladi. Birinçisi - PHP'ning öz sozlamasi bölgan memory_limit. U bitta PHP skript qança xotira işlatişi mumkinligini belgilaydi. Skript bu çegaradan oşsa, PHP özi işni töxtatadi va logga aniq xabar yozadi:
PHP Fatal error: Allowed memory size of 134217728 bytes exhausted
(tried to allocate 20480 bytes) in /var/www/USER/data/www/example.uz/report.php on line 42
Bu xabarda qaysi fayl va qaysi qatorda xotira tugagani körsatilgan, şuning uçun sababni topiş nisbatan oson. 134217728 bayt 128 megabaytga teng, ya'ni skript şu çegaraga yetgan.
Ikkinçi çegara - butun akkauntingiz uçun ajratilgan RAM. U PHP, Python, Node.js va boşqa barça jarayonlaringiz xotirasini birgalikda hisoblaydi. Agar jami xotira şu çegaradan oşsa, operatsion tizim jarayonlardan birini, odatda eng köp xotira olganini, ogohlantirişsiz töxtatadi. Bu holda dastur özi xato yozişga ulgurmaydi: terminalda Killed sözi çiqadi, veb-sahifa esa 500 yoki 503 xato bilan yakunlanadi. Aynan şu holat OOM kill deb ataladi.
OOM belgilarini qanday taniş mumkin
Ba'zi belgilar OOM'ga aniq işora qiladi. Python yoki Node.js skript işlayotgan joyida izsiz töxtab qoladi va çiqiş kodi 137 böladi. Bu kod jarayon taşqaridan SIGKILL signali bilan öldirilganini bildiradi. Uzoq işlaydigan bot yoki ilova vaqti-vaqti bilan öz-özidan qayta işga tuşadi. Sayt odatda yaxşi işlaydi, lekin katta eksport, rasm yuklaş yoki oğir hisobot paytida xato beradi. Hosting panelidagi resurs grafigida esa xotira çiziği aynan şu daqiqalarda yuqori çegaraga tegib turadi.
Quyidagi buyruqlar qaysi jarayon qança xotira olayotganini aniqlaşga yordam beradi:
# Jarayonlaringiz xotira bo'yicha saralangan (RSS, kilobaytda)
ps -u "$USER" -o pid,rss,etime,cmd --sort=-rss | head
# Skript ishlaganda eng ko'p qancha xotira olganini o'lchash
/usr/bin/time -v python3 import_orders.py 2>&1 | grep "Maximum resident"
# Oxirgi buyruq "Killed" bilan tugagan bo'lsa, chiqish kodi 137 bo'ladi
echo $?
ps buyruği jarayonlaringizni xotira hajmi böyiça saralaydi. /usr/bin/time -v esa skript işi davomida eng yuqori xotira iste'molini körsatadi, bu raqamni tarifingizdagi RAM çegarasi bilan soliştiriş mumkin.
Xotira nega tugaydi: odatiy sabablar
Butun ma'lumotni birdaniga yuklaş
Eng köp uçraydigan xato - katta faylni yoki bazadagi butun jadvalni bir marta xotiraga öqiş. Yuz ming qatorli Excel fayl yoki buyurtmalar jadvali xotirada asl hajmidan bir neça barobar köp joy egallaydi, çunki har bir qiymat dastur içida alohida obyektga aylanadi.
Katta rasmlarni qayta işlaş
Telefon kamerasidan olingan rasm diskda bir neça megabayt bölsa ham, ölçamini özgartiriş uçun oçilganda u siqilmagan holda xotiraga yoziladi va önlab megabayt joy oladi. Bir vaqtda bir neçta şunday rasm yuklansa, xotira tez tugaydi.
Juda köp işçi jarayonlar
Python ilovalarini Gunicorn yoki şunga öxşaş serverlar bilan işga tuşirganda har bir işçi (worker) ilovaning töliq nusxasini xotirada saqlaydi. Törtta işçi tört barobar xotira degani. Umumiy hosting yoki kiçik VPS uçun işçilar soni köpinça ortiqça belgilanadi.
Xotira oqişi
Ba'zan dastur işlatib bölgan xotirani böşatmaydi: masalan, har bir sörovda global röyxatga yangi element qöşiladi va u heç qaçon tozalanmaydi. Bunday ilova bir neça soat yaxşi işlaydi, keyin esa sekin-asta xotirani töldirib, OOM bilan töxtaydi.
Misol: Buxorodagi restoran boti
Buxorodagi restoran buyurtmalar uçun Python'da yozilgan Telegram bot işlatardi. Har kuni keçqurun administrator Excel fayldan oylik hisobotni botga yuklar, bot esa uni tahlil qilib bazaga yozardi. Fayl kattalaşgan sari bot har safar şu paytda töxtab qola boşladi, logda esa faqat Killed qolardi. Tekşiruv şuni körsatdiki, fayl töliq xotiraga oçilib, keyin barça qatorlar avval röyxatga yiğilib, söngra bazaga yozilayotgan edi. Kod qatorma-qator işlaydigan qilib özgartirildi:
from openpyxl import load_workbook
# read_only=True faylni to'liq xotiraga yuklamaydi
wb = load_workbook("buyurtmalar.xlsx", read_only=True)
ws = wb.active
for row in ws.iter_rows(min_row=2, values_only=True):
save_order(row) # har bir qatorni darhol bazaga yozish
wb.close()
Şundan keyin skriptning eng yuqori xotira iste'moli keskin kamaydi va bot töxtaşni bas qildi. Muammo kuçliroq tarif bilan emas, ikki qator kodni özgartiriş bilan hal böldi.
Xotirani tejaş usullari
PHP'da katta eksport yoki hisobotlarni bölaklab bajariş eng samarali yöl. Butun jadvalni bir sörovda oliş örniga uni qismlarga bölib işlaş xotira iste'molini barqaror uşlab turadi:
// Hammasini bir marta olish o'rniga 500 tadan bo'lib ishlash
$offset = 0;
do {
$rows = $db->query("SELECT id, name, total FROM orders ORDER BY id LIMIT 500 OFFSET $offset")->fetchAll();
foreach ($rows as $r) { fputcsv($out, $r); }
$offset += 500;
} while (count($rows) === 500);
Python veb-ilovalari uçun işçilar sonini real ehtiyojga moslang va xotira oqişi bölsa, işçilarni ma'lum miqdordagi sörovdan keyin avtomatik yangilab turing:
gunicorn app:app --workers 2 --max-requests 500 --max-requests-jitter 50
Bu sozlama har bir işçini taxminan 500 sörovdan keyin qayta yaratadi va oqib ketgan xotira böşaydi. Bu vaqtinçalik yeçim ekanini unutmang: oqişning asl sababini topiş baribir kerak. Rasmlar uçun esa yuklaş paytida maksimal ölçamni çeklang va ularni navbat bilan, bittadan qayta işlang.
memory_limit qiymatini oşiriş ham ba'zan töğri qadam, masalan WordPress administrator panelida oğir plagin işlayotgan bölsa. Lekin bu faqat PHP çegarasini kötaradi, akkauntning umumiy RAM çegarasini emas. Agar akkaunt çegarasi tugayotgan bölsa, memory_limit'ni oşiriş OOM kill'ni tezlaştirişi ham mumkin.
Qaçon köproq RAM kerak
Agar kod optimallaştirilgan, işçilar soni töğri va oqiş yöq bölsa-yu, ilova baribir çegarada işlasa, demak unga haqiqatan köproq xotira kerak. Doimiy işlaydigan botlar, Node.js yoki Python ilovalar uçun köpinça VPS qulayroq, çunki u yerda xotira faqat sizniki va jarayonlarni özingiz boşqarasiz. sayt.uz kabinetidan hosting tarifini özgartiriş yoki VPS buyurtma qiliş mumkin, resurs grafiklari böyiça savollar bölsa, sayt.uz texnik yordamiga tiket yozing.