[severagent007]

Могу на примере объяснить один из возможных вариантов происходящего »

если можно...Efir,

Могу на примере объяснить один из возможных вариантов происходящего, если кому-то интересно »

интересно. И нужно. А то в теме одно и тоже - удалить фп... уменьшить... переместить фп на компьютер врагу... сделать фп размером 1мб ... и т.д

[Valeant]

severagent007, ... Фотошоперы, например не мучают своп...

они только создают свой временный файл с которым работают.

[Efir]

Автор последнего диалога задавался вопросом, что такое доступная(available) память. Без технических подробностей, которые довольно таки сложны, память(озу), с точки зрения ее содержимого делится, на занятую, кэшированную, свободную и недоступную.

Занятая - это физически резидентное подмножество страниц, принадлежащее программному обеспечению. То бишь эта память выделена, ПО с ней работает, данные находятся в озу, а не в подкачке либо MMF файле.

Кэшированная память – это память, которая хранит недавно использованный программами контент, файлы например, либо файлы загруженные в озу суперфетчем. Память не является выделенной, но если программе понадобилось содержимое файла, который кэширован, операционной системе не придется осуществлять долгую операцию чтения с диска, ей всего лишь понадобится поправить пару структур и эта память вновь станет занятой и принадлежать программе. Есть детали, о них в другой раз.

Свободная память – это память, которая ни кому не передана и не содержит какого-либо полезного содержимого, либо обнулена.

Доступная память эта сумма памяти свободной + памяти кэшированной. Когда очередной программе нужна чистая память, операционная система выделяет ей эту память из свободной, то есть обнуленной. Если по какой-то причине обнуленной памяти не хватает, либо уже исчерпана, операционная система чистит кэшированную память и выделяет ее приложению.

Недоступная – эта та память, адреса для которой, заняты для адресации оборудования, либо сбойная память.

Немного теор. информации. С точки зрения выделения памяти, она может быть невыделенная, зарезервированная(reserve) и переданная(commited). Слово переданная идет из выражения передача физического хранилища. Системных хранилищ два, - озу и страничный файл(pagefile.sys). Объем этих 2-х хранилищ составляет счетчик Commit Limit. Счетчик Current Commit показывает текущее значение использования этих 2-х хранилищ данными, которые больше нигде разместить нельзя, это важно. Счетчики представляют системный комит(System Commit), то есть передача системных хранилищ. Существует и третий тип хранилища, проецируемые в память файлы(MMF). ММF файлом может выступать любой файл на диске, используемый ПО через механизм MMF. Подробнее о нем можно почитать википедию. Суть его заключается в том, что доступ к файлу осуществляется как к памяти. На некоторый непрерывный участок виртуального адресного пространства программы проецируется любой файл или часть и когда программа начинает читать\писать эту память, файл или часть не загружается целиком, а прозрачно для программы загружаются в озу только те страницы файла или части, к которым был доступ. Теперь самое сложноусваиваимое)). MMF файлы не входят в счетчик System Commit Limit, т.к. их может быть условно бесконечное множество. Те данные, которые сейчас загружены в озу как MMF, не входят в Current System Commit, так как сам файл является хранилищем. В случае, если память под данные, которые были загружены в озу из файла, как MMF, придется освободить операционной системе для кого то, то эти данные будут скинуты снова в этот файл, либо просто память будет отобрана и обнулена, если данные не изменялись(только чтение) и вновь будут прочитаны из файла при повторном доступе.
Поскольку содержимое MMF может быть и полностью загружено в озу, а commit такой памяти на системный commit не влияет, то можно исчерпать всю озу, при этом Current Commit может быть, например, в 2 раза меньше лимита и часто вводит людей в ступор. Но в этом ничего такого нет, т.к. всю ту исчерпанную озу можно скинуть опять в MMF хранилища, тем самым освободив для других нужд.

Пока писал этот пост, выяснилось, что в принципе нельзя точно сказать утечка у пользователя Villy2011 или нет, а также выснилось, что изложить этот сложнейший материал просто не получается)), да еще и простым языком.
Во вложении к посту есть программа testmem, с исходными кодами на си. Ее написал когда-то братуха, когда изучали memory management в венде. Она осуществляет несколько типов выделений памяти, объем которых можно указать в МБайтах. Исполняемых файлов 2, - 64-х разрядный для того, чтобы выделения памяти не были ограничены виртуальным адресным пространством и 32-х разрядный, чтобы показать как из-за нехватки виртуальных адресов может происходить утечка памяти, о которой была речь выше и которая может привести к ситуации как у Villy2011. Помимо testmem нужен будет еще Process Explorer и VmMap, а также установленный фиксированный размер страничного файла, чтобы система не увеличивала страничный файл, тем самым отодвигая Commit Limit.

Делаем 4 теста.

1. Смотрим как растет Current System Commit при этом доступная(available) память остается прежней.
2. Смотрим как растет Current System Commit при этом доступная(available) память уменьшается.
3. Смотрим как уменьшается доступная(available) память при этом Current System Commit остается прежним.
4. Смотрим как данные по памяти testmem в программах, включяя VmMap, никак не меняются, хотя Current System Commit растет. Утечка.

Тест 1. Запускаем 64-х разрядный testmem, выбираем commit shared memory(pagefile), в поле объем вводим 1000Мб, жмем ок несколько раз и наблюдаем рост Current System Commit до того момента пока система не напишет нехватка памяти. Последний блок в зависимости от текущего выделения на вашей системе может быть не кратен 1000Мб, поэтому введите остаток.

Тест2. Запускаем 64-х разрядный testmem, выбираем commit and touch memory, в поле объем вводим 1000Мб, жмем ок и наблюдаем рост Current System Commit и уменьшение доступной памяти(рост Physical Memory)

Тест3. Запускаем любой testmem, выбираем commit shared memory(mapped file), в поле объем вводим 1000Мб, жмем один раз ок и наблюдаем уменьшение доступной памяти(рост Physical Memory) при неизменном Current System Commit.

Тест4. Запускаем 32-х разрядный testmem, выбираем commit shared memory(pagefile), потом запускаем VmMap и видим данные по памяти testmem. Нажимаем один раз ок, наблюдаем рост Current System Commit на этот объем, после чего обновляем VmMap и видим как появилось 1000МБ в поле Shereable. Снова нажимаем ок, снова наблюдаем рост Current System Commit на этот объем, после чего обновляем VmMap и видим что другого блока из 1000Мб не появилось. Можно нажать еще раз пока не дойдете до Commit Limit, но памяти так в программе и не появится. Это и есть утечка. Ловить такую очень сложно, точнее долго.

Что делает каждый из этих кусков кода по выделению памяти подробней расскажу в другой как-нить раз)

[Psih-ya]

т.к. всю ту исчерпанную озу можно скинуть опять в MMF хранилища, тем самым освободив для других нужд. »

Вот только если файлы в памяти изменялись, их надо будет скинуть на диск. Так как винда при недостатке ещё будет пытаться свопится, то конкурентный доступ к диску может вызвать неилюзорное подвисание винды.
Отсутствие свопа может помочь тем, что не будет конкурентного доступа при освобождении памяти на диск, когда память кончится. Хотя при этом память кончится быстрее.
Я правильно рассуждаю?

[Efir]

Вот только если файлы в памяти изменялись, их надо будет скинуть на диск »

да, содержимое нужно переписать в файл, вопрос лишь в том, сколько этих модифицированных данных. Немодифицированных данных гораздо больше, соответственно это первый кандидат на вылет. Когда я писал процитированный вами текст, я говорил о том, что Current Commit может быть далек от Commit Limit при том, что озу занята полностью, часть из которых занимают проецируемые в память файлы подразумевая типичную ситуацию, когда данные на чтение превалируют над модифицированными. Если все же предположить что все те данные загруженные в память как MMF модифицированы, нужно разбирать конкретную ситуацию, выделение памяти это еще не значит ее реальное использование, операционная система подсовывает рам лишь тогда, когда к ней реально был доступ, тобишь передача физического хранилища, это по факту лишь его резервация, но не обладание. В программе testmem, в прикрепленном выше посту, есть два выделения, - commit и commit and touch, которые как раз и демонстрируют то, о чем говорил в предыдущем предложении. Если все же добавить к ситуации с модифицированным данными и запрос на загрузку данных с подкачки, то да, система деградирует.

Отсутствие свопа может помочь тем, что не будет конкурентного доступа при освобождении памяти на диск, когда память кончится. Хотя при этом память кончится быстрее. Я правильно рассуждаю? »

Отсутствие подкачки в контексте вашего вопроса ничем не поможет, т.к. деградация системы не приведет к потере данных, а отсутствие страничного файла может вызвать крах. Во многом эффективное использование памяти зависит от приложений и создать ситуацию нехватки ресурсов несложно, вопрос лишь в той самой эффективности или недостаче аппаратных ресурсов.

[Psih-ya]

т.к. деградация системы не приведет к потере данных, »

Ну да, я не писал, что система рухнет. Просто будет висеть, пока не расчистит память.

а отсутствие страничного файла вызовет крах »

Это если память не удастся расчистить.
В моём варианте её будет достаточно, если сбросить файлы MMF на диск. При этом если будет подкачка, то она скорее будет мешать сбрасывать MMF на диск, и система виснуть будет дольше.

[Игорь Лейко]

это память, которая ни кем не выделена »

Слово "выделена" (commit) в данном контексте использовать некорректно, этот термин используется для другого процесса и другой характеристики (см. значения "выделено" в диспетчере задач).

Отсутствие свопа может помочь тем, что не будет конкурентного доступа при освобождении памяти на диск, когда память кончится. »

Нет, скорее всего, подкачка будет протекать интенсивнее, увеличивая нагрузку на диск.

[Efir]

Слово "выделена" (commit) в данном контексте использовать некорректно, этот термин используется для другого процесса и другой характеристики (см. значения "выделено" в диспетчере задач). »

для какого процесса и характеристики? не совсем понял. Если память находится во Free списках, она ни кем не выделена, какой нужно для этого термин использовать?

При этом если будет подкачка, то она скорее будет мешать сбрасывать MMF на диск, и система виснуть будет дольше »

вы говорите о крайней ситуации нехватки ресурсов, да и условия, при которых это случится, крайне маловероятны, поэтому ваше беспокойство о том, что наличие страничного файла помешает сбрасывать другое содержимое, выглядит надуманным. Хотя несомненно вам решать для себя важность тех или иных вопросов))

[Psih-ya]

Нет, скорее всего, подкачка будет протекать интенсивнее, увеличивая нагрузку на диск. »

При отключённой подкачке она будет более интенсивна? Вы точно поняли, что я написал?

вы говорите о крайней ситуации нехватки ресурсов, да и условия, при которых это случится, крайне маловероятны, »

Ну да.

[Efir]

Вот только если файлы в памяти изменялись, их надо будет скинуть на диск. Так как винда при недостатке ещё будет пытаться свопится, то конкурентный доступ к диску может вызвать неилюзорное подвисание винды »

кстати в качестве эксперимента, откройте на своем компике RamMap и посмотрите на вкладку Use Counts. Сколько у вас кешированных модифицированных MMF данных на текущий момент и сколько немодифицированных.