更多Python學(xué)習(xí)內(nèi)容：ipengtao.com

Python是一種高級編程語言，以其易讀性和強(qiáng)大的功能而廣受歡迎。然而，由于其動(dòng)態(tài)類型和自動(dòng)內(nèi)存管理，Python在處理大量數(shù)據(jù)或高性能計(jì)算時(shí)，內(nèi)存使用效率可能不如一些低級語言。本文將介紹幾種Python內(nèi)存優(yōu)化的技巧，并提供相應(yīng)的示例代碼，幫助在開發(fā)中更高效地管理內(nèi)存。

了解內(nèi)存使用情況

在優(yōu)化內(nèi)存使用之前，首先需要了解程序的內(nèi)存使用情況。sys模塊和psutil庫可以監(jiān)控內(nèi)存使用。

使用sys模塊

sys.getsizeof可以獲取對象的內(nèi)存大小。

import?sysa?=?[1,?2,?3,?4,?5]
print(sys.getsizeof(a))??#?輸出列表對象的內(nèi)存大小
print(sys.getsizeof(a)?+?sum(sys.getsizeof(i)?for?i?in?a))??#?輸出列表及其元素的總內(nèi)存大小

使用psutil庫

psutil是一個(gè)跨平臺的庫，用于獲取系統(tǒng)和進(jìn)程的運(yùn)行信息。

import?psutil#?獲取當(dāng)前進(jìn)程的內(nèi)存使用情況
process?=?psutil.Process()
print(process.memory_info().rss)??#?輸出當(dāng)前進(jìn)程的內(nèi)存使用量

使用生成器減少內(nèi)存使用

生成器是Python中的一種迭代器，通過yield關(guān)鍵字實(shí)現(xiàn)。與列表不同，生成器不一次性將所有元素加載到內(nèi)存，而是按需生成元素，適用于處理大數(shù)據(jù)集。

示例：使用生成器讀取大文件

def?read_large_file(file_path):with?open(file_path)?as?file:for?line?in?file:yield?line#?使用生成器讀取文件
for?line?in?read_large_file("large_file.txt"):print(line)

避免不必要的對象復(fù)制

在Python中，對象的賦值操作實(shí)際上是引用傳遞，而不是創(chuàng)建新對象。因此，避免不必要的對象復(fù)制可以節(jié)省內(nèi)存。

示例：避免列表復(fù)制

#?不推薦：復(fù)制列表
a?=?[1,?2,?3,?4,?5]
b?=?a[:]#?推薦：引用列表
b?=?a

使用內(nèi)存視圖（memoryview）

memoryview是一個(gè)內(nèi)置函數(shù)，可以在不復(fù)制對象的情況下操作大數(shù)據(jù)對象的切片。它適用于處理大規(guī)模的字節(jié)數(shù)據(jù)，如二進(jìn)制文件或圖像處理。

示例：使用memoryview操作字節(jié)數(shù)組

data?=?bytearray(b"hello?world")
mview?=?memoryview(data)#?修改原始數(shù)據(jù)
mview[0]?=?ord('H')
print(data)??#?輸出：bytearray(b'Hello world')

使用數(shù)組和NumPy進(jìn)行高效計(jì)算

Python的內(nèi)置列表結(jié)構(gòu)雖然靈活，但在處理大規(guī)模數(shù)值計(jì)算時(shí)效率不高。使用array模塊或NumPy庫可以顯著提高內(nèi)存和計(jì)算效率。

示例：使用array模塊

import?array#?創(chuàng)建整數(shù)數(shù)組
arr?=?array.array('i',?[1,?2,?3,?4,?5])
print(arr)

示例：使用NumPy數(shù)組

import?numpy?as?np#?創(chuàng)建NumPy數(shù)組
arr?=?np.array([1,?2,?3,?4,?5])
print(arr)

使用__slots__減少內(nèi)存使用

在類定義中使用__slots__可以顯式聲明類的屬性，避免為每個(gè)實(shí)例創(chuàng)建__dict__，從而減少內(nèi)存使用。

示例：使用__slots__定義類

class?MyClass:__slots__?=?['name',?'age']def?__init__(self,?name,?age):self.name?=?nameself.age?=?ageobj?=?MyClass('Alice',?30)
print(obj.name,?obj.age)

內(nèi)存管理與垃圾回收

Python使用垃圾回收機(jī)制自動(dòng)管理內(nèi)存，但手動(dòng)干預(yù)可以幫助優(yōu)化內(nèi)存使用。gc模塊提供了接口來控制垃圾回收。

示例：手動(dòng)觸發(fā)垃圾回收

import?gc#?觸發(fā)垃圾回收
gc.collect()

使用緩存優(yōu)化性能

使用緩存可以避免重復(fù)計(jì)算，優(yōu)化內(nèi)存和性能。Python的functools.lru_cache裝飾器可以方便地實(shí)現(xiàn)函數(shù)級別的緩存。

示例：使用lru_cache實(shí)現(xiàn)緩存

from?functools?import?lru_cache@lru_cache(maxsize=128)
def?compute(x):return?x?*?xprint(compute(4))??#?輸出：16
print(compute(4))??#?輸出：16（使用緩存）

內(nèi)存優(yōu)化工具

使用memory_profiler分析內(nèi)存使用

memory_profiler是一個(gè)Python庫，可以通過簡單的裝飾器分析函數(shù)的內(nèi)存使用情況。

安裝memory_profiler

pip?install?memory_profiler

示例：使用memory_profiler分析內(nèi)存

from?memory_profiler?import?profile@profile
def?my_func():a?=?[1]?*?(10?**?6)b?=?[2]?*?(2?*?10?**?7)del?breturn?aif?__name__?==?'__main__':my_func()

運(yùn)行代碼，將輸出每行代碼的內(nèi)存使用情況。

使用tracemalloc追蹤內(nèi)存分配

tracemalloc模塊用于追蹤Python程序的內(nèi)存分配，幫助發(fā)現(xiàn)內(nèi)存泄漏和優(yōu)化內(nèi)存使用。

示例：使用tracemalloc追蹤內(nèi)存分配

import?tracemalloc#?啟動(dòng)內(nèi)存分配追蹤
tracemalloc.start()def?my_func():a?=?[1]?*?(10?**?6)b?=?[2]?*?(2?*?10?**?7)del?breturn?amy_func()#?獲取內(nèi)存分配情況
snapshot?=?tracemalloc.take_snapshot()
top_stats?=?snapshot.statistics('lineno')print("[?Top?10?]")
for?stat?in?top_stats[:10]:print(stat)

總結(jié)

本文詳細(xì)介紹了Python內(nèi)存優(yōu)化的多種技巧，包括使用生成器減少內(nèi)存使用、避免不必要的對象復(fù)制、使用內(nèi)存視圖、數(shù)組和NumPy進(jìn)行高效計(jì)算、使用__slots__減少內(nèi)存使用、手動(dòng)管理垃圾回收、使用緩存優(yōu)化性能，以及使用內(nèi)存優(yōu)化工具分析內(nèi)存使用情況。通過具體的示例代碼，展示了這些方法在不同應(yīng)用場景中的實(shí)際應(yīng)用。掌握這些技巧，可以在開發(fā)過程中更高效地管理內(nèi)存，提高程序的性能和穩(wěn)定性。

如果你覺得文章還不錯(cuò)，請大家 點(diǎn)贊、分享、留言 下，因?yàn)檫@將是我持續(xù)輸出更多優(yōu)質(zhì)文章的最強(qiáng)動(dòng)力！

---

如果想要系統(tǒng)學(xué)習(xí)Python、Python問題咨詢，或者考慮做一些工作以外的副業(yè)，都可以掃描二維碼添加微信，圍觀朋友圈一起交流學(xué)習(xí)。

我們還為大家準(zhǔn)備了Python資料和副業(yè)項(xiàng)目合集，感興趣的小伙伴快來找我領(lǐng)取一起交流學(xué)習(xí)哦！

往期推薦

歷時(shí)一個(gè)月整理的 Python 爬蟲學(xué)習(xí)手冊全集PDF（免費(fèi)開放下載）

Python基礎(chǔ)學(xué)習(xí)常見的100個(gè)問題.pdf（附答案）

學(xué)習(xí) 數(shù)據(jù)結(jié)構(gòu)與算法，這是我見過最友好的教程！(PDF免費(fèi)下載)

Python辦公自動(dòng)化完全指南(免費(fèi)PDF)

Python Web 開發(fā)常見的100個(gè)問題.PDF

肝了一周，整理了Python 從0到1學(xué)習(xí)路線（附思維導(dǎo)圖和PDF下載）