1 參考資料

《新版本Lmdeploy量化手冊(cè)與評(píng)測(cè)》

2 項(xiàng)目資料

項(xiàng)目主頁(yè)：【tcexeexe / pdf閱讀小助手】

3 模型運(yùn)行測(cè)試

在InternStudio平臺(tái)中選擇A100 (1/4)的配置，鏡像選擇Cuda11.7-conda，可以選擇已有的開(kāi)發(fā)機(jī)langchain；

3.1 創(chuàng)建工作空間

mkdir /root/pdf_project

1.2 Clone項(xiàng)目

git clone https://gitee.com/tcexeexe/pdf-reading-assistant.git

1.3 ?創(chuàng)建虛擬項(xiàng)目空間并生成軟鏈接

# 迭代創(chuàng)建虛擬項(xiàng)目空間和model目錄
ln -sf /root/pdf_project /home/tcexeexe
# 建立分詞數(shù)據(jù)目錄
mkdir -p /root/pdf_project/data/pdf-reading-assistant/data_base/vector_db/pdf

1.4 激活conda環(huán)境

conda activate InternLM

1.5 安裝PyPDF2庫(kù)

pip install PyPDF2 pypdf tiktoken transformers_stream_generator

1.6 創(chuàng)建model文件夾：用來(lái)存放工具模型

mkdir -p /home/tcexeexe/data/model

1.7 建立分詞程序的軟鏈接

ln -sf /root/data/model/sentence-transformer /home/tcexeexe/data/model/sentence-transformer

Note:

• /home/tcexeexe/data/model/sentence-transformer：此路徑來(lái)自于make_knowledge_repository.py

1.8 生成PDF知識(shí)庫(kù)

python /root/pdf_project/data/pdf-reading-assistant/make_knowledge_repository.py

以上腳本會(huì)生成數(shù)據(jù)庫(kù)文件chroma.sqlite3，知識(shí)庫(kù)中指定的文件內(nèi)容就會(huì)存到其中，之前使用的PDF文件就不需要了。

在安裝PyPDF2之后仍然會(huì)遇到"ModuleNotFoundError: No module named ‘PyPDF2’"的錯(cuò)誤

我們猜測(cè)這個(gè)錯(cuò)誤是因?yàn)镻yPDF2跟pypdf的重復(fù)安裝導(dǎo)致的，為了驗(yàn)證這個(gè)問(wèn)題，我們可以嘗試使用絕對(duì)路徑運(yùn)行make_knowledge_repository.py:

/root/.conda/envs/InternLM/bin/python \
/root/pdf_project/data/pdf-reading-assistant/make_knowledge_repository.py

1.9 在InternStudio中上傳的PDF文件會(huì)被其意外清理

我們?cè)贗nternStudio上做實(shí)驗(yàn)時(shí)發(fā)現(xiàn)：

InternStudio會(huì)不定時(shí)地刪除上傳的PDF文件；

我們咨詢了一下隊(duì)長(zhǎng)：

隊(duì)長(zhǎng)回復(fù)說(shuō)這是InternStudio一種已知的問(wèn)題；

1.8 運(yùn)行網(wǎng)頁(yè)demo

python /root/pdf_project/data/pdf-reading-assistant/web_demo.py

1.9 生成秘鑰

ssh-keygen -t rsa

1.10 使用瀏覽器訪問(wèn)應(yīng)用

通過(guò)網(wǎng)頁(yè)訪問(wèn)：127.0.0.1:7860

1.11 提問(wèn)備忘

“提示學(xué)習(xí)”：來(lái)自于《大語(yǔ)言模型提示注入攻擊安全風(fēng)險(xiǎn)分析報(bào)告》

提示學(xué)習(xí)是什么

2 模型部署

2.1 OpenXLab：“相當(dāng)于浦語(yǔ)體系中的HuggingFace平臺(tái)”

2.2 更新工具庫(kù)

python -m pip install --upgrade pip