建立自己的管道

Created: November-22, 2018

使用 scrapy startproject myproject 建立 scrapy 專案時，你會發現已有一個 pipelines.py 檔案可用於建立自己的管道。在此檔案中建立管道不是強制性的，但這是一種很好的做法。我們將解釋如何使用 pipelines.py 檔案建立管道：

pipelines.py

class MyPipeline(object):
    def process_item(self, item, spider):
        # process your `item` here
        return item

現在要啟用它，你需要指定它將在你的設定中使用。轉到你的 settings.py 檔案並搜尋（或新增）ITEM_PIPELINES 變數。使用管道類的路徑及其優先於其他管道的路徑更新它：

ITEM_PIPELINES = {
    'myproject.pipelines.MyPipeline': 300,
}

現在，你的蜘蛛返回的每個專案都將通過此管道。