科技

2019.5.16日,寫完了一個簡書的全網站文章爬蟲,上傳到了GITHUB

# GITHUB上傳流程如下

## 1.進入Github首頁,點選New repository新建一個專案

## 2.填寫相應資訊後點擊create即可

Repository name: 倉庫名稱

Description(可選): 倉庫描述介紹

Public, Private : 倉庫許可權(公開共享,私有或指定合作者)

Initialize this repository with a README: 新增一個README.md

gitignore: 不需要進行版本管理的倉庫型別,對應生成檔案.gitignore

license: 證書型別,對應生

成檔案LICENSE

## 3.點選Clone or dowload會出現一個地址,copy這個地址備用。

## 4.接下來就到本地操作了,首先右鍵你的專案,如果你之前安裝git成功的話,右鍵會出現兩個新選項,分別為Git Gui Here,Git Bash Here,這裡我們選擇Git Bash Here,進入如下介面,Test_Bluetooth即為我的專案名。

## 5.接下來輸入如下程式碼(關鍵步驟)

,把github上面的倉庫克隆到本地

git clone https://github.com/a371057600/python-paChong-.git(https://github.com/a371057600/python-paChong-.git替換成你之前複製的地址)

## 6.這個步驟以後你的本地專案資料夾下面就會多出個資料夾,該資料夾名即為你github上面的專案名,如圖我多出了個Test資料夾,我們把本地專案資料夾下的所有檔案(除了新多出的那個資料夾不用),其餘都複製到那個

新多出的資料夾下.

## 7.把檔案全部放入這個資料夾,然後cd

## 接下來依次輸入以下程式碼即可完成其他剩餘操作:

git add .

git commit -m "提交資訊"

git push -u origin master (輸入你的賬號)

**最後我的程式碼地址:https://github.com/a371057600/python-paChong-**

pipline.py中的資料庫改成你的數

據庫哦,詳情操作,請自己去百度找SCRAPY的資料庫連線教程,非常簡單

import pymysql

class JianshuSpiderPipeline(object):

def __init__(self):

dbparams = {

'host': '127.0.0.1',

'port': 3306,

'user': 'root',

'password': '7923161',

'database': 'jianshu',

'charset': 'utf8',

}#這裡記得改成你自己的資料庫,不然你爬起來會不停地出錯哦.

self.conn = pymysql.connect(**dbparams)

self.cursor = self.conn.cursor()

self._sql = None

def process_item(self, item, spider):

self.cursor.execute(self.sql, (item['title'],item['content'],item['author'],item['avatar'],item['pub_time'],item['origin_url'],item['article_id']))

self.conn.commit()

return item

@property

def sql(self):

if not self._sql:

self._sql = """

insert into article(id,title,content,author,avatar,pub_time,origin_url,article_id) values(null,%s,%s,%s,%s,%s,%s,%s)

"""

return self._sql

return self._sql

```

Reference:科技日報

看更多!請加入我們的粉絲團

轉載請附文章網址

不可錯過的話題