AWS的GPU服務器TensorFlow編程指南,如何確定tensorflow有gpuAWS的GPU服務器TensorFlow編程指南對于我們這些窮窮的小白,對機器學習充滿著熱情,卻買不起最基礎的gpu顯卡還好在aws(亞馬遜)上可以以比較便宜的價格租到。比如p2.xlarge這款,12g的gpu,足以夠一般的神經網絡......
對于我們這些窮窮的小白,對機器學習充滿著熱情,卻買不起最基礎的gpu顯卡
還好在aws(亞馬遜)上可以以比較便宜的價格租到。
比如p2.xlarge這款,12g的gpu,足以夠一般的神經網絡訓練使用
租金最高也只需要0.9美元一小時。
可以按時收費
但是服務器的使用對于我們這些小白來說還是有一定的門檻
我自己也是鉆研了兩天才摸到了門道
本文詳細解說如何使用aws上的gpu進行神經網絡訓練,希望能讓無法接觸到高級的顯卡,卻也勇于進入神經網絡的世界探個究竟的求知者能夠有機會感受到性能最好的gpu
本文分為下面個部分
一、如何在aws上租到服務器
二、如果使用windows本機連上服務器,并使用jupyter notebook編譯python代碼
三、如何從本機向服務器上傳或者下載數據文件
看官們可以根據自己的需求與了解在三個部分跳轉:
一、如何在aws上租到服務器
這個部分準備給非常白的小白:
1.1、百度aws,選擇第一個:
1.2、注冊賬戶并登陸,選擇EC2服務
1.3、進入控制臺之后,點啟動實例(實例在這里就是服務器的意思)
1.4、選擇Deep Learning AMI(Ubuntu)Version 10.0
之所以選擇這個是因為這個已經裝好了大多數機器學習需要的環境,不用再費心力啦
1.5、在眾多gpu服務器中選擇一個
大家根據自己的錢袋子選擇即可,我在這里選擇的是p2.xlarge
選擇完之后點擊下一步
1.6、主要配置
接下來幾步配置基本上只需要直接點下一步就可,這里標記出需要改動的步驟:
步驟3:選擇請求競價型實例
步驟6:選擇添加規則,這里要添加2個規則,添加完如下圖:
https用于瀏覽器訪問jupyter notebook
自定義TCP為jupyter的端口
1.7、配置密匙對,需要保管好自己的密匙文件
1.8、申請完畢
1.9、用完記得終止
sum:你已經擁有了美國一臺gpu服務器,滿滿的成就感哈
二、如何連接到服務器,并使用服務器的jupyter notebook
如果可以使用服務器的jupyter notebook,那完全可以擁有和本地編程相同的體驗!
網上有許多配置jupyter notebook的方法,但都是不夠詳細,也讓我傷透了心。
連接服務器使用的是ssh方法,官方推薦的是使用putty這款小神器
2.1、下載putty
可以直接在aws網上下載
2.2、使用PuTTYGEN把1.7步驟中的gem文件轉為ppk文件
2.3、打開PuTTY
(1)Host Name:ubuntu 公有DNS
公有DNS可以在步驟1.8下面可以找到
(2)在左側菜單Connectiongt;SSHgt;Auth導入2.2轉好的ppk文件
做好上面兩個小步驟以后,就可以點擊open了。
此時,你已經連接到了aws的ubuntu服務器啦
2.4、激活環境
輸入:source activate tensorflow_p27回車
2.5、配置環境
由于我的程序中需要用到skitlearn,所以:
輸入:pip installU scikit_learn回車
需要其它的包可以使用相同的方法
2.6、在服務器端打開jupyter notebook
輸入:jupyter notebook回車
這個當然就是服務端jupyter notebook的地址
2.7、配置tunnel
左上角右鍵點擊changing setting
connectionsshtunnels
source port:填寫8888
Destination:填寫127.0.0.1:8888
點擊add再點擊apply端口映射就完成啦!
2.8、打開jupyter notebook
復制2.7下圖中的瀏覽器網址,將localhost改為2.7中127.0.0.1,成功連上了服務端的jupyter notebook!
三、如何從本機向服務器上傳或者下載數據文件
這里我們要介紹另一款神器WinSCP
當然你可以使用putty進行傳輸文件,但那會麻煩的多,而且不易于記憶
WinSCP的界面是這樣的
左邊是我們的本機磁盤右邊是我們可用的服務器磁盤
點擊文件,進行上傳或下載操作即可
3.1、下載并安裝WinSCP
3.2、登錄WinSCP
主機名:公有DNS
用戶名:ubuntu
密碼:1.7中的密匙對文件
登錄以后你就可以盡情的上傳文件啦
總結:完成上面三個步驟后,你將可以在遠在美國的服務器像自己家里的電腦一樣編譯程序。
效果:相同一段神經網絡代碼
i5處理器8小時
p2.xlarge 20分鐘
這還是最low的一個gpu處理器,至于別的gpu效果如何,不妨試試~
作者:李嘉豪
特別聲明:以上文章內容僅代表作者本人觀點,不代表ESG跨境電商觀點或立場。如有關于作品內容、版權或其它問題請于作品發表后的30日內與ESG跨境電商聯系。
二維碼加載中...
使用微信掃一掃登錄
使用賬號密碼登錄
平臺顧問
微信掃一掃
馬上聯系在線顧問
小程序
ESG跨境小程序
手機入駐更便捷
返回頂部