AWS云計算平臺工作使用中的心得,aws云計算實戰(zhàn)

AWS云計算平臺工作使用中的心得

筆者目前所在公司的海外業(yè)務(wù)平臺由于牽涉到多機房布點和成本的考慮，目前基本上采用的是AWS云計算平臺，產(chǎn)品線涉及到了EC2/EBS/S3/Redshift等，目前平臺已經(jīng)穩(wěn)定運行幾年了，在使用過程還是有不少心得和感想的，特地做了些總結(jié)跟大家一起分享下，對AWS有興趣的同學(xué)也可以關(guān)注下。作為一個資深運維，熟悉各種云計算平臺，但還是對AWS強大的控制臺功能還是很驚異的，控制臺提供的功能是非常強大的，小到系統(tǒng)的AMI鏡像備份恢復(fù)，用戶的IAM權(quán)限分配，然后Instance機器種類和外置磁盤EBS的選型，大到分布式S3的文件存儲功能，AWS強大的控制臺都提供了相應(yīng)的功能。如果不喜歡用圖形界面操作的話，喜歡自動化運維的同學(xué)，AWS也提供了強大的BOTO3接口（基于Python），同學(xué)們也可以利用Python腳本來進行相關(guān)的服務(wù)器后臺程序開發(fā)工作。

注：通過適用于Python的AWS開發(fā)工具包boto3快速開始使用AWS。Boto3可以支持您輕松將Python應(yīng)用程序、庫或腳本與AWS服務(wù)進行集成，包括Amazon S3、Amazon EC2和Amazon DynamoDB等。

另外，AWS控制臺有些功能是非常人性化的，比如我通過控制臺購買了一年的c3.xlarge（4 vcpu+7.5內(nèi)存）預(yù)留實例（預(yù)留實例是一種比較節(jié)約的計費方式，通常為以年為計費單位，比單獨購買一般要便宜35%左右），但在使用過程過程中，我發(fā)現(xiàn)業(yè)務(wù)量不需要c3.xlarge這樣高性能的機器，那我們可以通過修改預(yù)留實例的方式，將其分離成2臺性能稍弱的c3.large，這樣剝離出來的一臺c3.large機器就可以多出來跑別的業(yè)務(wù)了。

另外，AWS的產(chǎn)品線是非常豐富，通過控制臺我們就能看到，各種各樣的產(chǎn)品都在列表內(nèi)，大家可以根據(jù)工作需求來取舍。我們一般用得比較多的有EC2（AWS云主機）、Route53（DNS）、CDN、Elastic Load Balancing（AWS負(fù)載均衡）、S3/Glacier（云存儲）、數(shù)據(jù)庫產(chǎn)品有RDS或Redshift、NoSQL有DynamonDB、ElasticMapReduce（Hadoop計算框架）等等，AWS的產(chǎn)品線是非常豐富的，甚至可以說，我們工作中產(chǎn)生的業(yè)務(wù)需求，很有可能就能通過AWS的產(chǎn)品來實現(xiàn)。通過AWS的EMR服務(wù)來實現(xiàn)工作中的Hadoop/Spark來進行海量離線業(yè)務(wù)日志的處理和分析，是一件非常容易和輕松的事情，事實上，這部分的工作是完全不需要運維人員來參與的。

另外，事實上，AWS云計算平臺進行彈性擴容是一件非常容易和方便的事情，拿我們的業(yè)務(wù)平臺來說，在上線前期，由于宣傳及商務(wù)談判等原因，入口流量及用戶數(shù)都比較少，這個時候平臺很穩(wěn)定，整體系統(tǒng)負(fù)載及QPS都比較低，但隨著后期商業(yè)談判的成功，入口流量及用戶都越來越多，系統(tǒng)負(fù)載、QPS都偏高，機器還經(jīng)常出現(xiàn)了CPU利用率達(dá)到100%的情況。這個時候我們可以通過調(diào)用AWS API接口來實現(xiàn)彈性擴容，包括主機的分配、流量的分配、IP的綁定、域名解析的配置，還有存儲服務(wù)等，這部分的工作如果做成自動擴容也是比較容易實現(xiàn)的，我們可以通過Ansible自動化配置管理工具或Python語言自行開發(fā)。事實上，為了節(jié)約費用，很多時候我們可以考慮開啟更便宜的Spot Instance（比Instance實例收費便宜多了，但公網(wǎng)IP不固定，由于采用的是競價模式，很容易被別人買走）。另外，后續(xù)的工作我們還是要在工作中考慮到，比如說某項業(yè)務(wù)量降下去以后，我們不再需要那么多機器了（AWS是以Instance實例實際使用的小時數(shù)來收費的，我們關(guān)閉機器以后AWS就不再收費了），我們應(yīng)該如何在不影響業(yè)務(wù)穩(wěn)定性的前提下來減少機器數(shù)量從而起到節(jié)約成本的作用呢，這些都需要我們在實際的開發(fā)工作中考慮到。

另外，在實際使用工作中我們也發(fā)現(xiàn)，AWS平臺目前也還是存著一些問題的，這些也應(yīng)該是我們在使用過程注意的地方:

一、有段時間，美國西部的機器因為亞馬遜硬件升級的原因，不斷的要進行業(yè)務(wù)遷移的工作，事實上如果是某個集群內(nèi)的機器的話倒沒什么影響，如果機器上面正跑著重要核心業(yè)務(wù)的話，對整體系統(tǒng)還是非常有影響的；

二、使用中有機器還是有重啟的情況，還發(fā)生過機器失聯(lián)的情況，當(dāng)然了這種情況并不多見，一年中我們也只發(fā)現(xiàn)了兩起，就是沒有任何郵件通知的情況下，機器發(fā)生了失聯(lián)情況；

三、亞馬遜自帶的監(jiān)控功能或產(chǎn)口還不是很強，所以我們還是需要自己配置nagios或zabbix監(jiān)控服務(wù)，并針對業(yè)務(wù)需求來開發(fā)插件；

四、預(yù)留實例的出售是一件比較麻煩的事情，比較好買，但感覺非常難出售，所以筆者每次購買預(yù)留實例會非常小心謹(jǐn)慎。

五、AWS的帳單功能還是挺完善的，但也可能會產(chǎn)生誤收費的情況，這個時候需要英語口語或郵件溝通，一般情況下AWS會退款的。

雖然AWS云計算平臺或多或少的存在些問題，但總體來說并不會影響我們業(yè)務(wù)系統(tǒng)的整體性能和穩(wěn)定，我們能夠在節(jié)約成本的前提下，能夠非常方便的進行擴容工作和Hadoop/Spark數(shù)據(jù)計算，在全球部署自己的數(shù)據(jù)中心，這些工作由于使用了AWS平臺感覺操作起來非常簡單方便，感謝AWS提供了這么些偉大的產(chǎn)品，預(yù)祝其越做越好。

特別聲明：以上文章內(nèi)容僅代表作者本人觀點，不代表ESG跨境電商觀點或立場。如有關(guān)于作品內(nèi)容、版權(quán)或其它問題請于作品發(fā)表后的30日內(nèi)與ESG跨境電商聯(lián)系。