1. 大數(shù)據(jù)和Hadoop 研究學(xué)習(xí)大數(shù)據(jù)，自然要從Hadoop開始。 Hadoop不是一個(gè)簡(jiǎn)單的軟件，而是有一些列軟件形成的生態(tài)，其核心思想來自Google當(dāng)初發(fā)布的三篇論文，后來做了開源的實(shí)現(xiàn)， 谷歌的實(shí)現(xiàn)和Hadoop的實(shí)現(xiàn)大致可以做這樣的對(duì)應(yīng)： Google Map/Reduce <---> Hadoop MapReduce Google GFS <---> Hadoop HDFS Google BigTable <---> Hadoop HBase Hadoop生態(tài)的所有組成部分，都是跑在linux環(huán)境下的，自然我們首先需要搭建linux環(huán)境。另外Hadoop之所以能處理“大”數(shù)據(jù)，是因?yàn)槠浞植际降奶匦裕梢岳梅植际接?jì)算構(gòu)建服務(wù)器集群，并可根據(jù)需要擴(kuò)展。為了學(xué)習(xí)，我們先在本地計(jì)算機(jī)上利用虛擬機(jī)搭建linux環(huán)境，要模型集群環(huán)境，就多創(chuàng)建幾個(gè)虛擬機(jī)就可以了。 為了玩兒這套東西，因?yàn)橐獎(jiǎng)?chuàng)建幾個(gè)虛擬機(jī)，所以的你的電腦內(nèi)存最好不小于8G，因?yàn)榕蹾adoop一般一個(gè)虛擬機(jī)需要2G，隨便開3臺(tái)虛擬機(jī)就占不少內(nèi)存了。 不過前期為了學(xué)習(xí)，我先只給每臺(tái)虛擬機(jī)分配1G內(nèi)存，后面不夠了在調(diào)整就行了。 2. 為什么選VirtualBox？ 提起虛擬機(jī)，自然首先想到的就是大名鼎鼎的VMware。 VMware是老牌虛擬機(jī)軟件，網(wǎng)上教程也很多。我之所以選用VirtualBox，主要是因?yàn)閘icense的問題。 我手頭只有一臺(tái)MacBook pro, 不想話太多時(shí)間在軟件license上折騰，所以選擇了免費(fèi)的VirtualBox. VirtualBox的安裝過程乏善可陳，就是常規(guī)操作，不說了。
3. 虛擬機(jī)中安裝CentOS 前面提到，我的主力計(jì)算機(jī)是一臺(tái)MacBook Pro. 之前為方面，利用Parallel Desktop虛擬了一臺(tái)Windows 出來，這里不提。 linux系統(tǒng)我選擇了CentOS，首先從CentOS官網(wǎng)下載系統(tǒng)的ISO文件。在VirtualBox里新建一個(gè)虛擬機(jī)，類型選Linux，版本隨便選一個(gè)就行了，因?yàn)槔锩鏇]有看到有CentOS，不過隨便選一個(gè)也沒問題。 注意最好選一下文件夾，也就是虛擬機(jī)文件存放的位置，因?yàn)殡S著裝的東西越來越多，虛擬機(jī)文件可能會(huì)越來越大。我的電腦硬盤都快撐滿了，所以掛了個(gè)外接硬盤，把虛擬機(jī)文件放在了外接硬盤上，需要時(shí)插上用，雖然不方便，但也只好將就了。
其他參數(shù)可以都按默認(rèn)，虛擬機(jī)創(chuàng)建成功后，點(diǎn)設(shè)置，切換到存儲(chǔ)，在光驅(qū)那里選擇下載的CentOS系統(tǒng)的ISO文件，這樣虛擬機(jī)啟動(dòng)后就可以進(jìn)入CentOS的安裝了。
安裝CentOS7 操作系統(tǒng)也不說了，都是圖形化界面，沒什么難度。 4. 網(wǎng)絡(luò)環(huán)境配置遇到的坑 Linux安裝成功后的網(wǎng)絡(luò)設(shè)置這里需要說一下，我在這上面踩了不少坑。我希望我的網(wǎng)絡(luò)環(huán)境是這樣的。首先我們希望Linux虛擬機(jī)能夠連接互聯(lián)網(wǎng)，這樣以后需要下載什么組件時(shí)能方便些。其次希望能用Host機(jī)器也就是MacBook中訪問到Linux虛擬機(jī)，以便ssh登錄上去。VirtualBox默認(rèn)的小窗口實(shí)在很小，看著眼花，雖然也可以調(diào)大，但畢竟在宿主下操作更方便些，所以還是需要從MacBook上ssh過去。但是請(qǐng)注意，CentOS剛剛安裝完成后是不能聯(lián)網(wǎng)的，還需要做相關(guān)的設(shè)置才行。 4.1 Linux虛擬機(jī)連接互聯(lián)網(wǎng) 虛擬機(jī)的網(wǎng)絡(luò)設(shè)置默認(rèn)可選用“網(wǎng)絡(luò)地址轉(zhuǎn)換NAT” ，虛擬機(jī)會(huì)創(chuàng)建一個(gè)NAT網(wǎng)絡(luò)。
虛擬機(jī)安裝后默認(rèn)沒有開啟網(wǎng)絡(luò)，所以不能聯(lián)網(wǎng)，需要啟動(dòng)虛擬機(jī)，登錄后更改網(wǎng)絡(luò)配置。 vi /etc/sysconfig/network-scripts/ifcfg-enp0s3 把ONBOOT修改為yes，以便讓linux 啟動(dòng)后即啟動(dòng)網(wǎng)絡(luò)。 更改后按ESC，然后 :wq 退出保存。可以不用重啟，通過下面的命令重啟網(wǎng)絡(luò)服務(wù)，以便使更改生效。 systemctl restart network
這時(shí)候可以通過命令 ``` ip addr``` 查看，你會(huì)看到網(wǎng)絡(luò)已經(jīng)有了一個(gè)IP地址，比如我的是 10.0.2.15。如圖：
現(xiàn)在你如果ping www.baidu.com，應(yīng)該發(fā)現(xiàn)已經(jīng)能夠聯(lián)網(wǎng)了。
4.2 從宿主機(jī)Macbook訪問Linux虛擬機(jī) 另外，但從主機(jī)Macbook還是不能ping通這個(gè)地址，就是說主機(jī)還不能訪問虛擬機(jī)。要讓主機(jī)MacBook和虛擬機(jī)linux互通，就需要讓這兩個(gè)機(jī)器在同一個(gè)網(wǎng)段里。 VirtualBox里的“管理”菜單下，打開“主機(jī)網(wǎng)絡(luò)管理器”，創(chuàng)建一個(gè)，如圖，可以看到創(chuàng)建了一個(gè)192.168.56.1的虛擬網(wǎng)卡。
這時(shí)候如果你在MacBook的終端中使用ifconfig命令查看，你會(huì)發(fā)現(xiàn)，多出來一個(gè)vboxnet0的網(wǎng)卡，ip地址就是192.168.56.1 danieldu@daniels-MacBook-Pro-857 ~ ifconfig lo0: flags=8049 mtu 16384 options=1203 inet 127.0.0.1 netmask 0xff000000 inet6 ::1 prefixlen 128 inet6 fe80::1%lo0 prefixlen 64 scopeid 0x1 nd6 options=201 gif0: flags=8010 mtu 1280 stf0: flags=0<> mtu 1280 en0: flags=8863 mtu 1500 ether ac:bc:32:c1:ed:dd inet6 fe80::1c82:47a:64f:460f%en0 prefixlen 64 secured scopeid 0x4 inet 192.168.31.46 netmask 0xffffff00 broadcast 192.168.31.255 nd6 options=201 media: autoselect status: active .... vboxnet0: flags=8943 mtu 1500 ether 0a:00:27:00:00:00 inet 192.168.56.1 netmask 0xffffff00 broadcast 192.168.56.255 utun1: flags=8051 mtu 1380 inet6 fe80::f655:9c6f:ca10:240e%utun1 prefixlen 64 scopeid 0xc nd6 options=201 ... 然后需要VirtualBox中對(duì)應(yīng)的虛擬機(jī)設(shè)置中，增加一個(gè)網(wǎng)卡2. 選擇“僅主機(jī)（Host-Only）網(wǎng)絡(luò)”，界面名稱就是之前看到的vboxnet0.
然后登錄到虛擬機(jī), 利用“ip addr” 命令查看，你會(huì)發(fā)現(xiàn)多出來一個(gè)網(wǎng)卡enp0s8。 從enp0s3 復(fù)制一個(gè)，然后編輯這個(gè)文件，這次更改為固定IP地址。 cp /etc/sysconfig/network-scripts/ifcfg-enp0s3/etc/sysconfig/network-scripts/ifconfig-enp0s8
然后 重啟網(wǎng)絡(luò) "systemctl restart network". 這時(shí)候就可以從主機(jī)Macbook 訪問虛擬機(jī)了。 4.3關(guān)閉Linux防火墻 從上面的設(shè)置看到， 主機(jī)MacBook 的IP是 192.168.56.1， 虛擬機(jī)Linux設(shè)置了靜態(tài)地址為 192.168.56.100. 現(xiàn)在已經(jīng)在一個(gè)網(wǎng)段內(nèi)了，應(yīng)該內(nèi)ping通。如果你ping不通，那很可能是防火墻的問題。 首先MacBook要關(guān)閉防火墻。
然后確保虛擬機(jī)Linux的也關(guān)閉防火墻，默認(rèn)防火墻是開著的。
檢查一下ssh服務(wù)，默認(rèn)應(yīng)該是開著的
你現(xiàn)在應(yīng)該能從mac的終端通過ssh登錄到linux了。 總結(jié) 以上所述是小編給大家介紹的在Mac上利用VirtualBox搭建本地虛擬機(jī)環(huán)境的方法，希望對(duì)大家有所幫助，如果大家有任何疑問請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)17站長(zhǎng)網(wǎng)的支持！ |
免責(zé)聲明：本站部分文章和圖片均來自用戶投稿和網(wǎng)絡(luò)收集，旨在傳播知識(shí)，文章和圖片版權(quán)歸原作者及原出處所有，僅供學(xué)習(xí)與參考，請(qǐng)勿用于商業(yè)用途，如果損害了您的權(quán)利，請(qǐng)聯(lián)系我們及時(shí)修正或刪除。謝謝！
始終以前瞻性的眼光聚焦站長(zhǎng)、創(chuàng)業(yè)、互聯(lián)網(wǎng)等領(lǐng)域，為您提供最新最全的互聯(lián)網(wǎng)資訊，幫助站長(zhǎng)轉(zhuǎn)型升級(jí)，為互聯(lián)網(wǎng)創(chuàng)業(yè)者提供更加優(yōu)質(zhì)的創(chuàng)業(yè)信息和品牌營(yíng)銷服務(wù)，與站長(zhǎng)一起進(jìn)步！讓互聯(lián)網(wǎng)創(chuàng)業(yè)者不再孤獨(dú)！
掃一掃，關(guān)注站長(zhǎng)網(wǎng)微信
大家都在看當(dāng)我們?cè)诠蚕砭W(wǎng)絡(luò)訪問的時(shí)候，可能會(huì)遇到提示指定的網(wǎng)絡(luò)名不再可用的問題，這可能是由于我們的共享網(wǎng)絡(luò)出現(xiàn)了錯(cuò)誤，也可能是被共享的對(duì)象所拒絕了。指定的網(wǎng)絡(luò)名 ......
1、首先進(jìn)入到“百度”軟件中， 2、然后在其中輸入“百度識(shí)圖”， 3、之后點(diǎn)擊圖中的“開始使用”按鈕， 4、緊接著點(diǎn)擊右下角的“相冊(cè)”功能， 5、在相冊(cè)下 ......
文/曹楊 原標(biāo)題：誰還看電視？ 爸爸戴一副老花鏡，媽媽戴一副近視鏡，一人坐在沙發(fā)，一人躺在床上，各自刷著自己關(guān)注的博主更新的短視頻。電視也許開著，但只是背景。 這樣的畫面，幾乎成了洛奇家的常 ...
一、軟件沖突1、首先確認(rèn)是否是應(yīng)用程序沖突導(dǎo)致的。2、查看是否只有特定幾個(gè)游戲或應(yīng)用會(huì)導(dǎo)致該問題。3、如果是應(yīng)用沖突，那么只要卸載這些app就可以解決了。二 ......
圖片來源于簡(jiǎn)書 文/郭開森 楊帆 陸玖財(cái)經(jīng)準(zhǔn)備開新欄目了，每周一創(chuàng)始人郭開森和楊帆合體郭德帆，對(duì)行業(yè)進(jìn)行一些觀察和評(píng)論，第一篇我們?nèi)允谴蛩銓懮鐓^(qū)團(tuán)購(gòu)，這是當(dāng)下最火的話題。 來過陸玖財(cái)經(jīng)做客的朋友們...
電腦端：1、大家可以點(diǎn)擊右邊鏈接進(jìn)入網(wǎng)頁(yè)版的百度網(wǎng)盤，進(jìn)入之后點(diǎn)擊“去登錄”。https://pan.baidu.com/2、之后正確的輸入賬號(hào)密碼進(jìn)行登錄就好啦。手機(jī)端：1 ......
一、N100對(duì)比intel i3 1、N100的跑分達(dá)到了147210分，這個(gè)數(shù)據(jù)可以達(dá)到i3的七代級(jí)別。 2、在跑分上也是超越了大部分的I3七代CPU，不過比I3八代要弱勢(shì)一些。 3 ......
8月15日消息 上周，有媒體報(bào)道前身為百度圖片的“榴蓮”APP含有大量不雅視頻內(nèi)容被用戶舉報(bào)。對(duì)此，百度圖片官方進(jìn)行了回應(yīng)，百度圖片表示已經(jīng)對(duì)報(bào)道中所涉及的“生吃旋風(fēng)哥”等爭(zhēng)議內(nèi)容進(jìn)行了下線處理。 此外，百度...
在填寫一些項(xiàng)目申請(qǐng)書中，總是免不了要選擇一些數(shù)字，但是在方框中如何插入數(shù)字，該怎么辦呢?那么下面就由學(xué)習(xí)啦小編給大家分享下word在方框里輸入數(shù)字的技巧， ......
WPS Office手機(jī)版怎么加橫線？很多用戶還不知道WPS Office手機(jī)版怎么加橫線，WPS Office手機(jī)版怎么加橫線，WPS Office手機(jī)版怎么打橫線，WPS Office手機(jī)版怎么弄 ......
迅雷前綴是什么 答：迅雷前綴是（magnet:?xt=urn:btih:）括號(hào)里的就是了。 我們只要在這段文字之后輸入后續(xù)的內(nèi)容，就可以創(chuàng)建下載鏈接了。 1、磁力鏈接不基于文 ......
一、內(nèi)容特權(quán)。 1、半價(jià)點(diǎn)播。 許多站內(nèi)視頻都需要付費(fèi)觀看，而大會(huì)員用戶可以直接半價(jià)享受； 購(gòu)買成功后的48h內(nèi)無限次觀看。有部分的內(nèi)容是只限在中國(guó)大陸內(nèi)觀 ......
1、首先打開小米運(yùn)動(dòng)的“實(shí)驗(yàn)室功能”。 2、接著點(diǎn)擊“門卡模擬”。 3、然后點(diǎn)擊“我知道了”。 4、最后貼近就可以刷卡成功了。...
1、打開手機(jī)輕顏相機(jī)app，點(diǎn)擊“我的”，點(diǎn)擊“設(shè)置”，2、點(diǎn)擊“幫助與反饋”，3、點(diǎn)擊右下角“在線咨詢”即可聯(lián)系客服，詢問自己的問題啦！...
答：華為P系列： 華為p40，華為p40plus，華為p50，華為p50e，華為p60 華為mate系列： 華為mate40，華為mate50，華為mate50e，華為mate60 華為nova系列： 華為n ......
近期有用戶反映，電腦在更新Windows 11 Insider Preview 25252.1000后，出現(xiàn)了應(yīng)用和已壓縮的文件點(diǎn)擊毫無反應(yīng)，拖拽都不行，只能從開始菜單打開的情況，這是怎 ......
可見單元格就是不包括隱藏或者篩選篩選后隱藏起來的單元格區(qū)域。方法：篩選或隱藏?cái)?shù)據(jù)，復(fù)制需要粘貼的值，在目標(biāo)單元格區(qū)域左上角的第一個(gè)單元格處右擊，選擇【 ......
答：驍龍8+更好。 驍龍7+gen2實(shí)際上就是驍龍8+的低配版本。 在一些其他的核心架構(gòu)方面都是保持一致的，比如說CPU的架構(gòu)、GPU的架構(gòu)等等。 驍龍7+和驍龍8+具體 ......
文/黎明 一場(chǎng)針對(duì)中國(guó)互聯(lián)網(wǎng)巨頭的反壟斷風(fēng)暴正在醞釀，而且這次動(dòng)真格了。 11月10日，國(guó)家市場(chǎng)監(jiān)管總局發(fā)布《關(guān)于平臺(tái)經(jīng)濟(jì)領(lǐng)域的反壟斷指南（征求意見稿）》，要加大對(duì)互聯(lián)網(wǎng)巨頭涉嫌壟斷的調(diào)查和監(jiān)管。 ...
文件被win10系統(tǒng)誤報(bào)病毒自動(dòng)刪除了如何進(jìn)行恢復(fù)？有用戶下載了某些破解軟件卻被Win10系統(tǒng)誤認(rèn)為是病毒文件而自動(dòng)刪除，當(dāng)然系統(tǒng)自帶殺毒軟件其實(shí)挺不錯(cuò)的，就是有時(shí)候會(huì)誤報(bào)，大家遇到這種情況的時(shí)候就希望把誤刪的...
win11系統(tǒng)如何釋放掉系統(tǒng)默認(rèn)保留的存儲(chǔ)空間？一般情況下，Windows會(huì)保留一些存儲(chǔ)空間，以便設(shè)備獲得良好性能和成功更新。但是當(dāng)出現(xiàn)系統(tǒng)盤儲(chǔ)存空間不足時(shí)，我們會(huì)將幾個(gè)G的保留空間釋放出來，以解燃眉之急。本期教...
1、先打開機(jī)頂盒進(jìn)入主界面，并且使用遙控器打開設(shè)置。 2、然后選擇“賬號(hào)與安全”，并且進(jìn)入。 3、最后往下面翻就可以看到“ADB調(diào)試”的選項(xiàng)，直接開啟就行了 ......
答：在3DMark壓力測(cè)試當(dāng)中，顯卡需要超高97%才能夠算合格，證明顯卡的穩(wěn)定性是過關(guān)的。 1、一般的默認(rèn)情況下在2500~3000分就算很正常的了。 2、分?jǐn)?shù)越高說明顯卡 ......
羅技g304dpi燈顏色代表什么：1、藍(lán)色：這種情況是正常工作的顯示，如果說是常亮或者閃爍，那都沒有問題這是在正常工作呢。2、紅色：如果說是紅燈閃爍的話那就是 ......
我們經(jīng)常用WPS的時(shí)候，如果需要輸入波浪號(hào)～，會(huì)發(fā)現(xiàn)鍵盤上的波浪號(hào)輸入之后在最上面，但是為了美觀，我們希望波浪號(hào)顯示在中間。這里總結(jié)了三個(gè)方法分享給大家 ......
win11系統(tǒng)快速跳過聯(lián)網(wǎng)創(chuàng)建本地管理賬戶3種方法？現(xiàn)在市面上銷售的品牌筆記本和臺(tái)式機(jī)基本上都預(yù)裝Windows11家庭中文版正版操作系統(tǒng)，聯(lián)網(wǎng)后系統(tǒng)會(huì)自動(dòng)激活。當(dāng)用戶拿到新機(jī)器后還需要按照cortana（小娜）的提示一步...
答：中高端水平 i513500hx在處理器當(dāng)中是處于一個(gè)中高端的水平。 i513500hx是第十一代酷睿處理器系列的一員，基礎(chǔ)頻率為2.4GHz，表現(xiàn)十分的不錯(cuò)。 i513500hx介 ......
打開軟件，直接填寫就可以。 1、下載安裝easyconnect軟件， 2、打開easyconnect應(yīng)用，在如圖所示的“服務(wù)器地址”一欄輸入如圖所示網(wǎng)址，點(diǎn)擊“連接”， 3、等 ......
相信有非常多使用過筆記本的用戶都聽說過獨(dú)顯直連這個(gè)詞，但很多用戶并不了解獨(dú)顯直連是什么，又有什么用處，那么下面就和小編一起來看看什么是獨(dú)顯直連和開啟這 ......
win11系統(tǒng)開機(jī)總是自動(dòng)登錄OneDrive如何關(guān)閉？win11系統(tǒng)開機(jī)的時(shí)候，會(huì)自動(dòng)啟動(dòng)OneDrive，不想要啟動(dòng)，該怎么操作呢？下面我們就來看看詳細(xì)的教程。 在OneDrive界面點(diǎn)小齒輪按鈕，下拉菜單中點(diǎn)【設(shè)置】。 單擊【...
