Jump to...
redirecting...

Log for OKTW Network

@james58899 話說 Ceph 是不是最少真的要三臺伺服器哦
你至少要三個 mon
osd 倒是沒差
我看他 ceph-deploy 好像很爽
然後我一臺機會有 12 個 OSD
另加 4-8 個 OSD 建 cache
是很方便,但osd配置沒很完整
如果你想要一個硬碟多個OSD之類的,就必須用 ceph-volume 手動處理
@seadog007 你到底有電腦了沒
要這種幹啥
我到時候是 production 環境阿
沒有ㄛ
你公司是不是有 ceph 喔
網路的話每個 node 2x10G 夠不夠用
不想到時候來個 IO 瓶頸
osd自己的db有幾個地方是單線程的
有機會在高IOPS下卡的
你需要兩組網路
osd自己一組會好很多
雖然我公司那個也是一顆硬碟一個osd就是了
[sticker](media:AAMCBQADHQI-bPsfAAEDTOteQu89DnWzdgFfnV4Zhn33EmZkAgACfAADdjHSCcM4Ka2zwnVRed_2MgAEAQAHbQADwR4AAhgE@telegram)
還有client的kernel版本用新一點
CentOS:
我不知道RH有沒有backport krbd的東西
然後還有osd硬碟的io schedule選none
rbd的也是
不然它自己也在卡單核心🌚
然後 osd 吃 CPU 吧
十核夠不夠用
cluster跟public切開就好ㄇ
還有ceph的cache不是很能當write buffer
有mon的才需要public?
HT變20嗎
我目前買了 96T 的碟
是啊
我會再買 96T
組 ceph
香港 PoP 要做 Ha
我現在糊在一起跑在40G的ib上
感覺抖抖的
到時候我會
所以你是建HDD的喔
hdd + ssd
我公司是全SSD
ssd放日誌?
還有做cache
他cache很機掰
要分層ㄅ
阿就很機掰
怎麼說
很難用
寫入不容易hit
你公司全 ssd 就不用 cache 了吧
哦?
要套個NVMe
是啊所以沒有弄
他根本沒hit,前面cache有多快都沒用
QQ
不過光那堆硬碟就已經有不錯的 throughput 了吧
我現在是全HDD 沒做cache
就沒有很差了
他的boolean filter那段code寫爛掉了
IOPS糟一點
有SSD做cache應該會好一些
但是那已經十年前了,改下去會各種break change
然後目前打算是一隻 node 一個儲存櫃
一隻 node 拖十二隻碟 + SSD
所以基本上cache tier是直接放生
SSD可以當journal
所以我應不應該做 cache 呢
要多少隻(
SSD放日誌就可以用了(X
效果大概會比cache好,不過這個我沒測過
日誌很吃 iops 嗎
非常
好哦
我也想知道
不知道要多少SSD當cache
journal disk 通常要多大
而且 如果你日誌不分開放
他寫檔案的時候
還去寫日誌
IOPS直接爆炸
我看看用幾隻 SATA SSD 還是用 NVMe 好
你後面是HDD應該SATA的就行了吧
IOPS大概放大三倍
或者更高
大小文件是寫說越大越好🌝
會拿來當WAL用
之前有看到別人在測
就算拿拉基SSD放日誌都顯著改善
是說可以某個節點全是做cache的碟嗎
還是要散在各個node
不行啊
你DB disk要和data同一台阿
hmm
幹對齁
我智障
這我沒測過,我不知道到底影響多大
我只有測cache tier,結果大爆炸
公司就決定直上全SSD了
Umm
然後ceph可以放心上最新版
@james58899 那麼 ceph deploy 會不會幫我自己用 bluestore
你還能指定DB disk
rook(
所以我 ceph-deploy osd /dev/sdX nodeY 就沒問題了喔
你DB disk要共用的話要先手動分割好
會自己是 bluestore osd
然後我每台指定 db disk 就行
這也蠻爆炸的
是很方便
看了就怕
可是他很方便
硬碟插上去自動長出來
不過我在想要不要包LXC裡
聽起來很難除錯
1tb db disk 應該夠用吧
可以吧
四隻 raid10 以後再塞
我到時候會有大約 200TB raw disk
還好,他很土砲
有必要ㄇ._.
我上面要裝 OS 和 DB partition 誒
我是因為ib很難設定 不敢用.__.
不然就兩隻 raid1
NVMe 很貴
一隻一塊又沒有 redundancy
等會 DB disk 直接死了是不是整個 osd 爆炸
ceph有自己的機制阿
多套一層的必要性不知道有沒有
ㄛㄛDB disk
我主管還曾經很想不開跟我說4個硬碟共用一個DB碟
我跟他說這樣一死就是一起
然後就直上全SSD了(
[sticker](media:AAMCBQADHQI-bPsfAAEDTV5eQvRZhgd-KLuW-UGBbTDzRpcuUgACkwADdjHSCec8SQHE3CCjDOolMwAEAQAHbQADJVcAAhgE@telegram)
其實也是可以靠ceph自己的機制啦
我那個metadata死去的痛苦回憶QQ
我也想這樣問
我一台機有 1tb ssd 和十二個 osd
你可以這樣幹,但他炸了就是上面的osd一起死
我是不是要割 12 份 partition(
所以你cursh要設定讓他不要把兩份放在一起
DB disk 的容錯是怎麼做的阿
當他全部就會一起死阿
如果我底層有 RAID 的話
我只要留意硬件 raid 狀態就不怕了吧
我有個問題
那這樣以後你要加OSD
不就要把DB 那塊重做
resize嗎 抖
我是覺得直接分開用,就不會整台全死了
用RAID也是可以
沒辦法吧
用12顆NVMe放之類的 貴不少94惹
貴死
除非是 M.2
你那張板子可以插12張NVME
然後買家用級
他的板子看起來就沒問題
905嗎wwwww
Optane Memory
32G
其實二手便宜到我想買來這樣用
多少錢阿
我是覺得4個硬碟共用一個ssd還在可接受範圍內啦🤔
然後 Optane Memory 很新吧
為啥這麼多二手
十二個硬碟共用一個 raid10 分區
我是這樣打算
說到這個公司的機器好像也有NVDIMM插在上面
每個 osd 給 120GB
牙膏同捆包
我不知道該怎麼用那個NVDIMM
Windows 和 Linux 預設會是 Memory mode
把 Optane DIMM 當 RAM 用
在Linux上顯然直接變成block drive了
有一隻叫 application mode 是給 nvdimm aware 的程式用
我可以再 /dev 下看到他
不會吧
Windows 會當 RAM
他容量有夠小很難用
當 RAM 用就很多阿
一根 128G 以上誒
而且一根速度和 DDR3 記憶體一樣
喔你說的是當ram用的那個歐
我是說牙膏給storage加速的那款
沒有,那幾台上面插的只有16G
我不知道那是想幹麻用
[sticker](media:AAMCBQADHQI-bPsfAAEDTZNeQvcPrHBuXPzKf-i4eLuP5_D3YQACtwMAApGwiAf4pMEZ0MSiJAQSsjIABAEAB20AA5QgAAIYBA@telegram)
沒有 我知道你說的是什麼
那是贈品吧(
那一批還有強迫搭售nvme ssd
都叫optane memory .__.
總之我是加進ceph建一個pool放著
[sticker](media:AAMCBQADHQI-bPsfAAEDTZleQvdaRAddSxCh0ix9q385_anTTAACfAADdjHSCcM4Ka2zwnVRed_2MgAEAQAHbQADwR4AAhgE@telegram)
公司買東西都會被搭一堆有的沒的
超值優惠包(X
反正不是我出錢(
該有的都有就行了
[sticker](media:AAMCBQADHQI-bPsfAAEDTZ5eQvfp2lhz1RHR-xfJ08MhqgnBugACaQADdjHSCeGA_i70eUe6e0veMgAEAQAHbQADwmYAAhgE@telegram)
我用超級超值的價錢買到 96TB 儲存
打算再買一台了
我要先想辦法搞定貸款再來想能買啥.__.
最近頂多加個ram吧
等淘寶通一點以後要買點ram來用
幹你娘的 UniFi
USW-16-XG 早上自己往生
然後
他媽的重開機就好了
幹你娘,結果是更垃圾的 Synology 死掉了,所以噴了超過 USW-16-XG 能夠乘載的封包量.....
有病膩....ㄍ
switch是要怎樣才會死掉
unifi到底怎麼做到的
???
過熱 (
[photo](media:AgACAgEAAx0CPmz7HwABA02tXkNLKwABOLxQYLP8QzMd_WwNAAGZZQACaagxG0GUGUYwDtkBPfofMjPcbgYABAEAAwIAA20AA2vNAAIYBA@telegram)
[sticker](media:AAMCBQADHQI-bPsfAAEDTa5eQ0tHbJPmV0azPyuLwI55CMBf6gAChQADDGCzCGwtzbMh9Xe4i5DLMgAEAQAHbQAD9wwAAhgE@telegram)
他只是個switch耶
[sticker](media:AAMCBQADHQI-bPsfAAEDTbBeQ0vdMuSCsxyXdiHXX9kttQjGzAACBgAD6yF6D1Z8pDe13tq3qgiyMgAEAQAHbQAD4x0AAhgE@telegram)
是被 Synology kernel panic 的封包灌爆的
兩個都很垃圾
[sticker](media:AAMCBQADHQI-bPsfAAEDTbNeQ1UMSNf27fhJgRsdzfyB7FhgpAACiwADDGCzCAd3uOJiEDziBI_KMgAEAQAHbQADplsAAhgE@telegram)
[photo](media:AgACAgEAAx0CPmz7HwABA020XkNZlH_0bHIAAchuLLegOziRauFwAAJrqDEbQZQZRozdVN6V1QQqat1rBgAEAQADAgADbQADvZcCAAEYBA@telegram)
有沒有種花非固死掉的八卦
不意外
哪邊的
算中部吧
42Y 嗎?如果是的話那我覺得沒掛,如果不是的話我不好說
47Y
那.....我就真的不知道了xDD
我手上可以看到的只有 42Y
然後沒事
[photo](media:AgACAgUAAx0CPmz7HwABA02-XkNnqSVfMLJLAAE1W-Sh5TpujmgvAAJqqTEbgKwgVpJR1lEnPNwEFjMbMwAEAQADAgADbQAD-_IDAAEYBA@telegram)
等下,這條不是假固定制🤔
就單純的浮動pppoe...
五個裡面萬中選一
只有這個斷
[photo](media:AgACAgUAAx0CPmz7HwABA03EXkNoDoejjJnXYutYATSnwPnX9fYAAlipMRuV5yBWAT9bkr10MpKMbWlqdAADAQADAgADbQADxzMAAhgE@telegram)
[photo](media:AgACAgUAAx0CPmz7HwABA03FXkNoNPds4dRda2mHDerP2qxUM8gAAmupMRuArCBWOn84DyJz1BJGIBszAAQBAAMCAANtAAOa7AMAARgE@telegram)
[photo](media:AgACAgUAAx0CPmz7HwABA03GXkNoTYo4AzlEkjYW2jFvRx1S-8sAAlqpMRuV5yBW176bKyzEQ0I0OhszAAQBAAMCAANtAAOt8wMAARgE@telegram)
復活了
[sticker](media:AAMCBQADHQI-bPsfAAEDTcheQ2iJWdSJn0bQrvK9slkY1LW3qAACMAEAAlZlTA7U4BNteuJw_nUh2zIABAEAB20AA3oAAxgE@telegram)
這什麼magic number
不知道
我只知道數據機上會寫
ao6u.3
[photo](media:AgACAgEAAx0CPmz7HwABA03MXkNsnQa1pnnhb6D-3ys9punqaasAAjeoMRugXRhGCf7rnuIloNPisG4GAAQBAAMCAANtAAOIYQEAARgE@telegram)
光世代專線號碼
中華 Y 專專線編號
xxxxxxxY 代表管理局編號
目前看到最長也三位數而已大概
我的是 43Y
有什麼是不能承受的封包量
我那知道
我以為滿載頂多丟包
switch直接整台死掉我第一次聽到
看到朋友買了三台 NETGEAR 夜鷹X10 Nighthawk R9000
看到 TPLINK 就軟了
感覺貴貴的
UniFi 你意外嗎
意外阿
Switch 也不應該這樣死吧
人家 Embedded Linux
死掉我不意外啊
但是又不是 Linux 做交換
又沒有 switch chip cpu
Control plane 死了 data plane 可以獨立運作阿(
你那是 cosco
看看人家 Cisco 可以不影響交換下更新系統
UniFi 是用 ipfw 交換
hmm
他一海票 linux bridge
好東西不買嗎
隔壁 Juniper 也差不多是這樣
我感受到ROS比他好
連我hap都有switch chip
欸是喔
4
[photo](media:AgACAgUAAx0CPmz7HwABA03sXkP0LUol-5s0Bxgb9GwMYiVPFVEAAvOpMRuArCBWEAK5Gl1rAAHcI6ElMwAEAQADAgADbQADymcDAAEYBA@telegram)
Hmm...
[sticker](media:AAMCBQADHQI-bPsfAAEDTe5eQ_yMFaGhNpWo3Bd0nGVqNfA-TgACfAADdjHSCcM4Ka2zwnVRed_2MgAEAQAHbQADwR4AAhgE@telegram)