Tag-Archive for » linux «

Sunday, August 04th, 2013 | Author:

Roedd gen i outage effeithio fawr fy gweinydd md RAID amrywiaeth. Yn hytrach na gadael y gweinydd yn ei gyfanrwydd i lawr wrth aros am iddo gwblhau fsck, Roeddwn i wedi ei gychwyn heb y casgliad mawr fel y gallwn i redeg y fsck llaw.

Fodd bynnag,, wrth redeg ei llaw i mi sylweddoli doedd gen i ddim ffordd o wybod pa mor bell oedd hi a pha mor hir y byddai'n ei gymryd i gwblhau'r. Mae hyn yn arbennig o broblemus gydag amrywiaeth mor fawr. With a little searching I found the tip of ychwanegu'r C-paramedr wrth alw fsck. Nid oeddwn yn gallu dod o hyd i hyn yn y dogfennau, fodd bynnag: fsck –helpu dangos unrhyw opsiwn o'r fath.

Mae'r dewis yn troi allan i fod yn ext4-benodol, ac felly yn dangos bar cynnydd berffaith swyddogaethol gyda dangosydd chanran. I ddod o hyd i'r wybodaeth, yn hytrach na “fsck –helpu” neu “dyn fsck”, rhaid i chi gyfrannu “fsck.ext4 –helpu” neu “dyn fsck.ext4”. 🙂

Share
Sunday, August 04th, 2013 | Author:

Hanes

Mae llawer wedi newid ers i mi grybwyll ddiwethaf fy gweinydd personol – mae wedi tyfu gan wych (yn awr mae 7TB md RAID6) ac iddo gael ei ailadeiladu yn ddiweddar gyda Ubuntu Gweinydd.

Arch byth yn gamgymeriad. Roedd Arch Linux eisoes wedi dysgu cymaint i mi am Linux (a bydd yn parhau i wneud hynny ar fy n ben-desg eraill). Ond Arch bendant yn ei gwneud yn ofynnol mwy o amser a sylw nag y byddwn yn hoffi i wario ar weinydd. Yn ddelfrydol, byddai'n well gen i fod yn gallu anghofio am y gweinydd am ychydig hyd nes y bydd e-bost atgoffa dweud “um … mae cwpl diweddariadau dylech edrych ar, buddy.”

Nid yw gofod yn rhad ac am ddim – ac nid yw gofod

Mae'r cyfle i fudo i Ubuntu oedd y ffaith fy mod wedi rhedeg allan o SATA porthladdoedd, y pyrth sydd eu hangen i gysylltu 'n anawdd drives i weddill y cyfrifiadur – bod amrywiaeth RAID 7TB yn defnyddio llawer o borthladdoedd! Roeddwn i wedi hyd yn oed yn rhoi i ffwrdd fy iawn hen ddisg caled 200GB gan ei fod yn cymryd i fyny un o'r porthladdoedd hynny. Yr wyf hefyd yn rhybuddio y derbynnydd fod y ddisg yn SMART monitro yn dangos ei fod yn annibynadwy. Fel workaround dros dro i'r diffyg porthladdoedd SATA, Rwyf hyd yn oed wedi ymfudo OS y gweinydd i set o bedwar ffyn USB mewn md RAID1. Crazy. Yr wyf yn gwybod. Doeddwn i ddim yn rhy hapus am y cyflymder. Penderfynais i fynd allan a phrynu 'n anawdd cathrena dibynadwy newydd a cherdyn ehangu SATA i fynd ag ef.

Rhaniad y gweinydd yn Arch cynradd yn defnyddio am 7GB o ddisg. Mae darn mawr o hynny oedd yn gyfnewid ffeil, data cached a ffeiliau amrywiol fel arall neu ddiangen. Yn gyffredinol, maint gwirioneddol y OS, cynnwys y /cartref ffolder, oedd dim ond tua 2GB. Ysgogodd hyn i mi edrych i mewn i super-cyflym Adran Gwasanaethau Cymdeithasol gyrru, meddwl efallai na allai un llai fod mor ddrud. Mae'n troi allan bod yr ymgyrch nad ydynt yn Adran Gwasanaethau Cymdeithasol rhataf y gallwn i ddod o hyd i mewn gwirionedd yn costio mwy nag un o'r AGCau cymharol fach. Yay i mi. 🙂

Dewis? Woah?!

Wrth ddewis y OS, Roeddwn eisoes wedi penderfynu na fyddai'n Arch. Allan o'r holl ddosbarthiadau eraill poblogaidd, Rwy'n fwyaf cyfarwydd gyda Ubuntu a CentOS. Fedora Roedd hefyd yn bosibilrwydd – ond nid wyf wedi ystyried y peth o ddifrif eto ar gyfer gweinydd. Enillodd Ubuntu y rownd.

Nid yw'r penderfyniad nesaf roedd rhaid i mi wneud yn digwydd i mi hyd nes y Hollbresenoldeb (Dewin gosod Ubuntu yn) gofyn iddo i mi: Sut i sefydlu rhaniadau.

Yr wyf yn newydd i ddefnyddio AGCau mewn Linux – Rwy'n ymwybodol iawn o'r peryglon o beidio â defnyddio yn gywir, yn bennaf oherwydd eu risg o hirhoedledd gwael os camddefnyddio.

Doeddwn i ddim eisiau defnyddio rhaniad cyfnewid penodol. Rwy'n bwriadu ar uwchraddio motherboard y gweinydd / CPU / cof heb fod yn rhy bell yn y dyfodol. Yn seiliedig ar y penderfynais byddaf yn rhoi cyfnewid i mewn i ffeil gyfnewid ar y RAID md presennol. Ni fydd y cyfnewid yn arbennig o gyflym, ond bydd ei unig bwrpas fod ar gyfer yr achlysur prin pan fydd rhywbeth wedi mynd o'i le ac nid y cof ar gael.

Mae hyn wedyn yn gadael i mi i roi llwybr gwraidd y 60GB llawn allan o Intel 330 Adran Gwasanaethau Cymdeithasol. I ystyried gwahanu / cartref ond dim ond yn ymddangos ychydig yn ddibwynt, rhoi cyn lleied yn cael ei ddefnyddio yn y gorffennol. I sefydlu gyntaf y rhaniad gyda LVM – rhywbeth yr wyf i wedi bod yn ei wneud yn ddiweddar, pryd bynnag yr wyf yn sefydlu flwch Linux (mewn gwirionedd, does dim esgus i beidio â defnyddio LVM). Pan ei bod wedi cyrraedd y rhan lle byddwn yn ffurfweddu'r cysawd ffeiliau, Wyf yn clicio 'r ddefnynna i lawr ac yn dewis reddfol ext4. Yna mi sylwi btrfs yn yr un rhestr. Arhoswch!!

Ond mae hyn?

Btrfs (“menyn-eff-ESS”, “well-eff-ESS”, “bee-tree-eff-ESS”, neu beth bynnag yr ydych awydd ar y diwrnod) ei system ffeilio gymharol newydd a ddatblygwyd er mwyn dod Linux’ galluoedd system ffeil yn ôl ar y trywydd iawn ar hyn o bryd filesystem dechnoleg. Mae King-of-the-Hill bresennol system ffeiliau, “est” (y fersiwn gyfredol o'r enw ext4) yn eithaf da – ond mae'n gyfyngedig, sownd mewn hen patrwm (feddwl am frand newydd Adar Ysglyfaethus F22 vs. mae F4 Phantom gydag ymgais hanner-jested mewn uwchraddio cyfwerth) ac yn annhebygol o fod yn gallu cystadlu am hir iawn gyda filesystems Menter mwy newydd megis ZFS Oracle. Btrfs dal i fod â ffordd bell i fynd ac yn cael ei ystyried yn dal arbrofol (yn dibynnu ar bwy ydych yn gofyn a pha nodweddion ei angen arnoch). Mae llawer o'r farn ei fod yn sefydlog ar gyfer defnydd sylfaenol – ond does neb yn mynd i wneud unrhyw warantau. Ac, wrth gwrs, pawb yn ei ddweud i wneud a phrofi copïau wrth gefn!

Mooooooo

Y gwahaniaeth mwyaf sylfaenol rhwng est a btrfs yw bod btrfs yn “COW” neu “Copi ar Ysgrifennu” filesystem. Mae hyn yn golygu nad yw byth data mewn gwirionedd yn fwriadol yn ysgrifennu dros mewnolion y system ffeiliau yn. Os byddwch yn ysgrifennu newid i ffeil, Bydd Btrfs ysgrifennu eich newidiadau i leoliad newydd ar gyfryngau corfforol a diweddaru'r awgrymiadau mewnol i gyfeirio at y lleoliad newydd. Btrfs yn mynd gam ymhellach bod y pwyntiau mewnol (y cyfeirir atynt fel metadata) yn hefyd COW. Byddai fersiynau hŷn o est ohonom, dim ond ysgrifennu dros y data. Byddai Ext4 defnyddio Journal er mwyn sicrhau na fydd llygredd yn digwydd dylai'r plwg AC yn cael ei yanked allan ar hyn o bryd mwyaf anghyfleus. Mae'r canlyniadau cyfnodolyn mewn nifer tebyg o gamau sy'n ofynnol i ddiweddaru data. Gyda SSD, y caledwedd sylfaenol yn gweithredu proses COW debyg ni waeth pa system ffeiliau rydych yn ei ddefnyddio. Mae hyn oherwydd nad oes modd gyrru SSD mewn gwirionedd yn trosysgrifo data – rhaid iddynt gopïo y data (gyda'ch newidiadau) i leoliad newydd ac yna dileu'r hen floc yn gyfan gwbl. Mae optimization yn y maes hwn yw nad gallai SSD hyd yn oed dileu yr hen floc ond yn hytrach dim ond yn gwneud nodyn i ddileu bloc ar y tro nes ymlaen pan nad yw pethau'n brysur. Y canlyniad yw bod drives SSD cyd-fynd yn dda iawn gyda system ffeiliau COW ac nid ydynt yn perfformio cystal â filesystems nad ydynt yn COW.

I wneud pethau'n ddiddorol, Fuwch yn y system ffeil yn hawdd mynd law yn llaw â nodwedd a elwir yn deduplication. Mae hyn yn caniatáu i ddau (neu fwy) blociau union yr un fath o ddata i gael eu storio gan ddefnyddio dim ond un copi, arbed lle. Gyda COW, os ffeil deduplicated cael ei addasu, Ni fydd y ddau ar wahân yn cael eu heffeithio gan y bydd data y ffeil haddasu wedi cael eu hysgrifennu i floc corfforol gwahanol.

Buwch yn ei dro yn gwneud snapshotting gymharol hawdd i'w gweithredu. Pan fydd ciplun yn gwneud y system yn unig cofnodi ciplun newydd fel bod yn dyblygu o'r holl ddata a metadata o fewn y gyfrol. Gyda COW, pan wneir newidiadau, data y ciplun yn aros yn gyfan, a gall golwg cyson o statws y system ffeil ar yr adeg y ciplun ei wneud yn cael ei gynnal.

Mae ffrind newydd

Gyda'r uchod mewn golwg, yn enwedig gan fod Ubuntu wedi gwneud btrfs ar gael fel opsiwn gosod-amser, Rwy'n cyfrifedig byddai'n amser da i ddeifio i mewn i btrfs ac archwilio ychydig. 🙂

Rhan 2 dod yn fuan …

Share
Friday, September 11th, 2009 | Author:

Peace in the land of USB

Under a *nix operating system, having multiple partitions on a USB drive isn’t rocket science, it just works. Yn fy achos i, my USB drive has two partitions because the first partition is a bootable Arch Linux installer.

I have Windows on a desktop at homemostly for gamingand many of my colleagues use it too. Since Windows doesn’t do very well with non-Windows partitions I figured I could create a FAT32 partition on the memory stick after the bootable Arch Linux partition. FAT32 is almost ubiquitous and is usable on every common desktop operating system in the world.

Bleh

Unfortunately it doesn’t work straight off the bat. Apparently, Microsoft in their infinite wisdom decided that memory sticks are supposed to have one (and only one) partition. In reality Windows finds the first partition and then ignores any others that happen to be set up:

Please Format

Err, no, I do not want you to format my Arch Linux installation partition

The trick to getting it working is to fool Windows into thinking the device is Ni a regular USB memory stick but perhaps a solid-state hard disk which happens to be connected via USB. Yes I know, this is seriously stupid that Windows behaves this way. A solid-state hard disk is just a whopping big (and fast) memory stick after all!

I found a few sources on how to do this however I still had to figure out some things on my own. Specifically, the guides I found either skipped some steps or didn’t provide enough information on where to download the driver package.

This procedure involves manually changing hardware drivers and installingnon-signeddriversnot intended for your hardware”. I know someone is going to break their system and blame me so I say now that I take no responsibility for any damage you may do to your Windows system as a result of this. Read that again. 😛

Instructions

remove the highlighted text

click for larger version

Download and unzip the driver, originally created by Hitachi, yma. Open the cfadisk.inf file in notepad (or your favourite plaintext editor), and find the section labeled [cfadisk_device]. Remove the section highlighted on the right:

Minimize (don’t close) the editor and go to your desktop iconsright-click on My Computer and select Properties. Select the hardware tab and then select [Device Manager]:

System Properties

Find the device underDisk drives”, right-click your memory stick and select Properties:

Device Manager

Click the Details tab and in the dropdown box on that page, selectHardware Ids”. Click the first line in the list of Hardware IDs and press Ctrl+C to copy the name:

USB Hardware Ids

Don’t close this dialog, go back to notepad (which was minimised) and paste the hardware ID into where the previous content was removed.

Changes pasted into notepad

Save the file in notepad and go back to the device’s property dialog window. Click theDrivertab and click the [Update Driver…] button. In the windows that pop up, selectNo, not this time”; [Nest] -> “Install from a list or a specific location (Advanced)”; [Nest] -> “Don’t search. I will choose the driver to install.”; [Nest] -> [Have Disk…].

Unsigned Drivers - Click Continue Anyway

Browse to the folder where you have saved the modified cfadisk.inf file. Click [OK]. You will find

there is a Hitachi Microdrive driver listed. Select this and click [Nest]. When the warning

appears, click [Yes]. Another warning will pop up regarding a similar issue (these are theunsigned” a “not intended for your hardwarewarnings I mentioned earlier). Click [Continue Anyway]:

At this point I recommend closing all the dialog boxes related to the setup. Finally, remove and re-insert the memory stick into your USB port and you should find that the extra partitions on the stick are accessible. In the worst-case scenario, you might still need to partition the disk however the hard part is over. 🙂

Share
Wednesday, April 22nd, 2009 | Author:

Arch Linux’s installation process is documented on the Arch wiki. I recommend that persons new to Arch try the excellent Beginner’s Guide instead of the Official Arch Linux Install Guide. Though both wiki entries cover similar ground, the Beginner’s Guide gives a lot more relevant information for those new to the system. The Beginner’s Guide is aimed at desktop installation and, as I’m installing a server, I won’t be going through the installation of the graphical environment at all. Assuming that you’re following my installation, assume that I’ve followed the Beginner’s Guide right up to and including the installation of sudo. I installed the ssh daemon afterwards rather than during the initial setup however.

A few small recommendations and notes regarding installation:

  • If you can, consider using a USB memory stick for the installer and keep it handy for future installations.
  • I keep a copy of my localrepositoryof installed applications on my installer memory stick. Once installation is finished I save a bit of download and update time by copying this to the new server’s /var/cache/pacman/pkg/ folder. The repository on my desktop is typically 1.7GB
  • For the rc.conf, South African-appropriate regional settings are:
    LOCALE=en_ZA.utf8
    TIMEZONE=Africa/Johannesburg
  • I’ve set up the network very simply, according to the guide, and will be expanding on the network setup in a later post.
  • As it is for a server, my non-privileged user on the server is only part of 3 groups: wheel (for sudo), storage, and users. A desktop user will likely be in many more groups.

I prefer using an application called yaourt instead of Arch’s default package manager. Yaourt has the exact same usage syntax as pacman except that it supports a few extra options. It is actually a wrapper application in that it, in turn, uses pacman. Importantly, yaourt supports installation of applications from Arch’s AUR. Y AUR is a repository of installation scripts built by Arch users for Arch users to easily install applications that are not officially supported by the main Arch repositories. Yaourt can download and install applications from AUR or the main repositories with the same command, treating the AUR asjust another repository”. Pacman unfortunately does not support this.

Again, the installation is covered in the wiki. I recommend the easy route mentioned in the wiki if you’re new at Arch. Its too much too soon to do it the hard way (also mentioned in the wiki entry).

When done, update your system by issuing the single command:

yaourt -Syu

OR

pacman -Syu

and follow the given recommendations.

Share
Saturday, March 28th, 2009 | Author:

Its amazing how much you can do by combining the small yet powerful commands Unix has available.

This little-used command, time, finally became useful today as a way to report the length of time that certain automated operations are running. In my example, I’m timing how long it takes to build the Linux kernel:

$ time rebuild-kernel26
...
couple-thousand-lines-of-scrolling-text
...
==> Finished making: kernel26 2.6.28.8-1 x86_64 (Sat Mar 28 17:19:52 SAST 2009)
real    62m21.994s
user    43m31.846s
sys     6m1.096s

Yup, that took a little over an hour to build. The values are:

  • realthe actual time elapsed while the command was running – 62 minutes
  • userthe amount of userland time the command used – 43 minutes
  • systhe amount of system time the command used – 6 minutes

(I was busy doing other things while this was happening which is why it took 62 minutes for the desktop to do (43+6=) 49 minutes-worth of work)

If you’re using the GNU version (most likely), it also gives you the option of displaying the results in a custom fashion. Mostly, this command could be useful in scripts where you need to report how long a task tookor maybe? just a geeky way to time something random. 😛

Share
Category: linux  | Tags: , , , , , , ,  | Leave a Comment