發表文章

ubutun 16.04 安裝 spark

1.安裝 java jdk    安裝 openjdk8 , 因為 Oracle Java 有收費的疑慮 sudo apt-get install default-jdk 2.安裝 Scala    因為 Spark is pre-built with Scala 2.11 except version 2.4.2, which is pre-built with Scala 2.12.    所以安裝 ubutun 預設 Scala  2.11.6   sudo apt-get install scala 3.安裝 SBT   echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 2EE0EA64E40A89B84B2DF73499E82A75642AC823 sudo apt-get update sudo apt-get install sbt   4.安裝SPARK     https://spark.apache.org/downloads.html wget http://apache.stu.edu.tw/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz mkdir spark tar zxvf spark-2.4.3-bin-hadoop2.7.tgz -C spark #mv spark-2.4.3-bin-hadoop2.7/ spark sudo mv spark/ /usr/lib/ cd /usr/lib/spark/spark-2.4.3-bin-hadoop2.7/conf/ cp spark-env.sh.template spark-env.sh 5. 修改環境變數 vi ~/.bashrc e...

nodebb 社群分享外掛( FB, Line, Twitter, Linkedin, Weibo, Weichat. )

圖片
Social Icons Plugin for NodeBB nodebb 社群分享外掛(  FB, Line, Twitter, Linkedin, Weibo, Weichat.  ) Displays social sharing icons beneath every post in a topic for FB, Line, Twitter, Linkedin, Weibo, Weichat. Thanks https://github.com/psychobunny/nodebb-plugin-share-post-icons https://github.com/0312birdzhang/nodebb-plugin-share-post-icons-cn 截图 修改後原始碼 https://github.com/dev-ra/nodebb-plugin-share-post-icons-dropdown

WooCommerce + woocommerce-checkout-fields-for-TW.php + 綠界物流,超商取貨結帳資訊清空問題

修改綠界物流外掛 1.js/ECPay-shipping-checkout.js //取代每次選帳單地址就更新,改在點選超商地圖時才更新 jQuery("#ECPayForm").submit(function() {     jQuery('#billing_postcode').trigger('update');     return true; });      var ecpay_checkout_form = {         .....................         // 取得結帳資訊         get_input_value: function() {             var billing_first_name  = ecpay_checkout_form.ecpay_get_element_value('billing_first_name');             var billing_last_name   = ecpay_checkout_form.ecpay_get_element_value('billing_last_name');             var billing_company     = ecpay_checkout_form.ecpay_get_element_value('billing_company');             var billing_company_tax_id     = ecpay_checkout_form.ecpay_get_element_value('billing_company_tax_i...

spark 讀取 json 檔案,並轉換型態為 ml vector

Spark 讀取 json 檔案,並轉換型態為 ml vector 讀取檔案帶入schema 初始型態為 mllib vector 再利用 mllib vector asML 轉換為 ml vector import org.apache.spark.mllib.linalg.VectorUDT import org.apache.spark.sql.types.{LongType , StructField , StructType} val schema = StructType ( Seq ( StructField ( "post_id" , LongType , true ) , StructField ( "text_w2v" , new VectorUDT , true ))) val w2vdf = spark.read.schema(schema).json(path) .map{ case Row (post_id: Long , text_w2v: org.apache.spark.mllib.linalg.Vector) => (post_id , text_w2v.asML) }.toDF( "post_id" , "text_w2v" ) 參考文件: 1. writing Spark Dataframe to JSON loses format for MLLIB Sparse Vecto r 2. 如何转换org.apache.spark.mllib.linalg.SparseVector至org.apache.spark.ml.linalg.SparseVector?

exports VS module.exports - node.js

exports VS module.exports 使用外部檔案 要寫出模組化的程式就必須把程式切分的乾淨 . node.js 遵照   CommonJS   的慣例 , 用   require   以及 exports   來作檔案和模組之間的溝通 . 他們很相似但是還是有些不同 . 底下兩種寫法用起來一樣 . 用 `module.exports` module.exports = {   do_a : function(){     // do something ...   },   do_b : function(){     // do something ...   } }; OR var kk = { do_a : function(){     // do something ...   },   do_b : function(){     // do something ...   } } module.exports = kk; 用 `exports` exports.do_a = function(){   // do something ... }; exports.do_b = function(){   // do something ... }; 以上兩者我們都可以像下面這樣使用 var something = require( './something' ); something.do_a(); something.so_b();

PM2 (node.js 管理套件) 安裝使用

PM2 (node.js 管理套件) 安裝使用 PM2 : Node.js 管理套件 pm2-logrotate : PM2 module to automatically rotate logs of processes managed by PM2 安裝 PM2 npm install pm2 -g 安裝 pm2-logrotate pm2 install pm2-logrotate pm2-logrotate 設定每天一個 log 檔案 pm2 set pm2-logrotate:interval_unit 'DD' PM2 使用 1           啟動 pm2 start pm2.json 2           停止 pm2 stop all | id 3           重啟 pm2 restart all | id 4           刪除 pm2 delete all | id 5           加入 service (centos) pm2 startup centos 6           服務清單 pm2 list 7           服務詳細資訊 pm2 show <id|name> 8           log ...

JavaScript中replace只置換第一個符合的字串問題

解決JavaScript中replace只置換第一個符合的字串問題 var s=s.replace(/\你要置換的字串/g,'AA'); EX:   val .replace(/\-/g,"/");  將 - 置換成 /