add url-util.el test file

* automated/url-util-tests.el: New file to test
lisp/url/url-util.el.  Only `url-build-query-string' and
`url-parse-query-string' are tested right now.

add url-build-query-string and improve url-parse-query-string as per bug#8706

* url/url-util.el (url-build-query-string): New function.
(url-parse-query-string): Allow that '=' is not required and split
URL parameters on ';', not just '&'.

(rst-re-alist): Fix loading (bug#11462).

Make a self-contained ns build able to find its own libexec directory

Ref: http://lists.gnu.org/archive/html/emacs-devel/2012-05/msg00298.html

* src/nsterm.m (ns_init_paths):
Put "libexec" before "bin", for the sake of init_callproc_1.

* src/nsterm.m (ns_init_paths): Fix typo ("libexec" not "lib-exec").

ChangeLog merge fixes

Fix a regression in erc-dcc

* erc-dcc.el (erc-dcc-handle-ctcp-send): Fix a regression
introduced on 2011-11-28 when fixing quoted filenames matching,
the regex group was not corrected.

* keyboard.c (kbd_buffer_get_event) [!HAVE_DBUS]: Omit unused local.

* unexaix.c: Port to more-recent AIX compilers.

(report_error, report_error_1, make_hdr, copy_sym)
(mark_x, adjust_lnnoptrs, unrelocate_symbols):
Make arguments const char *, not char *, to avoid violations of C
standard and to fix some AIX warnings reported by Gilles Pion.

Merge from emacs-24; up to 2012-04-22T13:58:00Z!cyd@gnu.org

(rst-re-alist): Fix loading (bug#11462).

Make URL redirection work again.

The previous changes would make redirection fail, since the expansion
would end up with URLs that looked like "http:www.bing.com/hello".

* url-expand.el (url-default-expander): Copy over the fullness of
the new URL object based on the definition URL object.

* keyboard.c (kbd_buffer_get_event): Read special events also in
batch mode.  (Bug#11415)

* lisp/image-mode.el: Fit to width/height for rotated images.
(image-transform-scale, image-transform-right-angle-fudge): New vars.
(image-transform-width, image-transform-fit-width): New functions.
(image-transform-properties): Use them.
(image-transform-check-size): New function.
(image-toggle-display-image): Use it (for testing).
(image-transform-set-rotation): Reduce angle mod 360.
Delete obsolete comment.

Fixes: debbugs:11431

* lisp/image-mode.el: Fix scaling.
(image-transform-resize): Doc fix.
(image-transform-properties): Default scale is 1 and height should
be an integer.

Fixes: debbugs:11399

New defcustoms need :version tags.  They don't need "*" in the doc.

Allow specifying the erc timestamp format

* erc-backend.el (erc-server-timestamp-format): New variable to
allow specifying the timestamp format.

Fixes: debbugs:10779

Fix bug #11464 with pos-visible-in-window-p and R2L text in L2R paragraph.

 src/xdisp.c (pos_visible_p): Don't report a position visible when move_it_to
 stopped at the last line of window, which happens to be scanned
 backwards by the bidi iteration.

*** empty log message ***

Fix bug #11417 with infloop when left-fringe/right-fringe spec is used on TTY.

 src/xdisp.c (handle_stop): Don't call get_overlay_strings_1 if we
 already have overlays loaded.
 (handle_single_display_spec): Before returning without displaying
 fringe bitmap, synchronize the bidi iterator with the main display
 iterator, by calling iterate_out_of_display_property.
 (iterate_out_of_display_property): Detect buffer iteration by
 testing that it->string is a Lisp string.
 (get_next_display_element): When the current object is exhausted,
 and there's something on it->stack, call set_iterator_to_next to
 proceed with what's on the stack, instead of returning zero.
 (set_iterator_to_next): If called at the end of a Lisp string,
 proceed to consider_string_end without incrementing string
 position.  Don't increment display vector index past the end of
 the display vector.

Adapt Electric Buffer Menu to recent Buffer Menu changes.

* lisp/ebuff-menu.el (electric-buffer-list): Put electric buffer menu
command descriptions in this docstring, instead of the docstring
of electric-buffer-menu-mode.  Code cleanups.
(electric-buffer-menu-mode): Use define-derived-mode.  Rename from
Electric-buffer-menu-mode.
(electric-buffer-update-highlight): Minor code cleanup.

* lisp/emacs-lisp/tabulated-list.el (tabulated-list-format)
(tabulated-list-entries, tabulated-list-padding)
(tabulated-list-sort-key): Make permanent-local.

Fixes: debbugs:11455

Auto-commit of loaddefs files.

Auto-commit of generated files.

Backport fix for Bug#11382 from trunk

* net/dbus.el (dbus-call-method): Restore events not from D-Bus.  (Bug#11447)

Move define-obsolete-variable-alias before the var's definition.
* lisp/vc/log-edit.el (vc-comment-ring, vc-comment-ring-index):
* lisp/tooltip.el (tooltip-hook):
* lisp/textmodes/reftex-toc.el (reftex-toc-map):
* lisp/textmodes/reftex-sel.el (reftex-select-label-map)
(reftex-select-bib-map):
* lisp/textmodes/reftex-index.el (reftex-index-map)
(reftex-index-phrases-map):
* lisp/speedbar.el (speedbar-syntax-table, speedbar-key-map):
* lisp/progmodes/meta-mode.el (meta-mode-map):
* lisp/novice.el (disabled-command-hook):
* lisp/loadhist.el (unload-hook-features-list):
* lisp/frame.el (blink-cursor):
* lisp/files.el (find-file-not-found-hooks, write-file-hooks)
(write-contents-hooks):
* lisp/emulation/tpu-edt.el (GOLD-map):
* lisp/emacs-lock.el (emacs-lock-from-exiting):
* lisp/emacs-lisp/generic.el (generic-font-lock-defaults):
* lisp/emacs-lisp/chart.el (chart-map):
* lisp/dos-fns.el (register-name-alist):
* lisp/dired-x.el (dired-omit-files-p):
* lisp/desktop.el (desktop-enable):
* lisp/cus-edit.el (custom-mode-hook):
* lisp/buff-menu.el (buffer-menu-mode-hook):
* lisp/bookmark.el (bookmark-read-annotation-text-func)
(bookmark-exit-hooks):
* lisp/allout.el (allout-mode-deactivate-hook)
(allout-exposure-change-hook, allout-structure-added-hook)
(allout-structure-deleted-hook, allout-structure-shifted-hook):
* lisp/dirtrack.el (dirtrack-toggle, dirtrackp, dirtrack-debug-toggle)
(dirtrack-debug): Move call to define-obsolete-variable-alias so it
comes before the corresponding variable's definition.

* cc-mode.texi: Avoid space before macro in 4th argument of cross
reference commands.

Remove trailing / from $ns_appbindir

* configure.in (ns_appbindir): Remove trailing "/".
* src/ns.mk: Update for ns_appbindir no longer having trailing "/".

* doc/misc/Makefile.in (mostlyclean): Add still more TeX intermediates.

* .bzrignore, doc/misc/Makefile.in (mostlyclean): Add more TeX intermediates.

* Makefile.in (gnus.dvi): Use $@ instead of $*.dvi.

Make doc/misc/Makefile.in look more like the other doc Makefiles

* doc/misc/Makefile.in:
Use explicit $srcdir in all dependencies.
Remove cd $srcdir from rules.
(VPATH): Remove.
(infodir): Set to an absolute path.
(INFO_TARGETS): Use short names.
(mkinfodir): infodir is now absolute.
(echo-info, maintainer-clean): Update for new format of INFO_TARGETS.

Fix mouse links in new Buffer Menu.

* buff-menu.el (Buffer-menu-mouse-select): Restore function.
(Buffer-menu-mode-map): Bind it.
(Buffer-menu--pretty-name): Add a mouse-face property.

Fixes: debbugs:11459

* buff-menu.el (Buffer-menu-buffer+size-width): Doc fix.

Fixes: debbugs:11454

Update src/lisp.mk as required by 2012-05-07T20:48:41Z!monnier@iro.umontreal.ca.

 src/lisp.mk (lisp): Add newcomment.elc.

Auto-commit of generated files.

* doc/misc/Makefile.in (.SUFFIXES): Disable implicit rules.
Fixes previous change.

* doc/misc/Makefile.in (info.info): Rename from info, to avoid duplication.

Don't use build-aux/install-sh -d directly

* leim/Makefile.in (MKDIR_P): New, set by configure.
(install): Use $MKDIR_P.

* lib-src/Makefile.in (MKDIR_P): New, set by configure.
($(DESTDIR)${archlibdir}): Use $MKDIR_P.

Let configure test for a suitable mkdir -p

* configure.in (AC_PROG_MKDIR_P): Call it, to set MKDIR_P.
(MKDEPDIR): Use $MKDIR_P.

* Makefile.in (MKDIR_P): New, set by configure.
(mkdir): Use $MKDIR_P.

* doc/emacs/Makefile.in (MKDIR_P): New, set by configure.
(mkinfodir): Use $MKDIR_P.

* doc/lispintro/Makefile.in (MKDIR_P): New, set by configure.
(mkinfodir): Use $MKDIR_P.

* doc/lispref/Makefile.in (MKDIR_P): New, set by configure.
(mkinfodir): Use $MKDIR_P.

* doc/misc/Makefile.in (MKDIR_P): New, set by configure.
(mkinfodir): Use $MKDIR_P.

* src/Makefile.in (MKDIR_P): New, set by configure.

* src/ns.mk (${ns_appdir}, ${ns_appbindir}Emacs): Use $MKDIR_P.

* lisp/progmodes/prolog.el: Use SMIE.  Cleanup regexp setup.
(prolog-upper-case-string, prolog-lower-case-string)
(prolog-atom-char-regexp, prolog-atom-regexp): Initialize in defconst.
(prolog-use-smie, prolog-smie-grammar): New vars.
(prolog-smie-forward-token, prolog-smie-backward-token)
(prolog-smie-rules): New funs.
(prolog-comment-indent): Remove.
(prolog-mode-variables): Use default comment indentation instead.
Setup SMIE.
(prolog-build-case-strings, prolog-set-atom-regexps): Remove.
(prolog-mode): Don't call them any more.
(prolog-electric-colon, prolog-electric-dash)
(prolog-edit-menu-insert-move): Use indent-according-to-mode.

* lisp/dabbrev.el (dabbrev-expand): Make "no expansion found" a user-error.

* Makefile.in (install-arch-indep): Remove dead code.

./lisp/simpl.ele never exists in the _build_ directory,
the Lisp files are always in the _source_ directory.
Even if they were not, it would be wrong to install just
*.el and *.elc, since there are subdirectories in lisp/.

* lisp/minibuffer.el (completion--twq-all): Again, allow case differences.

* lisp/term.el: Move keymap initialization code to be more idiomatic.
(term-signals-menu, term-mode-map, term-raw-map, term-raw-escape-map)
(term-terminal-menu): Move initialization into declaration.
(term-escape-char): Let the user set it in her .emacs.

* lisp/progmodes/sh-script.el: Use post-self-insert-hook&electric-pair-mode.
Provide SMIE-based indentation (not enabled by default yet).
(sh-mode-map): Don't bind electric keys.
Use electric-pair-mode instead of skeleton-pair.
(sh-assignment-regexp): Fit within 80 columns.
(sh-indent-supported): Specify actual shell name instead of boolean.
(sh--maybe-here-document): New fun, from sh-maybe-here-document.
(sh-maybe-here-document): Use it.  Make obsolete.
(sh-electric-here-document-mode) New minor mode.
(sh-mode): Use it.  Don't set sh-indent-supported-here here.
(sh-smie-sh-grammar, sh-smie--sh-operators, sh-smie--sh-operators-re)
(sh-smie--sh-operators-back-re, sh-indent-after-continuation)
(sh-smie-rc-grammar, sh-use-smie): New vars.
(sh-smie--keyword-p, sh-smie--newline-semi-p, sh-smie--sh-keyword-p)
(sh-smie-sh-forward-token, sh-smie--looking-back-at-continuation-p)
(sh-smie-sh-backward-token, sh-smie--continuation-start-indent)
(sh-smie-sh-rules, sh-smie-rc-rules, sh-smie--sh-keyword-in-p)
(sh-smie--rc-after-special-arg-p, sh-smie-rc-backward-token)
(sh-smie-sh-rules, sh-smie--rc-newline-semi-p): New functions.
(sh-set-shell): Use smie-setup if requested.

Fix display when left-fringe/right-fringe display spec is invalid.

 src/xdisp.c (handle_single_display_spec): Return 1 for left-margin
 and right-margin display specs even if the spec is invalid or we
 are on a TTY, and thus unable to display on the fringes.  That's
 because the text with the property will not be displayed anyway,
 so we need to signal to the caller that this is a "replacing"
 display spec.  This fixes display when the spec is invalid or we
 are on a TTY.

* lisp/term.el (term-set-escape-char): Properly set term-escape-char.

* net/rlogin.el (rlogin-mode-map): Fix last change.

* Makefile.in (install-arch-indep): Use INSTALL_DATA for the DOC file.

* Makefile.in (install-arch-indep): There are no more Makefile.c files.

Remove unused function hourglass_started.

* dispextern.h (hourglass_started):
* w32fns.c (hourglass_started):
* xdisp.c (hourglass_started): Remove.

src/makefile.w32-in: Update dependencies.

Auto-commit of generated files.

Cleanups and improvements for FFAP and URL.

* ffap.el (ffap-url-unwrap-local): Make it work right.
Use url-generic-parse-url, and handle host names and Windows
filenames properly.
(ffap-url-unwrap-remote): Use url-generic-parse-url.
(ffap-url-unwrap-remote): Accept list values, specifying a list of
URL schemes to work on.
(ffap--toggle-read-only): New function.
(ffap-read-only, ffap-read-only-other-window)
(ffap-read-only-other-frame): Use it.
(ffap-fixup-url): Don't check ffap-ftp-regexp, since it is not
necessary for ffap-url-unwrap-remote.

* url-parse.el (url-path-and-query, url-port-if-non-default): New
functions.
(url-generic-parse-url): Don't set the portspec slot if it is not
specified; that is what `url-port' is for.
(url-port): Only require the scheme to be specified to call
url-scheme-get-property.

* url-util.el (url-encode-url): Use url-path-and-query.

* url-vars.el (url-mime-charset-string): Load mm-util lazily.

Fixes: debbugs:9131

* xgselect.c (xg_select): Put maxfds+1 into a var.

This is slightly clearer, and pacifies Ubuntu 12.04 gcc.

* sound.c (DEFAULT_ALSA_SOUND_DEVICE): Define only if HAVE_ALSA.

Install self-contained ns leim files directly to their final destination

This is instead of installing them first in one place, then moving them.
It also fixes the previous change, which was incorrect for
the -disable-ns-self-contained case.

* configure.in (LEIM_INSTALLDIR): New output variable.

* leim/Makefile.in: (install_prefix): New.
(LEIM_INSTALLDIR): New, set by configure.
(install): Use LEIM_INSTALLDIR.

* loading.texi (Loading Non-ASCII): Multibyte sessions no longer exist.

Update doc for obsolescence of "unibyte: t"

* doc/emacs/mule.texi (Disabling Multibyte):
* doc/lispref/loading.texi (Loading Non-ASCII):
Replace the obsolete "unibyte: t" with "coding: raw-text".
* etc/NEWS: Related markup.

Simply leim install rule for ns case

* leim/Makefile.in (MV_DIRS): Remove.
(install): Simplify the --with-ns case.

State that --prefix has no effect for a default --with-ns build.

Document new create-lockfiles option

Add the option to not create lockfiles

* src/filelock.c (syms_of_filelock): New boolean create-lockfiles.
(lock_file): If create_lockfiles is 0, do nothing.

* lisp/cus-start.el (create-lockfiles): Add it.

Fixes: debbugs:11227

etags: pacify gcc -Wstack-protector on Ubuntu 12.04 x86

* etags.c: Include <stdarg.h>.
(error): Declare as printf-style, as that's what it really is.
All uses changed.
(add_regex): Use single char rather than array-of-one char.

* dbusbind.c (xd_registered_buses): New internal Lisp object.
Rename all occurences of Vdbus_registered_buses to xd_registered_buses.
(syms_of_dbusbind): Remove declaration of Vdbus_registered_buses.
Initialize xd_registered_buses.

* unexaix.c (make_hdr): Fix typo in prototype.

This bug broke the build on AIX.  Problem reported by Gilles Pion.

* mail/smtpmail.el (smtpmail-send-command): Send the command and
the following \r\n using a single `process-send-string', since the
Lotus SMTP server refuses to accept any commands if they are sent
with two `process-send-string's.

Fixes: debbugs:11444

Untag more efficiently if USE_LSB_TAG.

This is based on a proposal by YAMAMOTO Mitsuharu in
<http://lists.gnu.org/archive/html/emacs-devel/2008-01/msg01876.html>.
For an admittedly artificial (nth 8000 longlist) benchmark on
Fedora 15 x86-64, this yields a 25% CPU speedup.  Also, it shrinks
Emacs's overall text size by 1%.
* lisp.h (XUNTAG): New macro.
(XCONS, XVECTOR, XSTRING, XSYMBOL, XFLOAT, XMISC, XPROCESS, XWINDOW)
(XTERMINAL, XSUBR, XBUFFER, XCHAR_TABLE, XSUB_CHAR_TABLE, XBOOL_VECTOR)
(XSETTYPED_PSEUDOVECTOR, XHASH_TABLE, TYPED_PSEUDOVECTORP): Use it.
* eval.c (Fautoload):
* font.h (XFONT_SPEC, XFONT_ENTITY, XFONT_OBJECT):
* frame.h (XFRAME): Use XUNTAG.

* lisp/shell.el (shell-parse-pcomplete-arguments):
Obey pcomplete-arg-quote-list inside double-quoted args as well.

Fixes: debbugs:11348

Port recent dbusbind.c changes to 32-bit --with-wide-int.

* dbusbind.c (xd_append_arg, xd_retrieve_arg, Fdbus_message_internal):
Remove unportable assumptions about print widths of types like
dbus_uint32_t.
(xd_get_connection_address, Fdbus_init_bus): Cast Emacs integer to
intptr_t when converting between pointer and integer, to avoid GCC
warnings about wrong width.

Encoding fix for browse-url-encode-url.

* lisp/net/browse-url.el (browse-url-url-encode-chars): Use upper-case.
(browse-url-encode-url): Encode spaces and quotes.

Fixes: debbugs:6300

* url-util.el (url--allowed-chars): Use upper-case for percent-encoding.

Improve RFC 3986 conformance of url package.
Fix 2012-04-10 change to url.el.

* url-http.el (url-http-create-request): Ignore obsolete
attributes slot of url-object.

* url-parse.el: Improve RFC 3986 conformance.
(url-generic-parse-url): Do not populate the ATTRIBUTES slot,
since this is not reliable for general RFC 3986 URIs.  Keep the
whole path and query inside the FILENAME slot.  Improve docstring.
(url-recreate-url-attributes): Mark as obsolete.
(url-recreate-url): Handle missing scheme and userinfo.

* url-util.el (url-encode-url): New function for URL quoting.
(url-encoding-table, url-host-allowed-chars)
(url-path-allowed-chars): New constants.
(url--allowed-chars): New helper function.
(url-hexify-string): Use them.

* url-vars.el (url-nonrelative-link): Make the regexp stricter.

* url.el (url-retrieve-internal): Use url-encode-url.

Fixes: debbugs:7017

Yet more ChangeLog merge fixes

ChangeLog merge fix

Remove the need for lispref vol1.texi and vol2.texi

* vol1.texi, vol2.texi: Remove files.
* elisp.texi: Add VOL1,2 conditionals equivalent to vol1,2.texi
* two-volume.make: Use elisp.texi as input rather than vol1,2.texi.

Merge from emacs-24; up to 2012-04-21T14:12:27Z!sdl.web@gmail.com

lisp/textmodes/rst.el: Silence byte-compiler warnings.
(rst-re-alist, rst-reset-section-caches): Move around.
(rst-re): Use `characterp', not `char-valid-p'.
(font-lock-beg, font-lock-end): Declare.

lisp/progmodes/idlw-shell.el: Cleanup after 2012-05-04T05:14:14Z!cyd@gnu.org.
(specs): Remove reference to deleted variable
`idlwave-shell-activate-alt-keybindings' and simplify.

lisp/eshell/esh-cmd.el (eshell-debug-command): Fix typo in previous change.

Move part of previous clean rule change to mostlyclean

* doc/lispref/Makefile.in (mostlyclean): Add some more vol1/2 items.

Fix a typo in last commit of src/ChangeLog.

* lisp/files.el (auto-mode-alist): Treat ".make" like ".mk".

* lisp/vc/log-edit.el: Add GNU coding standards highlighting.
(log-edit-font-lock-gnu-style)
(log-edit-font-lock-gnu-keywords): New vars.
(log-edit-font-lock-keywords): New fun.
(log-edit-mode): Don't fold case in font-lock.
(log-edit-font-lock-keywords): Do not assume case-folding.
* .dir-locals.el (log-edit-mode): Enable gnu-style checks.

* lisp/imenu.el: Misc cleanup.  Make docstrings out of comments.
Use lexical-binding.
(imenu--index-alist, imenu--last-menubar-index-alist)
(imenu-menubar-modified-tick): Use defvar-local.
(imenu--split-menu): Remove unused var.
(imenu--cleanup-seen): Declare as global.
(imenu--cleanup): Use dolist.

* lisp/subr.el (defvar-local): Add debug spec and doc-string position.

Remove doc/lispref/two.el

* doc/lispref/two.el: Remove; unused since creation of two-volume.make.

* make-dist: No more doc/lispref/*.el.

FOR-RELEASE comment

Stop keeping 3 copies of the lispref menu structure for no reason

vol1.texi and vol2.texi are only used to generate TeX output, and this
constructs its own table of contents and does not use the @menu stuff.

* vol1.texi, vol2.texi: No need to keep menus in these files.
* elisp.texi, anti.texi: Comments.

* doc/lispref/Makefile.in (clean): Add some more vol1/2 items.

doc/lispref/two-volume.make small fix

* doc/lispref/two-volume.make (emacsdir): New.
(tex): Add directory with emacsver.texi to TEXINPUTS.

Remove no-byte-compile setting from some lisp/language files.

Same comments as per 2012-05-01T06:59:34Z!rgm@gnu.org, for lisp/term:

  Not that compiling these will bring any noticeable speed benefit, but
  there's really no reason not to compile them.  The extra disk space
  and build time is negligible, and it might reveal use of obsolete
  functions, bugs, etc.

* lisp/play/zone.el (zone-pgm-stress): Don't pollute kill-ring.  (Bug#11388)

* progmodes/make-mode.el (makefile-browse): Remove unnecessary interactive.

Fixes: debbugs:11324

* shell.el (shell-completion-vars): Fix last change.

Fixes: debbugs:11348

* doc/misc/forms.texi (Long Example): Update for changed location of files.

Move some forms.el example files to etc/forms directory

* etc/forms/README: New.

* etc/forms/forms-d2.dat: Move to etc/forms/ subdirectory.

* etc/forms/forms-d2.el, etc/forms/forms-pass.el: Move here from ../lisp.

* lisp/forms.el: Related comment change.

Fix NEWS typo

Also apply previous change to file locals at the end of the file